Spider Nedir?

Web sitelerini ziyaret eden ve bir arama motoru dizini için girişler oluşturmak üzere sayfalarını ve diğer bilgileri okuyan bir programdır.