عنکبوت یک برنامه نرم افزاری است که وب را طی می کند (از این رو "عنکبوت" نامیده می شود)، وب سایت ها را برای موتورهای جستجو مکان یابی و فهرست می کند. همه موتورهای جستجوی اصلی، مانند گوگل و یاهو، از عنکبوت ها برای ایجاد و به روز رسانی فهرست های خود استفاده می کنند. این برنامه‌ها دائماً وب را مرور می‌کنند و از یک هایپرلینک (Hyperlink) به دیگری می‌روند.
به‌عنوان مثال، وقتی یک عنکبوت از صفحه اصلی یک وب‌سایت بازدید می‌کند، ممکن است 30 پیوند در صفحه وجود داشته باشد. عنکبوت هر یک از پیوندها را دنبال می کند و تمام صفحاتی را که پیدا می کند به فهرست موتور جستجو اضافه می کند. البته صفحات جدیدی که عنکبوت پیدا می کند ممکن است لینک هایی نیز داشته باشد که عنکبوت همچنان آنها را دنبال می کند. برخی از این پیوندها ممکن است به صفحاتی در یک وب سایت (لینک های داخلی) اشاره کنند، در حالی که برخی دیگر ممکن است به سایت های مختلف (لینک های خارجی) منتهی شوند. پیوندهای خارجی باعث می‌شوند که عنکبوت به سایت‌های جدید پرش کند و صفحات بیشتری را فهرست‌بندی کند.
به دلیل ماهیت در هم تنیده پیوندهای وب‌سایت، عنکبوت‌ها اغلب به وب‌سایت‌هایی بازمی‌گردند که قبلاً ایندکس شده‌اند. این به موتورهای جستجو اجازه می دهد تا تعداد صفحات خارجی را به هر صفحه ردیابی کنند. معمولا هر چه یک صفحه لینک های ورودی بیشتری داشته باشد، در نتایج موتورهای جستجو رتبه بالاتری خواهد داشت. عنکبوت‌ها نه تنها صفحات جدید را پیدا می‌کنند و پیوندها را پیگیری می‌کنند، بلکه تغییرات هر صفحه را نیز دنبال می‌کنند و به فهرست‌های موتورهای جستجو کمک می‌کنند به‌روز بمانند.
عنکبوت‌ها ربات‌ها و خزنده‌ها نیز نامیده می‌شوند، که ممکن است برای آنها ارجح باشد. که علاقه ای به عنکبوتیان ندارند. کلمه "عنکبوت" همچنین می تواند به عنوان یک فعل استفاده شود، مانند "این موتور جستجو بالاخره هفته گذشته وب سایت من را خراب کرد."
تعریف عنکبوت (Spider) در این صفحه یک تعریف پایه نگاشته شده توسط تک بورد است. اگر مایل به ارجاع به این صفحه یا استناد به این تعریف هستید، با شرط درج لینک به این صفحه می توانید از این محتوا استفاده کنید.
هدف تک بورد توضیح اصطلاحات کامپیوتری به روشی است که به راحتی قابل درک باشد. ما برای سادگی و دقت با هر تعریفی که منتشر می کنیم تلاش می کنیم. اگر بازخوردی درباره تعریف عنکبوت (Spider) دارید یا می‌خواهید یک اصطلاح فنی جدید پیشنهاد کنید، لطفاً با ما تماس بگیرید.
آیا می خواهید اصطلاحات فنی بیشتری یاد بگیرید؟ در خبرنامه روزانه یا هفتگی مشترک شوید و شرایط و آزمون های ویژه را در ایمیل خود تحویل بگیرید.