ترافیک ربات
مبتدیترافیک ربات به آن بخش از درخواستهای یک سایت گفته میشود که برنامههای خودکار مثل خزندههای موتور جستجو، سرویسهای مانیتورینگ و اسکریپتهای استخراج داده بهجای انسان میسازند.
رباتها دو دستهاند: دستهای که خود را معرفی میکنند و از فهرستهای شناختهشده User Agent قابل تشخیصاند، و دستهای که خود را شبیه مرورگر واقعی جا میزنند و فقط با الگوی رفتاری مثل سرعت غیرانسانی، نبود حرکت ماوس یا تکرار دقیق یک مسیر لو میروند. هیچ روش تشخیصی کامل نیست، پس عدد ربات همیشه یک تخمین است. خطرناکترین برداشت این است که جهش ناگهانی ترافیک با زمان حضور نزدیک به صفر، رشد مخاطب خوانده شود. اختلاف میان لاگ سرور و ابزار آنالیتیکس هم از همینجا میآید: ابزارهایی که با جاوااسکریپت اندازه میگیرند بسیاری از رباتهای ساده را اصلا نمیبینند، در حالی که لاگ سرور همه را ثبت میکند.
پرسشهای پرتکرار
منابع:Google Search Central — Verifying Googlebot and other Google crawlers