ممکنه اسم کرال باجت به گوشتون خورده یا تا حدودی میدونید چیه، اما میخوام توی این پست دقیقا بهتون بگم کرال باجت یا بودجه خزش به چه معناست و چه مواردی روی کرال باجت تاثیرگذار هستن.
در ادامه بهتون میگم که آیا کرال باجت یک فاکتور رتبه بندی نتایج گوگل هست و برای سئو مهمه یا نه.
خلاصه که این مطلب کامل‌ترین و مستندترین مطلب در مورد کرال باجت در سطح اینستاگرام و وب فارسی هست.
کرال باجت چیست؟
خزنده گوگل یا همون Googlebot به گونه‌ای طراحی شده که یه شهروند خوب (پسر خوب) توی اینترنت باشه.
خزیدن اولویت Googlebot هست و فقط این کار رو تا زمانی توی یک سایت انجام میده که مطمئن باشه باعث ایجاد تجربه کاربری بد برای بازدیدکننده‌های سایت نمیشه!
(مثلا بصورت همزمان 100 تا لینک رو کرال نمیکنه که باعث افت سرعت سایت بشه)
محدودیت کرال Crawl rate limit نامیده میشه که به معنای حداکثر واکنشی هست که به یک سایت داره.
(مثلا محدودیت تعداد صفحاتی که به صورت موازی توی یک سایت کرال میکنه)
Crawl rate limit به دو فاکتور بستگی داره:
- سلامت کرال: اگر سایت برای مدتی به درخواست‌ها پاسخ نده، محدودیت بیشتر میشه یا اگر سایت کند بشه و با خطاهای سرور مواجه بشه Googlebot کمتر میخزه.
- محدودیت تعیین شده در سرچ کنسول: صاحبان سایت می‌تونن برای سایتشون محدودیت کرال تعیین کنند (مگه مریضیم)! تنظیم این محدودیت روی عددهای بالاتر روی افزایش کرال ریت تاثیری نداره!
پس میشه گفت کرال باجت به تعداد urlهایی گفته میشه که Googlebot میتونه یا میخواد ایندکس کنه!
فاکتورهای تاثیرگذار در کرال باجت
- ساختار غیر اصولی ناوبری سایت (شامل منو، دسته‌بندی‌ها و فیلترهای سایت و ساختار urlها)
- محتوای کپی درون سایتی On-site duplicate content
- 404 Soft Errors
- صفحات هک شده
- Infinite spaces: فرض کنید سایت فروشگاهی دارید و فیلترهای زیادی برای محصولات شما وجود داره. ترکیب این فیلترها باهم می تونه urlهای زیادی ایجاد کنه تا خریدار به نتیجه دلخواهش برسه. اگرچه این فیلترها برای کاربران سایت خوبن اما گوگل نیازی به کرال همه این فیلترها نداره!
- صفحات دارای محتوای کم کیفیت و اسپم
هدر دادن کرال باجت در چنین صفحاتی باعث میشه تا صفحاتی که واقعا دارای محتوای عالی هستند دیرتر توسط گوگل شناسایی و کرال بشن. اگر علاقمند به یادگیری بیشتر سئو هستید حتما صفحه آموزش سئو در سایت پلاتیوم را مطالعه کنید.
سوالات متداول در مورد کرال باجت
آیا سرعت سایت در بودجه خزش تاثیر دارد؟ ارورها چطور؟
سرعت سایت تجربه مستقیم در تجربه کاربری داره و بودجه خزش رو افزایش میده.
سرعت بالای سایت برای گوگل نشانه سرورهای سالم است بنابراین این میتونه صفحات بیشتری رو کرال کنه. داشتن تعداد قابل توجهی ارور 5xx باعث کند شدن سرعت کرال میشه.
آیا بالا بودن کرال باجت فاکتور رتبه بندی است؟
افزایش کرال باجت لزوما باعث نتایج بهتر در صفحه نتایج گوگل نمیشه، گوگل از صدها فاکتور برای رتبه بندی استفاده میکنه، اگرچه کرال برای حضور در نتایج گوگل ضروری است اما فاکتور رتبه‌بندی نیست!