نرخ خزش مقدار زمان و منابعی می‌باشد که ربات‌های موتورهای جست و جو برای خزیدن و بررسی وبسایت شما و همچنین صفحات و منوها به آن اختصاص می‌دهند.

به این موضوع اینطور فکر کنید که از موزه‌ای دیدن میکنید، بدون داشتن یک نقشه راهنما شما میتوانید در این موزه گم شوید;برای داشتن یک نقشه راهنما برای خود حتما قبل از شما یک نفر باید تمامی طبقات و غرفه‌های این موزه را بررسی کرده باشد و اطلاعات کامل این موزه را علامت گذاری یا لیست کند.

در مثال بالا، کسی که نقشه راهنمای موزه را درست نموده است، همان ربات گوگل است که در وبسایت شما میخزد و سپس تمامی لینک‌ها و صفحات وبسایت را ثبت می‌کند.

حال این را نیز بدانید که تیمی از نقشه‌کشان که همیشه در حال چرخ زدن در یک موزه هستند، باعث میشوند که سرعت بازدیدِ بازدیدکنندگان از این موزه کاهش پیدا کند.

بازهم در اینجا بررسی و بازدید همواره ربات ها از وبسایت شما همین تاثیر را روی سایت می‌گذارد و باعث کاهش سرعت وبسایت میشود.

پس نیازهست که  نقشه‌کشان موزه زمانی را معین کنند و در آن زمان مشخص نقشه را آپدیت نمایند، دقیقا همین کار را ربات‌های گوگل و بقیه موتورهای جستوجو نیز انجام می‌دهند.

آیا نرخ خزش روی سئو تاثیر میگذارد؟

واقعیت این است که نرخ خزش یک فاکتور امتیاز دهی در زمینه تکنیکال سئو نیست.

اما اگر ربات‌های گوگل، زمان خزش و بررسی وبسایت شما با مشکل یا ارور مواجه شوند، بدین معنیست که نمیتوانند محتوای وبسایت شما را بررسی و یا ایندکس کنند.پس امکان دارد صفحات وبسایت شما در نتایج جستوجو نمایش داده نشود یا رتبه خود را به مرور زمان از دست بدهند.

علاوه بر آن مطمئنا با توضیحاتی که دادیم، شما هم نمی‌خواهید که ربات‌ها همواره در وبسایت شما در حال خزیدن یا وارسی باشند.زیرا وجود بیش از حد آن‌ها باعث کندی وبسایت شما و در نتیجه تجربه کاربری نامناسب برای بازدیدکنندگان وبسایتتان میشود.

نکته اینجاست که گوگل از صدها روش برای ایندکس وبسایت‌ها استفاده می‌کند تا تصمیم بگیرد وبسایت شما را کجا نمایش بدهد(منظور در نتایج جست و جو یا SERP است).

درکل این را بدانید که خزیدن ربات های گوگل باعث شناسایی و ایندکس شدن صفحات وبسایت شما می‌شود و کاری به کیفیت محتوای شما ندارد.

چگونه گوگل نرخ خزش را تشخیص میدهد؟

جالب است بدانید که هر وبسایتی نرخ خزش یونیک و خاص خود را دارد که توسط دو فاکتور زیر کنترل می‌شود:

• تقاضای خزیدن
• محدودیت نرخ خزیدن

میزان تقاضای گوگل برای خزیدن در وبسایت شما را تقاضای خزیدن می‌گوییم.

دو فاکتور بر این تقاضا تاثیر می‌گذارند : محبوبیت و قدمت

محبوبیت وبسایت

گوگل صفحاتی با تعداد بکلینک بیشتر و صفحاتی که بازدیدگنندگان بیشتری را جذب میکنند را در اولویت بالاتری قرار می‌دهد.پس اگر کاربران و بازدیدگنندگان وبسایت شما زیاد باشد یا به آن لینک داده باشند، الگوریتم گوگل سیگنال‌هایی را دریافت میکند که وبسایت شما ارزش خزیدن ‌های مکرر را دارد.

مخصوصا بک لینک به گوگل کمک میکند تا متوجه شود که کدام یک از صفحات وبسایت شما ارزش خزیدن یا کراول دارند.اگر گوگل متوجه شود که مردم خیلی راجع به وبسایت شما صحب میکنند، این موتور جستجوی جذاب نیز نرخ خزش را بالاتر میبرد تا متوجه شود که دلیل این تبلیغات و صحبت ها چیست.

شما میتوانید از ابزار های مختلفی برای بررسی تعداد بک لینک‌های وبسایت خود استفاده کنید که ما در این مقاله نیز تعدادی از آن‌ها را به شما معرفی خواهیم کرد.

Seoreviewtools.com

Neilpatel.com

Moz.com

و …

در این مقاله ما از وبسایت Seoreviewtools استفاده میکنیم.این ابزار رایگان است و نیازی به ثبت‌نام در آن نیست.پس کار ما را خیلی سریع تر راه می‌اندازد.

ابتدا از طریق این لینک وارد وبسایت شوید

در قسمت مشخص شده دامنه وبسایت خود را به صورت https://domain.com بزنید.میتوانید به همراه آدرس صفحه‌ای که میخواهید بررسی کنید، فیلد را پر کنید.مانند تصویر زیر

سپس از بخش Show external links pointing to انتخاب کنید که میخواهید بک لینک‌های خود دامنه را بررسی کنید یا بک لینک‌هایی که روی URL وارد شده، زده شده ا بررسی کنید. و بعد روی دکمه perform check کلیک نمایید.

سپس در زیر لیستی از بک‌لینک‌هایی که روی دامنه یا صفحه مشخصی از وبسایتتان زده شده است به شما نمایش میدهد.

قدمت و قدیمی بودن وبسایت

ربات های گوگل صفحات و محتواهایی از وبسایت شما را که برای مدت زمان طولانی آپدیت نشده‌اند را بررسی و خزش نمیکند.

خود گوگل تعداد دفعات خزیدن این موتور جستجو را به طور رسمی اعلام نکرده است.با این حال، اگر الگوریتم های گوگل متوجه آپدیت و بروزرسانی کلی در وبسایت شما شوند، به صورت موقتی نرخ خزش را افزایش میدهند.

در زیر، کارهای دیگری که باعث ارسال سیگنال به گوگل می‌شود تا به خزیدن و بررسی وبسایت ما بپردازد را می‌نویسیم :

• تغییرات دامنه
• تغییرات ساختار لینک‌ها یا URL
• آپدیت محتوایی از وبسایت
• ثبت دوباره نقشه وبسایت در سرچ کنسول

محدودیت نرخ خزش

محدودیت نرخ خزش تعیین میکند که ربات‌ها با چه سرعتی می‌توانند به صفحات وبسایت شما دسترسی داشته باشند و دیتای آن را دانلود کنند و همچنین برای نمایش در نتایج جست و جو آماده کنند.

این کار برای این است تا گوگل متوجه شود که خزش ربات‌هایش باعث اضافه بار بر روی سرورهای شما نمی‌شود.این قابلیت اجازه نمی‌دهد که ربات های گوگل درخواست های زیادی سمت سرور ارسال کنند و در نتیجه آن وبسایت شما با کندی و مشکل مواجه شود.

اگر وبسایت شما سرعت بالایی داشته باشد و به این ربات ها سریع پاسخ دهد، چراغ سبزیست برای گوگل که محدودیت را کمتر کند و باعث شود که نرخ خزش برای وبسایت شما بالاتر برود.

دقیقا برعکس آن نیز میتواند رخ دهد اگر ارورهایی که از سمت سرور به گوگل نشان داده می‌شود زیاد باشد یا سرعت سایت شما کند شود، این محدودیت بیشتر شده و نرخ خزش وبسایت شما کمتر خواهد شد.

خود گوگل پیشنهاد میکند که اگر وبسایت شما دچار مشکلات کندی و اضافه بار از طرف گوگل‌بات ها شده بود، به خود گوگل تیکت بزنید و درخواست بررسی این مورد را برای آن‌ها ارسال نمایید. از طریق لینک زیر می‌توانید درخواست خود را ثبت نمایید. فقط دقت نمایید که حتما باید با حساب جیمیلی که سرچ کنسول وبسایتتان روی آن فعال است وارد شده باشید.
https://search.google.com/search-console/googlebot-report

پروسه خزش ربات های گوگل چگونه است؟

پروسه خزش به این شکل است که گوگل از ربات‌ها برای خزش، کشف، آنالیز و ایندکس صفحات وبسایت استفاده می‌کند تا در نتایج جستوجو بهترین و مرتبط‌ ترین وبسایت را به کاربران نمایش بدهد.

ابتدا با یک لیست از آدرس‌های وب از خزش های گذشته یا اینکه از طریق نقشه سایتی که خود صاحبان سایت درست کردند، شروع می‌شود.سپس گوگل از خزنده های وب استفاده میکند برای خزش آدرس های وبسایت‌ها، کشف اطلاعات و همچنین دنبال کردن لینک‌هایی که در این صفحات موجودند.

همچنین، خزنده‌ها صفحاتی را که گوگل قبلا در فهرست دارد، دوباره بررسی میکنند تا متوجه شوند که آیا تغییری داشته‌اند یا نه و در کنار آن صفحات جدید را نیز بررسی و خزش می‌کنند.

طی این پروسه، ربات اولویت بندی میکند کی و چه چیزی را بررسی کند; البته بر اساس مقدار تقاضای خزش که قبلا راجع به آن صحبت نمودیم.

سپس صفحاتی که پشت سر هم میبیند و خزش میکند را برای نمایش در نتایج جست و جو برای گوگل ارسال میکند.

جالب است بدانید که ربات‌های گوگل در اکثر مواقع، وبسایت های کوچک را بهتر و موثرتر خزش میکنند.

در آخر وقتی نوبت به وبسایت های بزرگتر با تعداد لینک‌های فراوان و میلیونی می‌رسد، گوگل باید اولویت بندی کند که کی و چه چیزی را بررسی کند . علاوه بر آن، چه مقدار از منابع را برای خزیدن ربات‌ها استفاده کند.

نحوه بررسی بودجه خزش یا crawl budget

اگر وبسایت خود را در گوگل سرچ کنسول ثبت کرده باشید میتوانید نحوه عملکرد، ارورهای خزش و مقدار خزش ربات‌های گوگل را در بخش setting  و قسمت crawl stats report این پلتفرم مشاهده نمایید.با بررسی این بخش میتوانید متوجه شوید که آیا گوگل مشکلی در لیست کردن و ایندکس محتوای وبسایت شما دارد یا خیر.با انجام این کار میتوانید از ارورهای پیش‌آمده برای رباتهای گوگل مطلع شوید، قبل از اینکه آمار بازدید وبسایتتان افت کند.

برای بررسی این بخش به مانند زیر عمل کنید :

ابتدا وارد سرچ کنسول وبسایتتان شوید و سپس به بخش setting  این پلتفرم بروید.

فیلد crawl stats  را پیدا نموده و روی گزینه open report کلیک نمایید.

این قسمت مختصری از اطلاعات موجود را به صورت نمودارها به شما میدهد که باهم آن‌را بررسی خواهیم کرد.

بررسی over-time chart

وقتی در فیلد crawl budget روی open stats  کلیک میکنید وارد صفحه‌ای میشوید که در بالای آن یک چارت وجود دارد.به این چارت  over-time chart میگوییم. در این چارت سه عدد فیلتر از پیش تعیین شده وجود دارد :

• Total crawl request (تعداد درخواست‌های خزش) : همانطور که از اسمش پیداست، نشان دهنده تعداد درخواست‌های خزشیست که گوگل در نود روز گذشته به سمت وبسایت شما فرستاده.
• Total download size (مقدار حجم دانلودی) : مقدار حجم دانلودیست که خزنده های گوگل، پس از دسترسی به وبسایت شما در دوره زمانی خاصی دانلود کرده‌اند.
• Average response time (میانگین زمان پاسخ‌دهی) : یک میانگین از زمانی است که طول می‌کشد تا سرور وبسایت به خزنده‌های گوگل پاسخ دهد.‌همچنین میتوان گفت که میانگین مقدار زمانیست که سرور وبسایت شما اطلاعات یا صفحات وبسایت شما را برای یک کاربر لود می‌کند.

بررسی بخش Grouped Crawl Data

در پایین چارت بالا بخشی وجود دارد با عنوان Grouped Crawl Data که این بخش اطلاعاتی را درمورد تمامی درخواست‌های خزش گردآوری می‌کند.این بخش درخواست‌ها را به صورت جزئی‌تر بررسی میکند.درخواست‌های خزش را بر اساس نوع فایل، پاسخ‌دهی، نوع ربات گوگل، و هدف ربات گوگل تقسیم میکند.

بخش Host Status

با کلیک بر روی یکی از دامنه‌های داخل فیلد Host وارد بخش Host Status می‌شوید. این بخش به طور کلی نمایش‌دهنده این است که وبسایت شما برای ربات های گوگل در دسترسی بوده است یا خیر و اینکه ربات های گوگل برای خزش وبسایت شما با مشکلی مواجه شده‌اند یا نه.

• خطاها در بخش robots.txt به این معنا هستند که گوگل به دلیلی فنی نتوانسته وب‌سایت شما را خزش کند. مقدار robots.txt fetch میزان شکست های ربات گوگل در زمان بررسی  فایل robots.txt را به شما نشان می‌دهد.ربات‌های گوگل باید هنگام درخواست برای فایل robots.txt با پاسخ 200 یا 404 مواجه شوند. اگر گوگل‌بات با مشکل اتصالی مانند وضعیت HTTP 503 روبرو شود، خزیدن در وب‌سایت شما را متوقف خواهد کرد.
• قسمت DNS Resolution به شما می‌گوید که سرور dns شما مشکلاتی دارد که در زمان خزش پاسخی به سمت ربات گوگل ارسال نمیکند.بهتر است در این زمان با پشتیبان هاست و دامنه خود در ارتباط باشید و مشکل را به آن‌ها اطلاع دهید.
• Server Connectivity نیز به شما می‌گوید که آیا در زمان خزش ربات‌ها سرور شما پاسخ‌گو بود است یا ربات‌ها پاسخی از سمت سرور های شما دریافت نکرده‌اند.