نرخ خزش در سئو و قوانین آن

نرخ خزش در سئو چیست؟

نرخ خزش نامی است که به حداکثر تعداد صفحاتی که یک موتور جستجو می خواهد بخزد داده می شود.

دلیل اصلی اینکه از آن به عنوان نرخ خزش یاد می شود این است که موتورهای جستجو برای استفاده بهینه از منابع خود در نقطه مرور میلیاردها سایت و صفحه در دنیای اینترنت،

محدودیت های خاصی را اعمال می کنند.

نرخ خزش ممکن است بسته به عواملی مانند سلامت زیرساخت فنی سایت، سلامت سرور، کیفیت محتوای سایت متفاوت باشد.

در حالی که سایت به طور کلی مطابق با سلامت کلی سایت شما (از جمله سلامت سرور) پایدار است، ممکن است نرخ خزش شما افزایش یا کاهش یابد.

به خصوص در صورت کاهش نامطلوب بودجه اسکن، تمامی سایت ها به ویژه وب سایت هایی که در طول روز مطالب زیادی را به اشتراک می گذارند، در نقطه نمایه سازی تحت تاثیر منفی قرار می گیرند.

 

وقتی نرخ خزش شما متناسب با تعداد اشتراک‌گذاری‌ها افزایش نمی‌یابد، ممکن است فرآیندهایی مانند نمایش به‌روزرسانی‌ها در صفحات قدیمی سایت شما،

خزیدن و فهرست کردن محتوای جدید به اشتراک‌گذاشته‌شده شما مختل شود.

به خصوص زمانی که فرآیند نمایه سازی، که اولین شرط کسب ترافیک ارگانیک برای وب سایت ها است، مختل شود، افزایش ترافیک وب تاثیر منفی خواهد داشت.

در حالی که 10000 صفحه از یک سایت A+ در طول یک روز خزیده می شود،

6 صفحه ممکن است صرف نظر از اندازه سایتی که دارای خطاهای بالاتر از میانگین (تعداد خطا)، بودجه اسکن تمام شده یا بسیار محدود است، خزیده شود.

خزش چیست؟

اسکن نامی است که به کل فرآیند بازدید و مشاهده وب سایت در دنیای اینترنت داده می شود.

بسته به عملیات انجام شده، اصطلاح خزیدن ممکن است به معنای عملیات مختلف باشد، اما در اصل، اصطلاح خزیدن به کنترل صفحات (URL) در یک وب سایت با بازدید از آنها اشاره دارد.

خزنده چیست؟

اصطلاح مرورگر (خزنده وب) که یکی از عناصر ضروری برای دنیای وب است، به ربات‌ها و عنکبوت‌های موتورهای جستجو اطلاق می‌شود که از وب‌سایت‌ها برای بررسی صفحات (URL) آنها بازدید می‌کنند.

با مرورگرهایی که به منظور کشف و بررسی سایت ها و صفحات وب در دنیای وب توسط موتورهای جستجو استفاده می شود،

از صفحات وب بازدید می شود، صفحه مربوطه اسکن می شود و اطلاعات مربوطه در مورد صفحه به موتور جستجو منتقل می شود.

ربات‌های موتور جستجو که در خودکارسازی تمام این فرآیندها مشارکت دارند، خزنده نامیده می‌شوند.

 

نرخ خزش و محدودیت های آن

بسته به عوامل مختلف، سلامت عمومی وب سایت شما به طور مستقیم بر تعداد درخواست هایی که ربات های موتورهای جستجو برای خزیدن سایت شما ارسال می کنند و زمان بین این درخواست ها،

یعنی سرعت خزیدن، تاثیر می گذارد.

در صورت خرابی سلامت فنی سایت و سرور، ربات های موتور جستجو می توانند تعداد درخواست های ارسالی به سایت شما و سرعت درخواست ها را کاهش دهند.

Crawl Demand   چیست؟

Crawl Demandاصطلاحی است که برای نشان دادن اینکه ربات های موتور جستجو چقدر می خواهند صفحات وبِ شما را بخزند، استفاده می شود.

عواملی مانند فراوانی اشتراک‌گذاری، محبوبیت محتوا، و محتوای قدیمی می‌توانند با کاهش درخواست‌های خزیدن در موتورهای جستجو، بر نرخ خزش بدون مشکل وب‌سایت تاثیر بگذارند.

در مواردی که محتوای وب‌سایت‌ها در موتورهای جستجو مانند گوگل نیازی به ایندکس شدن نداشته باشند یا محتوا در فهرست به‌روزرسانی نشود، می‌توان تعداد درخواست‌های خزیدن را کاهش داد.

به همین ترتیب، افزایش یا کاهش فراوانی محتوای اشتراک‌گذاری شده توسط سایت ممکن است در مواردی مانند اشتراک‌گذاری محتوا با دوره‌ها و ریتم‌های خاص، تعداد درخواست‌های خزش را تغییر دهد.

محبوبیت یک محتوا در نتایج جستجو، اهمیت محتوا را به ویژه برای موتورهای جستجو مانند گوگل افزایش می دهد.

در این مرحله، موتورهای جستجو می توانند تعداد درخواست های خزیدن برای محتوای مربوطه (URL) را افزایش دهند تا محتوای محبوب را در فهرست به روز نگه دارند.

وب‌سایت‌هایی که معتبر هستند و محتوای آنها برای جستجو محبوب است، ممکن است تعداد درخواست‌های خزیدن را افزایش دهند.

مقاله مرتبط: لینک سازی داخلی چیست و چه تاثیری بر سئو سایت دارد؟

چرا موتورهای جستجو از Crawl Budget استفاده می کنند؟

دلیل اصلی استفاده فعال از پویش نرخ خزش توسط موتورهای جستجو، ذخیره داده های مرتبط با اسکن تمام صفحات در دنیای وب و محدودیت منابع انرژی مورد نیاز برای این فرآیندها است.

با توجه به اینکه وب سایت ها و صفحات وب جدید به میلیاردها صفحه ای که امروزه وجود دارد اضافه شده است،

یکی از دلایل اصلی استفاده از نرخ خزش، ناکافی بودن و محدودیت منابع مورد نیاز برای اسکن کل دنیای اینترنت است که با افزودن یک صفحه در حال گسترش است.

فرآیند خزش چگونه کار می کند؟

فرآیند خزیدن یک صفحه اساسا بر این اساس است که یک ربات موتور جستجو از صفحه بازدید می کند،

دستورالعمل های خزیدن را با مشاهده فایل robots.txt وب سایت مربوطه بررسی می کند و محتوای صفحه را اسکن می کند.

اینکه آیا یک صفحه توسط ربات‌های موتور جستجو خزیده می‌شود یا نه توسط دستورات مجاز، غیر مجاز در فایل robots.txt  تعیین می‌شود.

هنگامی که می خواهید به یک ربات موتور جستجو نشان دهید که نمی خواهید هیچ یک از صفحات شما خزیده شود، باید URL مربوطه را از طریق فایل robots.txt مشخص کنید.

ربات‌های موتور جستجو که از طریق یک URL قابل خزیدن به صفحه می‌رسند، درخواستی را به سرور وب که میزبان منابع صفحه است، ارسال می‌کنند،

منابعی را که صفحه را تشکیل می‌دهند، مانند HTML، CSS، JS، Images می‌گیرند و صفحه را ایجاد می‌کنند.

 

موتورهای جستجو با استفاده از پیوندها، که کلید خزیدن در وب برای ربات های موتورهای جستجو هستند،

به صفحات شناخته شده قبلی می رسند و با دنبال کردن پیوندهای جدید در آن صفحات، صفحات جدیدی را کشف می کنند.

بسیار مهم است که پیوندهای داخلی مرتبط (کاربر پسند) را در تمام صفحات داخل سایت پیاده سازی کنید،

زیرا ربات های موتور جستجو برای کشف صفحات جدید پیوندهای موجود در صفحات را دنبال می کنند .