همه‌ی چیزهایی که باید درباره‌ی بودجه‌ی خزش و تاثیر اون در سئو بدونی!

در این مقاله می‌فهمی که چطوری موتورهای جستجو می‌خزن، چطوری می‌تونی تشخیص بدی که بودجه خزش به وب‌سایتت مربوطه یا نه و اینکه چطوری اونو بهینه کنی.

بودجه‌ی خزش؛ مفهومیه که درک درستی از اون نشده و معمولاً بحث رایجی در  SEOو دیجیتال مارکتینگه.

بعضی‌ها فکر میکنن که این یک جادوگریه که میتونی با اون به نتایج برتر گوگل برسی.

با وجود تمام مطالبی که در مورد نحوه‌ی عملکرد موتورهای جستجو (به طور کلی) و روند خزیدن (به طور خاص) نوشته شده، به نظر میرسه بازاریاب‌ها و وب‌مسترها، هنوز درباره‌ی بودجه‌ی خزش، نظر یکسانی ندارن.

 

مسئله

آگاهی نداشتن درباره‌ی اصول موتورهای جستجو و نحوه‌ی عملکرد فرآیند جستجو.

این مسئله، سردرگمی ایجاد میکنه و به طور معمول باعث اتفاقی میشه که تاجرها به اون "سندرم شی براق "میگن. اساساً به این معنیه که بدون درک اصول اولیه، بازاریاب‌ها توانایی تشخیص کمتری پیدا میکنن و اونا کورکورانه از توصیه‌های هر کسی پیروی میکنن.

راه‌حل

در این مقاله این موارد رو بررسی میکنیم:

• نحوه‌ی عملکرد موتورهای جستجو (معرفی مختصر).
• خزیدن چطور کار میکنه؟
• بودجه خزش چیه و چطور کار میکنه؟
• نحوه‌ی ردیابی و بهینه سازی اون.
• آینده‌ی خزیدن.

قبل از اینکه به مفهوم بودجه‌ی خزش و مفاهیم اون بپردازیم، مهمه که بدونیم روند خزیدن چطوریه و برای موتورهای جستجو به چه معنیه.

موتورهای جستجو چطور کار میکنن؟

به گفته‌ی گوگل، سه مرحله اساسی وجود داره که موتور جستجو برای ایجاد نتایج از اون استفاده میکنن:

•   خزیدن: خزنده‌های وب، به صفحات وب موجود دسترسی دارن.
• ایندکس کردن: گوگل، محتوای هر صفحه رو تجزیه و تحلیل میکنه و اطلاعاتی رو که پیدا میکنه ذخیره میکنه.
• خدمات‌دهی و رتبه‌بندی: وقتی که یک کاربر، جستجویی انجام میده، گوگل مرتبط‌ترین پاسخ‌ها رو از ایندکس ارائه میده.

بدون خزیدن، محتوای تو ایندکس نمیشه و در گوگل نمایش داده نمیشه.

 

ویژگی‌های روند خزیدن

گوگل میگه:

روند خزیدن، با لیستی از آدرس‌های وب شروع میشه. خزنده‌ها از لینک‌های اون سایت‌ها، برای کشف صفحات دیگه استفاده میکنن. این نرم‌افزار توجه ویژه‌ای به سایت‌های جدید، تغییرات در سایت‌های موجود و لینک‌های مرده داره. یک برنامه‌ی کامپیوتری تعیین میکنه که در کدوم سایت‌ها باید خزیدن انجام بشه، چند بار و چند صفحه از هر سایت رو باید واکشی کرد.

نقش سئو در اینجا چیه؟

• خزنده‌ها از لینک‌های سایت‌ها، برای کشف صفحات دیگه استفاده میکنن. ساختار لینک داخلی سایتت خیلی مهمه.
• خزنده‌ها؛ سایت‌های جدید، تغییرات در سایت‌های موجود و لینک‌های مرده رو در اولویت قرار میدن.
• یک فرآیند خودکار تعیین میکنه که کدوم سایت‌ها خزیده بشن، چند بار و چند صفحه رو گوگل دریافت کنه.
• روند خزیدن، تحت تأثیر ظرفیت‌های Hosting تو (منابع سرور و پهنای باند) انجام میشه.

خزیدن با توجه به اندازه‌ی وب، یک روند پیچیده و پرهزینه برای موتورهای جستجو محسوب میشه. بدون یک روند خزیدن موثر، گوگل نمیتونه همه‌ی اطلاعات رو سازماندهی کنه و در دسترس عموم قرار بده و مفید باشه.

اما چطور گوگل خزیدن موثر رو تضمین میکنه؟ با اولویت بندی صفحات و منابع. اگه گوگل بخواد همه‌ی صفحات وب رو بخزه تقریباً غیر ممکنه و خیلی هزینه‌بر میشه.

بیا عمیق تر به ایده‌ی بودجه خزش بپردازیم.

بودجه‌ی خزش چیه؟

بودجه‌ی خزش، تعداد صفحاتیه که خزنده (crawler) در یک بازه‌ی زمانی مشخص، برای خزیدن اونا رو تنظیم میکنه.

خزنده بعد از تموم شدن بودجه، دسترسی به محتوای سایتت رو متوقف میکنه و به سایت‌های دیگه میره.

بودجه‌های خزش برای هر سایتی متفاوته و به طور خودکار توسط گوگل تعیین میشه.

موتور جستجو، از عوامل مختلفی برای تعیین میزان اختصاص بودجه به سایتت استفاده میکنه.

به طور کلی، چهار عامل اصلی وجود داره که گوگل برای تخصیص بودجه‌ی خزش، از اونا استفاده میکنه:

• اندازه‌ی سایت:

سایت‌های بزرگ‌تر، به بودجه‌ی خزش بیشتری نیاز دارن.

• راه اندازی سرور:

عملکرد و زمان بارگذاری سایتت، ممکنه روی مقدار اختصاص بودجه تأثیر بذاره.

• فرکانس به‌روز‌ رسانی:

هر چند وقت یکبار محتوات رو به‌روز رسانی میکنی؟ گوگل، محتوایی رو که به طور مرتب به‌روز میشه رو در اولویت قرار میده.

• لینک‌ها:

ساختار لینک داخلی و لینک‌های مرده.

درسته که مسائل مربوط به خزیدن، میتونه مانع از دسترسی گوگل به مهم‌ترین محتوای سایتت بشه، اما مهمه بدونی که تعداد خزیدن، یک شاخص کیفیتی محسوب نمیشه.

به تنهایی خزیدن بیشتر سایت، باعث رتبه بهتری نمیشه.

اگه محتوای تو مطابق با استانداردهای مخاطب‌ها نباشه، نمیتونی کاربرهای جدیدی رو جذب کنی.

حتی اگهGooglebot  بیشتر سایتت رو بخزه، تاثیری تو رتبه‌بندی نداره.

 

بودجه‌ی خزش چطور کار میکنه؟

بیشتر اطلاعاتی که در مورد نحوه‌ی عملکرد بودجه خزش داریم، از مقاله‌ی گری ایلیز (Gary Illyes) در وبلاگ مرکزی سایت گوگل به دست اومده.

ایلیز تأکید میکنه:

• بودجه‌ی خزش نباید عاملی برای نگرانی باشه.
• اگه سایتی کمتر از چند هزار آدرس اینترنتی داشته باشه، بیشتر اوقات به طور کارآمدی مورد خزیدن قرار میگیره.

 

 

فرکانس به معنای فعالیت وب‌سایته. فرکانس کم به معنی اینه که دیر به دیر محتوای سایت آپدیت میشه.

الویت‌بندی وب‌سایت‌های کوچیک با فرکانس بالا و وب‌سایت‌های بزرگ با فرکانس کم، به مدل بازاریابی و برندسازی عمودی اون بستگی داره.

در اینجا مفاهیم کلیدی که باید برای درک بهتر بودجه خزش بدونی رو آوردیم:

1. محدودیت نرخ خزیدن (Crawl Rate Limit)

گوگل میدونه که اگه مواظب نباشه، ربات اون میتونه محدودیت‌های شدیدی رو برای وب‌سایت‌ها ایجاد کنه. گوگل مکانیزم‌های کنترلی داره که تضمین میکنه خزنده‌های اونا، فقط به دفعات منظم، وب‌سایت رو میخزن.

محدود کردن نرخ خزیدن، به گوگل کمک میکنه تا بودجه‌ی خزش یک وب‌سایت رو تعیین کنه.

به این شکل:

• Googlebot یک وب‌سایت رو میخزه.
• ربات، سرور سایت رو امتحان میکنه و واکنشش رو میبینه.
• بعد از این اتفاقات، Googlebot محدودیت رو کم یا زیاد میکنه.

صاحبان وب‌سایت‌ها میتونن با تنظیمات  Crawl Rateدر property، محدودیت رو در Google search تغییر بدن.

2. درخواست خزیدن (Crawl Demand)

Googlebot، درخواستی رو که هر URL خاصی از ایندکسش دریافت میکنه رو در نظر میگیره تا مقدار فعال یا غیرفعال بودنش رو تعیین کنه.

دو عاملی که در تعیین درخواست خزندگی نقش زیادی دارن:

• محبوبیت URL: صفحاتی که محبوب باشن بیشتر ایندکس میشن.
• قدیمی بودن: سیستم گوگل ازURL های قدیمی جلوگیری میکنه و محتوای جدید رو ترجیح میده.

گوگل عمدتاً از این محدودیت‌های نرخ خزیدن و درخواست خزیدن، برای تعیین تعداد آدرس‌های اینترنتی که Googlebot میتونه و میخواد بخزه (بودجه خزش) استفاده میکنه.

عوامل موثر بر بودجه‌ی خزش

داشتن مقدار قابل توجهی ازURL های کم ارزش در سایتت، میتونه بر قابلیت خزیدن در سایتت، تأثیر منفی بذاره.

مواردی مثل اسکرولینگ نامحدود، محتوای تکراری و اسپم‌ها، به طور قابل توجهی پتانسیل خزیدن سایتت رو کم میکنه.

در اینجا لیستی از عوامل مهمی که بر بودجه‌ی خزش سایتت تأثیر میذاره رو آوردیم:

• وضعیت سرور و هاستینگ

گوگل؛ ثبات هر وب‌سایت رو در نظر میگیره. Googlebot در سایتی که همیشه خرابه، نمیخزه.

• نویگیشن‌ها و Session زیاد

اگه وب‌سایتت صفحه‌های پویای زیادی داره، میتونه مشکلاتی درURL های پویا و همچنین دسترسی ایجاد کنه. این مسائل باعث میشه که گوگل صفحاتت رو ایندکس نکنه.

• محتوای تکراری

محتوای تکراری، میتونه یک مشکل بزرگ باشه چون مشخص میکنه که تو برای کاربرها ارزشی قائل نمیشی.

• اسپم و محتوایی با کیفیت پایین

اگه خزنده متوجه بشه که قسمت زیادی از محتوای وب‌سایتت کیفیت پایینی داره یا اسپمه، بودجه‌ی تو رو کم میکنه.

• رندرینگ

درخواست‌های شبکه‌ای که وقت رندرینگ ارائه میشن، ممکنه بودجه‌ی خزش تو رو کم میکنه.

نمیدونی رندر چیه؟

روند پر کردن صفحات با داده‌های API یا پایگاه‌های داده‌ست. این کار به گوگل کمک میکنه تا طرح و یا ساختار سایتت رو بهتر بشناسه.

نحوه‌ی پیگیری بودجه‌ی خزش

تشخیص و نظارت بر بودجه خزش فعلیت کار سختیه چون Search Console جدید، بیشتر گزارش‌های قدیمی رو نشون نمیده.

ایده‌ی‌ استفاده از server logs برای خیلی از افراد بسیار فنی به نظر میرسه.

در اینجا یک مرور سریع، از دو روش رایج وجود داره که میتونی برای نظارت بر بودجه خزشت استفاده کنی:

1. سرچ کنسول (Google Search Console)

مرحله ۱: بهSearch Console> Legacy Tools and Reports> Crawl Stats  برو.

 

 

مرحله ۲: به گزارش Crawl Stats برو و فعالیت Googlebot رو در ۹۰ روز گذشته‌ ببین. میتونی الگوها رو متوجه بشی؟

 

2. Logهای سرور

log‌های سرور، هر درخواستی که از وب سرور تو انجام میشه رو ذخیره میکنه.

log‌های سرور، هر درخواستی که از وب سرور تو انجام میشه رو ذخیره میکنه.

هر بار که یک کاربر یا Googlebot از سایتت بازدید میکنه، یک گزارش log، به فایل log اضافه میشه.

وقتی که Googlebot از سایتت بازدید میکنه، یک  logبه سیستم به فایل دسترسی به log اضافه میشه.

تو میتونی این فایل گزارش رو به صورت دستی یا خودکار تجزیه و تحلیل کنی تا متوجه بشی چندبار Googlebot  به وب‌سایت میاد.

با تجزیه و تحلیل log تجاری، میتونی اطلاعات مربوط به Googlebot در وب‌سایتت رو متوجه بشی.

تجزیه و تحلیل گزارش log نشون میده:

• هر چند وقت یکبار سایتت خزیده میشه.
• Googlebot بیشتر به کدوم صفحات دسترسی دارن.
• ربات با چه نوع خطاهایی روبرو شده.

محبوبترین ابزارهای تجزیه و تحلیل log وجود داره:

• آنالیزورLog  فایلsemarsh
• آنالیزور سئو Log فایل Screamingfrog
• آنالیزور OnCrawl Log
• Botlogs Ryte
• SEOlyzer

نحوه‌ی بهینه‌سازی بودجه‌ی خزش

یادت باشه که بهینه‌سازی بودجه‌ی خزش برای سایت‌های بزرگ‌تر، مهمتره.  

۱. اولویت‌بندی زمان و نحوه‌ی خزش

تو باید همیشه صفحاتی که ارزش واقعی رو برای کاربر نهایی ارائه میدن، در اولویت قرار بدی.

در اینجا نحوه‌ی پیدا کردن آدرس‌های اینترنتی با ادغام داده‌های Google Analytics و Search Console رو  برای تو آوردیم.

 

 

صفحات ایجاد کننده کلیک و صفحات پربازده‌، باید برای خزنده‌ها به راحتی قابل دسترسی باشن.

بعضی وقت‌ها ایده خوبیه که یک نقشه‌ی سایت XML جداگانه یا صفحاتی اصلی ایجاد کنی.

۲. تعیین کن که هاستینگ سایت، چقدر میتونه باعث تخصیص منابع بشه

فایل‌های Log سرورت رو بارگیری کن و از یکی از ابزارهایی که گفتیم برای شناسایی الگوها و مشکلات احتمالی استفاده کن.

هدف نهایی تو باید این باشه که که ایده‌ای درباره‌ی نحوه تنظیمات سرور فعلیت تحت تأثیر Googlebot به دست بیاری.

۳. صفحاتت رو بهینه کن

بهینه‌سازی نقشه‌ی سایت  XML

چندین نقشه‌ی سایت طبقه‌بندی شده بر اساس بخش‌بندی یا نوع URL در سایتت ایجاد کن.

یعنی products.xml, blog-post.xml و غیره.

 

 

 

 

این کار بهت کمک میکنه تا روند خزیدن رو به ارزشمندترین بخش‌های سایتت کنترل کنی.

به‌روز رسانی زیاد

از به‌ روز رسانی محتوات اطمینان پیدا کن و هر بار که محتوات به روز میشه به گوگل اطلاع بده.

میتونی این کار رو از طریق داده‌های ساختار یافته، نقشه‌های سایت XML یا حتی eTag  انجام بده.

محتوای با کیفیت پایین، اسپم و محتوای تکراری

از وب‌سایت محتوای با کیفیت پایین، تکراری یا اسپم رو پاک کن.

مسائل مربوط به لینک

لینک‌ها در روند خزیدن بسیار مهمن، هر وب‌سایت باید به صورت دوره‌ای مواردی مثل تغییر مسیرهای اشتباه، خطای 404 و زنجیره‌های ریدایرکت رو برطرف کنه.

بهینه‌سازی Robots.txt

تو میتونی فایل robots.txt رو با حذف‌URL ها یا فایل‌های بی‌ارزش (مثل آنالیتیکس داخلی یا chatbot‌ها) روند خزیدن رو بهینه کنی.

منابع مفید یا مهم رو از Googlebot حذف نکن. یعنی یک فایل CSS که برای ارائه یک صفحه‌ی خاص لازمه.

چطور فرآیند خزیدن تغییر کرده؟

گوگل و فرآیند خزیدن در طول زمان تکامل پیدا کرده.

در اینجا مروری بر مهم‌ترین تغییرات چند سال گذشته رو برای تو آوردیم:

• اولویت‌بندی با ایندکس موبایل

در مارس ۲۰۱۸، گوگل شروع به اولویت‌بندی محتوای موبایل در وب کرد. اولویت ایندکس موبایل رو به ایندکس دسک‌تاپ ترجیح داد تا تجربه‌ی کاربرها در موبایل رو بهبود بده.

با این تغییر، خزنده‌ی Googlebot موبایل، جایگزین Googlebot دسک‌تاپ عنوان خزنده‌ی اصلی شد.

گوگل اعلام کرد که از سپتامبر ۲۰۲۰، روند اولیت دادن به ایندکس موبایل رو برای همه‌ی سایت‌ها در نظر گرفته.

این تاریخ به دلیل بعضی از مشکلات تا مارس ۲۰۲۱ عقب افتاد.

• کم شدن نرخ خزیدن  Googlebot

گوگل؛ برای وب‌سایت‌هایی که در حین خزیدن دچار مشکلات مهم سرور یا ناخواسته میشن، امکان داره نرخ خزیدن رو کم کنه.

آینده‌ی خزیدن

نشونه‌هایی برای تغییر احتمالی در نحوه‌ی دسترسی گوگل به محتوای وب، از خزیدن به ایندکس  APIها وجود داره.

از اولویت موبایل تا اولویت با هوش مصنوعی (AI-First)

در سال ۲۰۱۷، مدیر عامل شرکت گوگل سوندار پیچای (Sundar Pichai) اعلام کرد: مرحله‌ی گذار از جستجو و سازماندهی اطلاعات، به سمت AI و یادگیری ماشین شروع شده است.

این گذار، در همه‌ی محصولات و پلتفرم‌ها اجرا میشه.

در حال حاضر جستجوی گوگل، از الگوریتم‌های مختلفی مثل BERT برای حمایت و بهبود درک زبان انسان، رتبه‌بندی و صفحات نتایج جستجو استفاده میکنه.

سرمایه‌گذاری‌های زیادی در machine learning و برنامه‌های هوش مصنوعی؛ به گوگل اجازه میده تا یک مدل پیش بینی بهتر، برای صفحات نتایج جستجوی خیلی شخصی سازی شده بدست بیاره.

با یک مدل پیش بینی دقیق، که بتونه به رتبه‌بندی و‌ سایت‌ها، بر اساس چندین نقطه داده (یعنی مکان، سابقه‌ی جستجو، لایک‌های موجود، و غیره) باشه، روند خزیدن فعلی، تبدیل به کاری غیر ضروری میشه چون موتور جستجو میتونه خروجی خوبی با ورودی محدودی ارائه بده.

یعنی لازم نیست گوگل همه‌ی وب رو بخزه و فقط در وب‌سایت‌هایی که مربوطه برای کاربرانشه میخزه.

گوگل در حال آزمایش این موضوعه.

گوگل یک سیستم یادگیری ماشینی ایجاد کرده که میتونه با پیش‌بینی تغییرات قیمت، در سایت‌های تجارت الکترونیک، برای خریدهای گوگل، منابع خزیدن رو بهینه کنه.

خزیدن در وب‌سایت سخت‌تر میشه

 

با وجود تقریباً ۲ میلیارد وب‌سایت در وب، خزیدن و ایندکس محتوا، به یک روند چالش برانگیز و هزینه‌بر برای گوگل تبدیل شده.

اگه رشد وب با این سرعت ادامه پیدا کنه، گوگل کنترل بهتری بر ایندکس شدن و رتبه‌بندی جستجو پیدا میکنه.

ریجکت صفحات ناخواسته یا بی‌کیفیت، بدون هدر دادن منابع در جستجوی میلیون‌ها صفحه، عملکرد گوگل رو به خیلی بهتر میکنه.

در آینده ممکنه گوگل برای اولویت‌بندی کیفیت، اندازه‌ی ایندکس رو کم کنه و از مرتبط بودن و مفید بودن نتایج، مطمئن بشه.

Google وBing ،API های ایندکس دارن

هر دو شرکت، ابزارهایی رو توسعه دادن که میتونی هر وقت که وب‌سایتت رو به روز کردی، به اونا اطلاع بدی. ابزارهایی مثل: developer.google.com و bing webmaster tools

هدف‌گذاری ایندکسAPI ها؛ ارائه‌ی خزیدن، ایندکس و کشف محتوای سایتته.

نتیجه‌گیری

بودجه‌ی خزش، به عنوان یک مفهوم و معیار بهینه‌سازی بالقوه، برای نوع خاصی از وب‌سایت‌ها مناسب و مفیده.

در آینده‌ی نزدیک، ممکنه ایده‌ی افزایش بودجه تغییر کنه یا حتی از بین بره چون گوگل دائما در حال پیشرفت و آزمایش راه‌حل‌های جدید برای کاربرانشه.

اصول کار رو رعایت کن و فعالیت‌هایی رو که برای کاربرهای نهاییت ارزش ایجاد میکنن رو در اولویت قرار بده.