ایندکس (index)، عنکبوت گوگل (گوگل spider) و تو

در این مقاله اون چیزی رو که باید برای ایندکس شدن (Indexing) سایتت توسط گوگل بدونی و همچنین اصولش، آشنا میشی.‌

داشتن جایگاهی مناسب در نتایج جستجو، روشی مطمئنه برای اینکه درآمد بیشتری رو در دنیای آنلاین کسب کنیم. اما برای این کار، باید مطمئن شی که سایتت خزیده یا crawl میشه. در اینجا تو رو با نحوه‌ی پیمایش گوگل در وب آشنا می‌کنیم و می‌تونی برای اون کارهایی رو انجام بدی. شاید سورپرایز شی که این ‌کار چقدر آسونه.

بنابراین بیا کارت رو از اول شروع کنیم. گوگل، وب رو مورد جستجو قرار میده. بعد به ترتیبِ مرتبط بودن و اعتبار، همه‌ی سایت‌ها رو رتبه بندی می‌کنه و اونا رو با جستجوی تو مطابقت میده. سئوکاران وقت زیادی رو صرف گفتگو در مورد این قسمت می‌کنن، اما کمتر درباره‌ی نحوه‌ی نگاه واقعی گوگل به سایت‌ها صحبت می‌کنن. اگه ندونی که این روند کاری چطوریه، نمی‌تونی سایتت رو بهینه‌سازی کنی تا گوگل تو رو در بالای صفحه SERP (صفحه نتایج) قرار بده.

در واقع "گوگل" چیست؟

هر وقت مقاله‌ای در مورد SEO می‌خونی، نویسنده تقریباً همیشه در مورد "گوگل" حرف می‌زنه. روی صحبتشون معمولاً "Bing" یا "موتورهای جستجو دیگه" نیست. چون سهم گوگل اونقدر زیاده که به موتورهای جستجوی کوچیک‌تر توجهی نمیشه. معمولاً در مورد شرکت، دفترها و بخش‌های بازاریابی و موارد مرتبط گوگل هم صحبت نمی‌کنن، بلکه همیشه در مورد "الگوریتم گوگل" میگن.

الگوریتم گوگل رو اگه توانایی دیدنش رو داشتی، خیلی پیچیده به نظر می‌رسید که حتی قابل درک نیست. دارای الگوریتمی پیشرفته از توالی‌های ریاضیه. اما تا زمانی که مهندس جستجو در گوگل نشی، این الگوریتم رو نمی‌تونی درک کنی.

هیچ کس در خارج از گوگل دقیقاً از نحوه کار الگوریتم گوگل اطلاع نداره چون هیچکی نمی‌تونه اونو ببینه. ما یعنی جامعه SEO فقط می‌تونیم نتایج جستجو رو کنترل و ضبط کرده و فرضیاتی رو براساس اون چیزی که می‌بینیم، ترسیم کنیم اما هرگز نمی‌تونیم اونو کاملا "درک" کنیم.

عنکبوت (spider)

اولین کاری که گوگل انجام میده، جستجو در وبسایته. در اینجا چند نکته وجود داره که باید اونا رو برات توضیح بدیم. هر زمان مقاله SEO می‌خونی در نظر بگیر که افعال "خزیدن" و "عنکبوت" و (گاهی اوقات) "ایندکس" (index) قابل جایگزینین.  گوگل "عنکبوت" رو برای "خزیدن" در وب، حرکت از لینکی به لینک دیگه و ایجاد شبکه و فهرست‌بندی یا "ایندکس کردن" ارسال می‌کنه. اگه می‌خوای اقدامات عنکبوت گوگل رو تقلید کنی، از سایت بزرگی مثل ویکی‌پدیا شروع کن و روی هر لینکی که می‌بینی، کلیک کن. بعد به اون صفحه برو و روی هر لینک که دیدی، کلیک کن. اگر روی چند صد میلیارد صفحه کلیک کنی، تقریباً کار عنکبوت رو انجام دادی.

عنکبوت گوگل فقط می‌تونه در صفحات پیوند شده، بخزه و فقط می‌تونه به صفحاتی دسترسی پیدا کنه که تو می‌تونی با ماوس بهشون دسترسی داشته باشی. همچنین نمی‌تونه جزئیات ورود به سیستم یا رمزهای ورود رو وارد کنه و نمی‌تونه عبارات رو در نوار جستجوی تو وارد کنه. به عنوان یک قاعده کلی، اگه صفحه‌ات قابلیت دسترسی با یک لینک کلیکی نداشته باشه، گوگل احتمالاً متوجه اون نمیشه.

حافظه پنهان (Cache)

بیشتر مردم فکر می‌کنن که گوگل فقط موقع جستجو، وب‌سایت رو میخزه و ایندکس می‌کنه. این تصور اشتباهه! بله، گوگل وبسایت رو می‌خزه اما در زمان خاصی این‌کار رو انجام نمیده.

گوگل هر سایتی رو به دلخواه و در هر زمانی که لازمه، مورد خزش قرار میده و اون چیزی رو که ما حافظه پنهان (cache) می‌نامیم، ایجاد می‌کنه. حافظه پنهان به معنیه "ذخیره ‌کردن مخفیه". مثل اسکرین‌شات (Screenshot) از سایتته که گوگل اونو در سرورهاش نگه می‌داره. وقتی که تو جستجویی رو انجام میدی، حافظه پنهانه که مورد جستجو قرار می‌گیره، نه چیز دیگه‌ای.

همچنین می‌تونی به صورت فعل ازش استفاده کنیم. وقتی که میگیم گوگل از سایتت حافظه پنهان گرفته یعنی سایتت رو دیده و عکس‌های زیادی ازش گرفته. اسکرین‌شات مثال مناسبیه برای اینکه بتونیم تجسم کنیم که چی اتفاق می‌افته. در واقع متن و پیوندهای سایتت رو ذخیره می‌کنه.

با توجه به اینکه این حافظه پنهان سایت توست که مورد جستجو قرار می‌گیره، بنابراین حافظه‌ پنهانه که بر رتبه‌بندی تو تأثیر می‌ذاره. گوگل به دنبال وضعیت کنونی سایتت نیست، بلکه به نسخه‌ای که در اون ذخیره شده، توجه می‌کنه. این کار در عمل به چه معنیه؟ مدتی زمان می‌بره تا محتوای جدیدی که اضافه کردی، در رتبه‌بندی گوگل نشون داده بشه. بنابراین اونچه رو که می‌تونی انجام میدی تا مطمئن شی سایتت در کمترین زمان ممکن به حافظه پنهان اضافه میشه.

خوشبختانه کار ساده‌ای وجود داره که با انجام دادن اون مطمئن میشی که سایتت بیشتر خزیده میشه و این کار با اضافه کردن محتوای بیشتر صورت می‌گیره. اساساً هر زمانی که گوگل سایتت رو مورد جستجو قرار میده، اگه تغییری ایجاد شده باشه اونو کنترل می‌کنه، یادداشت می‌کنه و در نظر می‌گیره تا در مرتبه بعد کمی زودتر برای خزیدن به صغحه‌ت برگرده.

اگه صاحب وب سایت روزنامه‌ای هستی که دائماً مطالب جدید رو بارگذاری می‌کنی، احتمالاً هر چند ساعت یک‌بار ایندکس میشی. اما اگه هیچ‌وقت محتوات رو به روز نکنی یا فقط به ندرت این کار رو انجام بدی، احتمالاً هر چند هفته یکبار خزیده میشی که خبر بدیه برات.

برای دیدن اینکه آخرین بار کی توسط گوگل ایندکس شدی کافیه که http://www.YourDomain.com در گوگل وارد کنی یا اگه از گوگل کروم استفاده می‌کنی از نویگیشن بار (navigation bar) استفاده کنی تا متوجه این موضوع شی. این تصویر خزیدن ما رو نشون میده.

تو می‌تونی بینی که این سایت در تاریخ 25 فوریه index شده.

درباره اینکه هر چند وقت یک بار سایتت خزیده میشه، وسواس به خرج نده. هرچند یک بار اونو بررسی کن. اگه مدتیه سایتت ایندکس نشده، محتوای بیشتری اضافه کن و برای خودت استرس ایجاد نکن. این وظیفه گوگله که وب رو جستجو کنه و اونا این کار رو به خوبی انجام میدن. تو کارهای بزرگتری داری که می‌تونی برای بهبود SEO به کار ببری اما اگه می‌خوای جزئیات بیشتری درباره این کارها بدونی، می‌تونی ادامه مقاله رو مصالعه کنی.

ایندکس شدن (index)

گام بعدی، ایندکس شدنه. ایندکس گوگل لیستیه از تمام صفحاتی که گوگل ذخیره کرده. این واقعاً از لحاظ ریاضی بیشتر ماتریسیه که محورهای اون که اعتبار و ارتباطن که جز فاکتورهای اصلی رتبه‌بندین. اینو بدون که ایندکس گوگل، نوعی لیسته و تو می‌خوای هر صفحه از سایتت در اون قرار بگیره.

ایندکس، تصمیم‌گیری در مورد اینه که کدوم سایت‌ها در اون لیست قرار بگیرن. ترتیب ورود به لیست مهم نیست. این کار در واقع یکی از سخت‌ترین کارهای گوگله.

بستر وب، بزرگ محسوب میشه و خیلی گسترده‌ست. گوگل هر روز نمی‌تونه در تمامی صفحات بخزه، بنابراین باید انتخاب کنه که کدوم قسمت رو ایندکس کنه. این کار رو با مشاهده سایت‌هایی انجام میده که هم بهترین اطلاعات رو دارن و هم به بهترین شکل ارائه میدن. سایت‌هایی که این کار رو انجام میدن، بیشتر از سایت‌هایی که این کار رو انجام نمیدن، ایندکس میشن.

گوگل در بعضی از مواقع بدون اینکه صاحب سایت در واقع کاری انجام بده، سایت‌ رو ایندکس می‌کنه. (به نظر می‌رسه گوگل خیلی باهوشه) اما اگه می‌خوای کار موتور جستجو رو کمی راحت‌تر کنی (و از انجام این فرآیند لذت بیشتری کسب کنی) چند راه‌کار وجود داره که می‌تونی اونا رو انجام بدی.

1. لینک‌سازی (Link building)

ایجاد لینک، همچنین برای سئو سایتت خیلی مناسبه. چون روش آسونیه که به گوگل وجود صفحه رو اطلاع‌رسانی کنی. وقتی که گوگل سایتی که بهت لینک داده رو مورد جستجو قرار میده، روی لینک کلیک می‌کنه و صفحه تو رو پیدا می‌کنه. هورا! و مطمئناً هرچی تعداد لینک‌هات بیشتر باشه، سایتت از نظر گوگل معتبرتر میشه. بنابراین تا می‌تونی لینک ایجاد کن.

و این شامل لینک‌سازی داخلی هم میشه. اطمینان پیدا کن که دسترسی به بهترین مطالبت، برای گوگل آسونه. لینک‌های مربوط به اون مطالب رو در مهم‌ترین صفحات سایتت قرار بده مثل صفحه اصلی، تا گوگل بتونه سریع و راحت اونا رو پیدا کنه.

2. کد نویسی تمیز (Clean code)

تصور کن در حال رانندگی هستی و باید سریع به مقصدی برسی و از بین دو مسیر یکی رو انتخاب کنی. یک راه می‌تونه تو رو مستقیماً از طریق یک بزرگراه برسونه، راه دیگه به جاده‌های کوچیک‌ روستایی می‌رسونه که بیشتر اونجا با تراکتور رانندگی می‌کنن و جاده‌های نامناسبی داره. کدوم مسیر رو انتخاب می‌کنی؟

اگه بزرگراه رو انتخاب کردی بهت تبریک میگیم! تو مثل گوگل فکر می‌کنی. اگه سایتت با استفاده از کدنویسی تمیز نوشته شده باشه، گوگل اونو به سرعت می‌خونه و به احتمال زیاد تو رو ایندکس می‌کنه.

اگه کاملاً مطمئن نیستی که چه تفاوتی بین کدنویسی تمیز و کدنویسی شلخته وجود داره، باید نحوه بهینه‌سازی کد رو یاد بگیری و همچنین چک لیست فنی وجود داره که می‌تونی از طریق اون کارت رو پیش ببری.

سرعت سایت (Site speed) همچنین نشون‌دهنده تمیز بودن کده.

3. نویگیشن مناسب (Good navigation)

مثال رانندگی رو در نظر بگیر. اگه می‌خوای به جایی بری، بودن علائمی که تو رو به مسیر درست هدایت می‌کنه، مفیده. در غیر این صورت گم میشی. به همین ترتیب گوگل می‌خواد که تو بگی محتوای مناسبت در کدوم قسمته. گوگل باید بدونه که می‌تونه به سرعت به بهترین محتوات برسه. بنابراین می‌تونه اطمینان حاصل کنه که بهترین مطالب وب‌سایتت ایندکس شده. نویگیشن عالی از کلمه کلیدی، قسمتی از این فرآیند محسوب میشه. همون‌طور که داشتن نقشه سایت هم از همچین اهمیتی برخورداره.

4. نقشه سایت (sitemap)

نقشه سایت روش عالیه برای اینکه اطمینان پیدا کنی گوگل می‌تونه به سرعت به بهترین مطالبت دسترسی پیدا کنه. باز هم اگه سوار ماشین بودی، احتمالاً از نقشه (یا چند تابلوی جاده) استفاده می‌کنی تا مطمئن باشی گم نمیشی. همون‌طور که تو نقشه‌ی راه می‌خوای، گوگل هم نقشه سایت می‌خواد. پس در فکر ایجادش باش.

5. گوگل پلاس (گوگل+)

استفاده از اون خیلی خوبه و گوگل دوست داره سایت‌هایی رو که مردم در شبکه اجتماعیشون به اشتراک می‌ذارن رو مورد جستجو قرار بده. بنابراین اگه محتوای خیلی جذابی ایجاد کردی، بلافاصله اونو در گوگل پلاس به اشتراک بذار تا سایتت به سرعت خزیده شه.

تو تئوری کار رو یاد گرفتی. اما در حال حاضر سایتت رو واقعاً چطوری می‌بینی؟

ابزار گوگل وب‌مستر (Google's Webmaster Tools)، وسیله‌ای خیلی مناسب و رایگانه که از طرف گوگل ارائه شده و بهت این امکان رو میده که عملکرد سایتت رو از نظر گوگل ببینی. اگه قبلاً حساب کاربری ایجاد نکردی، دنبالش باش. چون بهت کمک می‌کنه تا بتونی خطاهای موجود در سایتت رو ببینی. پس بیا بیشتر با این ابزار آشنا شیم.

وارد ابزار Webmaster Tools شو و روی گزینه "خطاهای خزیدن" (crawl errors) کلیک کن.

حالا در سمت چپ روی "وضعیت ایندکس" (Index status) کلیک کن و بعد از باز شدن اون صفحه، روی گزینه (Advanced) کلیک کن و چیزی شبیه به این شکل رو می‌بینی.

خطوط کلیدی که باید در اینجا بررسی کنی، خطوط آبی و سبزن.

خط آبی نشون‌دهنده تعداد صفحاتیه که ایندکس شدن، یعنی در جایی از سایتت رتبه‌بندی میشن. تو  می‌خوای که این خط رشد صعودی داشته باشه.

خط سبز نشونگر صفحاتیه که گوگل در اون خزیده، اما ایندکس نکرده. این کار دو دلیل داره یک دلیل خوب و یک دلیل بد.

دلیل خوب اینه که ممکنه ریدایرکت (redirect) انجام داده‌ باشی. بنابراین گوگل اون صفحه رو خزیده، اما بهش گفتی برای ایندکس شدن اون صفحه، زحمتی نکشه. یا ممکنه تگ کنونیکال در اون قرار داده باشی، بنابراین گوگل به این نکته واقفه که تو محتوات رو تکرار می‌کنی، پس مشکلی نیست. (چرا گوگل این صفحات رو جدا نمی‌کنه، ما نظری نداریم)

خبر بد اینه که اونا، همچنین محتواهایی رو که مشابه محتوای بقیه صفحات باشن هم ایندکس نمی‌کنن. محتوایی که اونارو ریدایرکت نکردی و یا از تگ کنونیکال استفاده نکردی، اما با این وجود گوگل اونو تکراری در نظر می‌گیره. گوگل محتوای تکراری دوست نداره و اگه مجبور باشه بارها و بارها همون محتوا رو مورد خزش قرار میده. که این کار فقط هدر دادن زمانه و چه کلمه دیگه‌ای مترادف با زمانه؟ بله ... پول.

Webmaster Tools منبع واقعا خوبی برای اینه که متوجه شی نحوه‌ی مشاهده گوگل از وب‌سایتت چجوریه. این مشکلات رو برطرف می‌کنه و بهت اجازه میده تا از گوگل بازخورد بگیری. می‌تونی الگوریتم اونو در جهت درستی هدایت کنی و نتایج رو در صفحات جستجو مشاهده کنی. مطالب زیادی برای یادگیری در مورد Webmaster Tools و نحوه مشاهده گوگل از سایتت وجود داره. اما به عنوان قدم بعدی ما می‌تونیم مقاله مربوط به نکته و ترفندهای سئو (SEO) برای بهبود ایندکس رو بهت پیشنهاد بدیم.