نگاهی کلی به عملکرد موتور های جستجو و سئو آنها

همانطور که در فصل یک آموزش مقدماتی سئو برای شما تا حدودی موتور های جست وجو و عملکرد ان ها را توضیح دادیم ، در این مقاله نیز قصد داریم به صورت کامل نحوه عملکرد کرال ، ایندکس و رنکینگ ها را برای شما به صورت کامل شرح دهیم. اگر فصل قبل را خوانده باشید ، تا الان باید بدانید ، موتور های جستجو ، ماشین های پاسخگو هستند که بهترین نتیجه را نسبت به کوئری سرچ شده توسط کاربر ، به او نمایش می دهند. پس به یاد داشته باشید ، اولین و مهم ترین فاکتور در محتوا ، قابل نمایش بودن آن برای موتور های جستجو است.

نحوه عملکرد موتور های جستجو

در حالت کلی ، موتور های جستجو مانند گوگل ، 3 مرحله کلی دارند :

1. کرال یا خزیدن (crawling) : در این مرحله که می توان گفت مهم ترین مرحله برای موتورهای جستجو می باشد ، ربات هایی که به ان ها کرالر یا اسپایدر نیز می گویند ، صفحه سایت شما را بررسی می کنند یا در اصطلاح در ان خزش می کنند.
2. ایندکس (indexing) : در مرحله دوم هنگامی که ربات های خزنده گوگل ، محتوا و صفحه سایت شما را بررسی کردند ، موتور جست وجو ان ها را دستبندی ، یا در معادل فارسی نمایه سازی می کند و در دیتابیس خود ذخیره می کند تا هنگامی که کاربر سوالی مربوط به ان اطلاعات داشت ، ان ها را به او نمایش دهد.
3. رتبه بندی (ranking) : در مرحله اخر موتور جستجو ، بهترین و مناسب ترین پاسخ را به کاربر از اطلاعاتی که آن ها را ایندکس کرده است ، نشان می دهد. این مرحله به شما نشان می دهد ، بهترین محتوا برای نیار کاربر ، یکی از اصلی ترین معیار ها برای رتبه بندی ، صفحه سایت شماست.

1. موتور های جستجو در خزیدن یا کرال

در این مرحله که اولین مرحله نیز می باشد، موتور جستجو گر ، تعداد زیادی از ربات ها را برای یافتن محتواهای بروز شده و جدید ارسال می کند. این ربات ها وظیفه دارند هرگونه محتوایی را چه به صورت متن چه به فرمت هایی مانند ، محتوای گرافیکی، عکس، ویدئو یا صوت را شناسایی کنند.

بنابراین ربات های گوگل حتی در صورتی که قصد بهینه سازی سایت نداشته باشید نیز محتوای های شما را پیدا می کنند.

ربات های گوگل هنگامی که در صفحه شما خزش می کنند تا اطلاعات شما را پردازش کنند ، ممکن است به لینکه هایی نیز روبه رو شوند. این لینک ها که می تواند به صورت داخلی یا خارجی باشد ، هرکدام را با دستور العمل های متفاوت پردازش می کنند.

سیستم موتور های جستجو در برخورد با لینک به این شکل است که ، ان ها محتوایات لینک را بررسی می کنند ، سپس به دیتا و مخزن اطلاعات خود منتقل می کنند. نکته ای که باید به آن توجه داشته باشید این است که در این نوع از پردازش اطلاعات ، محتوایی که از لینک صفحه شما پیدا شده است به صورت مستقیم وارد دیتابیس یا ایندکس گوگل نمی شود.

درواقع این محتوا ها در یک مخزن جدا گانه به نام کافئین ذخیره می شوند. این اطلاعات هنگامی بازیابی می شوند که کاربری موضوعی مرتبط با آن را جستجو کند.

بنابراین می توان گفت ، ربات های گوگل پایگاه داده ای از لینک های کشف شده دارند که به آن کافئین می گویند.

2. ایندکس گوگل

ایندکس گوگل درواقع همان دیتابیس یا پایگاه داده ای است که محتوا ها را ذخیره می کند تا با استفاده از الگوریتم ها ان ها را پردازش کند.

زمانی محتوا در ایندکس گوگل قرار خواهد گرفت که ربات های خزنده ، به محتوای شما دسترسی داشته باشند و عملایت کرال در صفحه محتوای شما انجام شود.

بنابر این تاکنون متوجه شده اید که چرا اولین قدم از هرم مازلو سئو ، قابلیت کرال سایت توسط موتوری های جستجو است.

البته لارم به ذکر است شما می توانید از موتور های جستجو بخواهید محتوای صفحه شما را ایندکس نکنند. ممکن است تعجب کنید اما این یک استراتژی سئو برای وبسایت های نوپایی که هنوز محتوایی در سایت قرار نداده اند ، محسوب می شود.

3. رتبه بندی وبسایت ها در صفحه نتایج

هنگامی که کاربر یک محتوا را جستجو می کند ، موتور های جستجو مانند گوگل در کسری از ثاینه مرتبط ترین موضوعاتی که در ایندکس خود ذخیره کرده اند را به کاربر نشان خواهند داد.

درواقع اصلی ترین معیار رتبه بندی سایت ، بیشترین ارتباط با کوئری سرچ شده توسط کاربر است. هرچه این ارتباط بیشتر باشد ، رتبه بندی نیز بهتر خواهد بود.

سئو برای موتور های جستجو غیر از گوگل

بسیار از سئوکاران ، بهینه سازی سایت را فقط برای گوگل می دانند. حقیقت امر این است که در جهان غیر از گوگل حدود 30 موتور جستجو دیگر وجود دارد که از مهم ترین آن ها می توان به بینگ ، اسک و یاهو اشاره کرد.

درواقع این موتور های جستجو نیز سازو کاری شبیه به الگوریتم های گوگل دارند اما به دلیل اینکه حدود 90 درصد جستجو از طریق موتور گوگل انجام می شود ، سئوکاران نیز اهمیت بهیه سازی را برای این موتور می دانند.

چگونه متوجه شویم موتور های جستجو صفحات مارا پیدا کرده اند؟

دانستن این مورد می تواند حیاتی ترین بخش سئو باشد. فرض کنید تمامی قسمت های سئو را برای وبسایت خود انجام داده اید اما هیچکدام از صفحات شما در نتایج گوگل ظاهر نمی شود! بنابراین مهم است قبل از اینکه سایر قسمت های بهینه سازی را شروع کنید ، از ایندکس شدن محتوا ها و صفحاتتان اطمینان حاصل کنید.

برای اینکار می توانید از این روش ساده استفاده کنید :

عبارت site: “yordomain” را در قسمت سرچ گوگل جستجو کنید. این درواقع یکی از سرچ های پیشرفته گوگل به شمار می آید که در ان مقدار نتیجه برابر است با تعداد صفحات ایندکس شده سایت.

برای اینکه بهتر این مورد را متوجه شوید ، ما برای وبسایت سئوکار این کار را انجام داده ایم. نتیجه را در تصویر زیر مشاهده کنید:

لازم به ذکر است این روش که پیش پا افتاده ترین روش برای آنالیز رقیبان است زیاد دقیق نیست. برای اینکه از صفحات ایندکس شده سایتتان اطلاع داشته باشید لازم است تا در ابزار رایگان سرچ کنسول ثبت نام کنید. این ابزار رایگان و قدرتمند ، طراحی شده توسط خود گوگل می باشد.

برای اینکه از صفحات ایندکس شده سایتتان از طریق سرچ کنسول ، مطلع شوید ، به قسمت index coverage مراجعه کنید.

اگر هیچکدام از صفحات سایت شما ایندکس نشده باشد ، می تواند دلایل همچون این موارد داشته باشد :

• سایت شما بسیار نوپاست و هنوز کرالر ها به سراغ محتوا های شما نیامده اند.
• هیچ وبسایت خارجی به شما لینک نداده است
• سایت شما حاوی کد متا با اتریبیوت نو ایندکس است
• سایت شما به هر دلیل توسط گوگل جریمه شده است

صفحاتی که نمی خواهید ایندکس شوند را مشخص کنید

در هر وبساتی صفحاتی و جود دارد که کاربر به هیچ وجه آن ها را جستجو نخواهد کرد. برای مثال می توان به صفحه سبد خرید اشاره کرد. فرض کنید دیجی کالا سرچ می کردید و لینک دوم صفحه نتایج ، سبد خرید دیجی کالا بود. مسلما شما به عنوان یک کاربر تازه وارد نیازی ندارید وارد این صفحه شوید ، اما از طرفی وجود این صفحه الزامی است.

از Robot.txt برای جلوگیری از کرال استفاده کنید

برای اینکه این صفحات در نتایج جستجو ظاهر نشوند می بایست از فایلی به نام robot.txt استفاده کنید. این فایل درواقع حاوی قطعه کد هایی است که گوگل را متوجه می کند کدام صفحات نباید توسط گوگل کرال شوند.

فایل Robot.txt را داخل دایرکتوری اصلی سایت قرار دهید. با این وجود می توانید ادرس این فایل را خودتان حدس بزنید. (yordomain/robot.txt)

به تصویر زیر نگاه کنید. در این تصویر فایل robot.txt سایت دیجی کالا را مشاهده می کنید.

نحوه رفتار کرالر های گوگل در برخورد با فایل robot.txt

در حالت کلی ربات های گوگل در بخورد با این فایل به 3 شکل عمل می کنند :

حالت اول : اگر این فایل برای سایت وجود نداشته باشد ، گوگل به خزش در کل سایت می پردازد.

حالت دوم : اگر ربات گوگل robot.txt را در سایت مشاهده کند ، مطابق با آن عمل خواهد کرد.

حالت سوم : اگر در هنگام پردازش فایل robot.txt مشکلی یا خطایی رخ دهد ، ربات ها گوگل سایت ها خزش نمی کنند.

جمع بندی و نتیجه گیری قسمت اول از فصل دوم آموزش سئو

همانطور که خواندید موتور های جستجو 3 مرحله اساسی دارند. این 3 مرحله عبارتند از : کرال ، ایندکس ، رنکینگ که برای رتبه بندی وبسایت ها از آن استفاده می شود. علاوه بر این گفتیم برای انکه برخی صفحات غیر ضروری در نتایج گوگل ظاهر نشوند ، لازم است آن ها را در فایلی به نام robots.txt قرار دهیم.

در قسمت های بعدی نحوه کار موتور های جستجو را کامل باز خواهیم کرد. امیدواریم این قسمت نیز برای شما مفید بوده باشد. همراه ما در قسمت های بعدی آموزش سئو برای مبتدیان باشید.