فایل Robots.txt چیست؟ نحوه ساخت فایل Robots

فایل robots.txt چیست؟

فایل robots.txt یک فایل متنی است که در وب سایت قرار داده می شود و به موتورهای جستجو گفته می شود که کدام قسمت های وب سایت برای موتورهای جستجو قابل دسترس است و کدام قسمت های وب سایت قابل دسترس نمی باشد.

 فایل robots.txt به معنای این نیست که موتورهای جستجو ملزم به رعایت قوانین موجود در آن هستند برخی اوقات موتورهای جستجو از این قوانین پیروی نمی کنند. ولی فایل robots.txt یکی از روشهایی است که می توان ورود موتورهای جستجو به سایت را کنترل نمود.

این مسئله برای وب سایت ها بسیار مهم است با توجه به اینکه موتورهای جستجو بارها و بارها به وب سایت مراجعه می کنند به کدام قسمت های سایت دسترسی داشته باشد و به کدام قسمت های سایت دسترسی نداشته باشند و در برخی اوقات اطلاعات حساسی در وب سایت ها وجود دارد که موتورهای جستجو نباید به آنها دسترسی داشته باشند که یکی از روشهای کنترل دسترسی استفاده از فایل robots.txt است.

ساختار فایل robots.txt

ساختار فایل robots.txt بسیار ساده و در عین حال منعطف پذیر است. فایل robots.txt از یکسری user agents و فایلها و دایرکتورهای disallowed تشکیل شده است. در واقع این فایل بصورت زیر است:

User-agent:

Disallow:

با User-agent می توان خزنده های موتورهای جستجو که می توانند به سایت دسترسی داشته باشند  را مشخص نمود.

با Disallow می توان لیست فایلها یا دایرکتوری هایی را که می خواهیم موتورهای جستجو به آنها دسترسی نداشته باشند را مشخص نمود.

برخی نمونه های فایل robots.txt

مسدود کردن دسترسی خزنده های موتورهای جستجو به کل محتویات سایت

User-agent: * 

Disallow: /

مسدود کردن دسترسی خزنده های موتورهای جستجو به یک دایرکتوری مشخص

User-agent: Googlebot 

Disallow: /no-google/

مسدود کردن دسترسی خزنده های موتورهای جستجو به یک صفحه مشخص

User-agent: Googlebot 

Disallow: /no-google/blocked-page.html

پارامترهای نقشه سایت

User-agent: * 

Disallow: 

Sitemap: http://www.example.com/none-standard-location/sitemap.xml 

اضافه کردن فایل robots.txt به گوگل وبمستر تولز

جهت اضافه کردن فایل robots.txt به گوگل وبمستر تولز می توانید بصورت زیر عمل نمایید:

ابتدا توسط اکانت خود وارد گوگل وبمستر تولز شوید و از منوی Crawl روی زیر منوی robots.txt Tester کلیک نمایید.

در ادیتوری که در سمت راست صفحه نمایش داده می شود می توانید محتوای فایل robots.txt را وارد نمایید و سپس دکمه submit را کلیک کنید.

بعد از ارسال شدن محتوای فایل robots.txt به گوگل وب مستر تولز بعد از چند دقیقه محتوای بروزرسانی شده نمایش داده خواهد شد.

تست آدرس های محدود شده در فایل robots.txt

جهت تست کردن اینکه کدام فایل ها یا دایرکتوری ها در فایل robots.txt محدود شده است می توانید توسط تست کننده گوگل وبمستر که در شکل زیر نمایش داده شده است استفاده نمایید: