ترافیک ربات (Bot traffic) به حضور بازدیدکنندگان غیر انسانی در وب سایت شما اشاره دارد. چه یک وب سایت بزرگ و شناخته شده داشته باشید یا یک وب سایت جدید، بخش خاصی از ربات ها در مقطعی از شما بازدید می کنند. برخی از ربات ها کارهای تکراری مانند کپی کردن، کلیک کردن بر روی آگهی، نظر دادن یا سایر فعالیت های بد تبلیغاتی را انجام می دهند. در حالی که برخی از ناشران عمداً این ترافیک های جعلی را خریداری می کنند، برخی دیگر فریب خورده اند. این شرکت ها معمولاً ترافیک را از ارائه دهندگان شخص ثالث خریداری می کنند که فرایند را خودکار می کنند تا ارزش سایت، وبلاگ یا کانال رسانه های اجتماعی را افزایش دهند و در نتیجه بهتر از آن درآمد کسب کنند یا آن را به قیمت بالاتر بفروشند. با این حال ترافیک ایجاد شده ی مصنوعی در یک وب سایت، به اندازه ی ترافیکی که افراد واقعی ایجاد می کنند قطعاً ارزشمند نیست.
ترافیک ربات چیست؟
ترافیک ربات به هر گونه ترافیک غیر از انسان ترافیک ربات گفته می شود. ترافیک ربات در اغلب موارد مضر و در برخی موارد می تواند مفید واقع شود. همه بستگی به اهداف ربات دارد.
چرا ترافیک ربات برای وب سایت شما مضر است؟
در اینجا برخی از دلایلی را شرح می دهیم که به شما می گوید نه تنها ترافیک ربات ها را خریداری نکنید، بلکه آن ها را از وب سایت خود حذف کنید.
ناپایداری ترافیک
ترافیک ربات پایدار نیست و با رفتار کلی ترافیک شما مطابقت ندارد. افزایش سریع معیارها و به دنبال آن کاهش سریع ترافیک را ایجاد می کند.
بدون تبدیل
هدف وب سایت شما باید بیشتر از کسب ترافیک باشد! از ترافیک جعلی نمی توان درآمد کسب کرد و به نرخ تبدیل شما کمکی نمی کند. بنابراین ترافیک ربات، تبدیلی به همراه ندارد
برای سئو بد است
یکی دیگر از زمینه های مهم که در آن ترافیک ربات بر سلامت وب سایت شما تأثیر می گذارد سئو است. کلیک های جعلی سبب دشوار شدن تجزیه و تحلیل وب سایت شما توسط موتور جستجوگر می شود. ترافیک ربات به طور اجتناب ناپذیری بر عملکرد وب سایت شما از جمله زمان بارگذاری و آسیب پذیری DDOS نیز تأثیر می گذارد.
ربات های خوب در مقابل ربات های بد
برای درک صحیح ترافیک ربات باید انواع مختلف ترافیک ربات، از جمله خزنده های وب برای موتورهای جستجو و ربات های مخربی که به وب سایت ها حمله می کنند را در نظر بگیرید. ربات های خوب وظایف عملیاتی مانند حذف داده های قدیمی، حفظ سلامتی محتوا و جمع‌آوری داده ها را انجام می دهند. آن ها به کاربران کمک می کنند تا تجربه ای مفید از مرور اینترنت داشته باشند. ربات های موتور جستجو اولین و برجسته ترین نوع ترافیک ربات خوب هستند. این ربات های اینترنتی کل وب را می خزند و به صاحبان وب سایت کمک می کنند تا سایت های خود را در موتورهای جستجو مانند Google، Yahoo و Yandex فهرست کنند. اگرچه درخواست های ترافیک ربات ممکن است خودکار باشد، اما آن ها ربات های خوبی هستند.
ربات های بد در تمام فعالیت های کلاهبرداری و مخرب شرکت می کنند که منجر به ضرر ناشران و تبلیغ کنندگان می شود. این ربات ها بر خلاف ربات های خوب، قوانین robots.txt شما را نادیده می گیرند. آن ها همچنین هویت و منبع خود را پنهان می کنند و اغلب مانند کاربران واقعی انسان ظاهر می شوند. با این حال، تفاوت اصلی بین ربات های بد و ربات های خوب، نوع وظایفی است که انجام می دهند. ربات های بد وظایف مخرب و مخربی مانند ارسال ترافیک جعلی یا هرزنامه و کلاهبرداری تبلیغاتی را انجام می دهند.
چگونه ترافیک ربات را شناسایی کنیم؟
طبق گزارش Imperva's Bad Bot، ربات ها تقریباً 40 درصد از ترافیک اینترنت را در سال 2022 هدایت می کنند و بیشتر این ترافیک را، ربات های بد تشکیل می دهند. اما چگونه ناشران می توانند تشخیص دهند که ترافیک آن ها از ربات ها می آید یا خیر؟ در ادامه به آن می پردازیم:
سرعت بارگذاری صفحه خود را بررسی کنید
کاهش قابل توجه سرعت صفحه (به خصوص زمانی که هیچ تغییری در وب سایت شما وجود ندارد)، نشانه مطمئنی از ترافیک بد ربات است. این امکان وجود دارد که مجموعه ای از ربات ها سعی در بارگذاری بیش از حد سرورهای شما و خاموش کردن آن ها داشته باشند. شما باید KPI (شاخص های کلیدی عملکرد) خود را از نزدیک بررسی کنید.
منابع را ردیابی کنید و منبعی را پیدا کنید که ترافیک بالایی دارد
ترافیک یک وب سایت از منابع زیادی می آید اما گاهی اوقات تنها از یک منبع منفرد می آید. وقتی این اتفاق می افتد، ممکن است یک ربات مخرب به وب سایت شما حمله کرده باشد. اگر متوجه افزایش ناگهانی ترافیک و نرخ پرش به طور همزمان شدید، احتمالاً ترافیک وب سایت شما یک ربات است. ترافیک بالا به این معنی است که تعداد زیادی از ربات های مشابه به طور مکرر از سایت شما بازدید می کنند و نرخ پرش بالا به این معنی است که ترافیک غیر انسانی بدون دلیل وارد سایت شما می شود و بدون بازدید از هیچ صفحه دیگری از آن خارج می شود. کاهش شدید مدت زمان بازدید نیز نشان دهنده ترافیک ربات است.
منابع ترافیک و آدرس IP را تأیید کنید
علاوه بر معیارهای فوق، برخی از منابع داده به عنوان سیگنال های اضطراری ترافیکی عمل می کنند. تعداد بازدید زیاد و مکرر از آدرس های IP یکسان نشان می دهد که شما ترافیک ربات دریافت می کنید. همچنین، ترافیک از منابع ناشناخته ممکن است نشان دهنده ترافیک بد ربات باشد. برای مثال اگر به طور معمول، ترافیک شما از یک کشور خاص می آید اما ناگهان ترافیک یک کشور دیگر افزایش می یابد، این نشانگر ترافیک ربات است. اگر تازه کار هستید، بهتر است با Google Analytics خود شروع کنید تا شناسایی ترافیک را به طور کامل درک کنید.
از ابزارهای جعلی تشخیص ترافیک استفاده کنید
همچنین شایان ذکر است که برخی از ربات ها اکنون ترافیکی ایجاد می کنند که رفتار مشتری را تقلید می کند. تشخیص آن ها با استفاده از روش های بالا ممکن است دشوار باشد. اما نگران نباشید، ابزارهای تشخیص ترافیک ربات مانند Forensiq by Impact، BitNinja، Imperva Bot Management، Radware Bot Manager (سابق ShieldSquare) برای کمک به شما وجود دارند.
چگونه ترافیک ربات را متوقف کنیم؟
فیلتر کردن ترافیک بد ربات و جلوگیری از آسیب رساندن ربات ها به وب سایت شما امکان پذیر است، اما راه حل بستگی به نوع منبع ترافیک ایجاد کننده مشکل دارد. هنگامی که ترافیک ربات را شناسایی کردید، باید فوراً فعالیت آن را متوقف کنید. البته همان طور که پیشتر بیان داشتیم، همه ی ترافیک ربات ها بد نیستند و مسدود کردن ربات هایی مانند خزنده های موتورهای جستجو کاملاً به وب سایت شما لطمه می زند. شما باید بتوانید ربات های خوب را از بد تشخیص دهید.
- robots.txt را در وب سایت خود قرار دهید تا از خزیدن ربات های بد در صفحات شما جلوگیری شود. ناشران همچنین باید بررسی کنند که تنظیمات خزنده صحیح باشد تا با تبلیغات AdSense دچار مشکل نشوند.
- تنظیم جاوا اسکریپت برای هشدارهای ربات نیز می تواند بسیار مفید باشد. جاوا اسکریپت را تنظیم کنید تا در مورد ربات ها به شما اطلاع دهد. هنگامی که JS یک ربات یا عنصر مشابهی را که وارد یک وب سایت می شود تشخیص می دهد، به عنوان یک buzzer عمل می کند.
- یک محافظ حمله انکار سرویس توزیع شده (DDOS) یا یک برنامه افزودنی ضد بدافزار خوب نصب کنید.
- از آنجایی که ربات ها تلاش می کنند سرورها را از بین ببرند، بررسی گزارش های خطای سرور به شناسایی و تصحیح خطاهای وب سایت ناشی از فعالیت های ربات و همچنین شناسایی وجود ربات ها کمک می کند.
