Защита сайта от роботов

Далеко не все посетители вашего сайта являются живыми людьми. Часть трафика – это боты. Некоторые из них полезны для сайта, поскольку таких ботов используют поисковые системы, чтобы проводить сканирование и индексацию страниц, а затем передавать полученные данные на сервера поисковиков. Но всё же большинство ботов далеки от доброжелательности, а их появление может сулить крупные проблемы.

Счётчики Google Analytics и Яндекс.Метрика дают возможность посмотреть статистику посещений. Но их недостаток заключается в том, что таким образом можно посчитать, сколько реальных людей посетило сайт, а вот наличие ботов они скорее всего не покажут. А этот показатель обязательно нужно отслеживать, поскольку если вовремя не принять меры, можно существенно ухудшить положение своего бизнеса.

Негативные последствия нашествия роботов:

• Перегрузка сервера, из-за чего страницы будут открываться очень долго, а могут и вовсе перестать работать.
• Боты могут искать слабые места в коде сайта. А если найдут, то могут даже получить доступ к вашему серверу.
• На сайте может появляться много комментариев с сомнительным содержанием. Это может быть призыв перейти на подозрительный сайт, реклама средств для потенции или попытка каким-то образом выманить деньги у реальных посетителей. Подобные комментарии могут отпугнуть потенциальную аудиторию.
• Уменьшается уровень качества базы подписчиков сайта. Иногда это может привести к тому, что в подписчиках портала становится больше ботов, чем реальных людей. Это, в свою очередь, может ударить по репутации сайта.

Последствия атаки ботов могут быть еще более плачевными. Боты могут внедрить на сайт вредоносные скрипты, которые позволят проводить рассылку от имени технической поддержки сайта. Это крайне негативно отразится на репутации. Часто это становится причиной попадания сайта в чёрный список.

Виды ботов

Как уже говорилось, боты бывают хорошими и плохими.

Хорошие боты – это специальные программы от поисковых систем, которые ищут сайты, сканируют их, посещая последовательно все страницы. Наиболее распространённые поисковые боты – это Googlebot, YandexBot. Стоит учитывать, что в некоторых случаях боты могут маскироваться под роботов поисковых систем, меняя User-agent на соответствующий.

Плохих ботов намного больше. Их можно разделить на несколько крупных категорий:

• Спам-боты – вредоносные программы, работа которых нацелена на рассылку комментариев и писем со ссылками на другие сайты. Часто они могут содержать вредоносный код и вирусы. Для защиты от таких ботов следует сделать процесс авторизации более сложным, установить на сайт специальные плагины, которые бы обеспечивали защиту от спама.
• Парсинг-боты используются для двух целей: воровства контента и сбора информации конкурентами. Обеспечение защиты от подобных атак достаточно сложное.
• Боты, которые ищут уязвимости. В каждой CMS в какой-то момент могут появиться уязвимые места в безопасности. Именно поэтому важно постоянно обновлять систему. Если какая-то уязвимость была обнаружена, то она очень быстро учитывается и устраняется. При игнорировании обновлений вероятность того, что сайт будет взломан, намного выше.
• Боты, которые занимаются сбором паролей – брутфорс – крайне опасный вид ботов. Они подбирают логины и пароли к административной панели сайта. Чтобы защитить сайт, рекомендуется пользоваться более сложными паролями, использовать специальные защитные плагины, периодически устанавливать новые пароли, установить двухфакторную аутентификацию.
• Боты, которые занимаются накруткой поведенческих факторов. Обычно их используют владельцы сайтов, чтобы имитировать поведение реальных пользователей. Если поисковики определят, что активность обеспечена ботами, а не реальными людьми, то позиции сайта резко упадут.

Как определить, что на сайте есть боты?

Существует ряд косвенных признаков, наличие которых показывает, что на сайте могут быть боты.

• Резко выросло количество прямых заходов на сайт, а также переходов из социальных сетей и таких площадок, как Яндекс.Дзен и другие сайты с рекомендациями.
• Снижается число отказов, и при этом глубина просмотров и время, которое пользователи проводят на сайте, также уменьшается.
• При прямых переходах продолжительность времени, проведенного на сайте, всегда больше 15 секунд (если пользователь проводит на сайте меньше 15 секунд, то такое посещение считается отказом).
• При просмотре вебвизора ботов можно определить по попытку имитировать деятельность реальных людей. Они скроллят страницы, а также останавливаются на каких-то местах. При этом такие действия всё равно выглядят неестественно и по ним сразу видно, что это не реальный человек.
• Стоит насторожиться, если увеличилось количество переходов по странным ссылкам. Если вы перейдете на исходную страницу, где должен располагаться бэклинк, вы его там не обнаружите.
• Число ботов растет постепенно. Считается, что ситуация под контролем, если прирост не превышает 20% в день. Но если количество ботов за один день увеличивается более, чем на 50%, – это уже повод нервничать и принимать экстренные меры.
• Довольно часто вместе с ботами увеличивается и число ссылок на ваш сайт с площадок с сомнительной репутацией.
• Огромная часть ботов имеет IP-адреса, соответствующие московским мобильным операторам.
• Наиболее распространенная категория сайтов, которая подвержена атакам, имеет среднюю посещаемость в пределах от 500 до 1000 уникальных пользователей в сутки.

Чтобы отследить активность роботов на сайте, можно воспользоваться Яндекс.Метрикой. Для этого нужно зайти в пункт «Отчёты», затем выбрать «Мониторинг» и «Роботы». Вы получите информацию о действиях всех типов роботов, посещавших сайт, которая будет разбита по категориям.

Как бороться с ботами?

Очень важно регулярно следить за трафиком и отслеживать присутствие вредоносных ботов. Если количество ботов превышает 25%, то владелец сайта рискует иметь проблемы с Google и Яндекс. Следует понимать, что заблокировать всех ботов не выйдет.
Можно использовать доступные сервисы, которые позволят сократить количество ботов до приемлемого уровня, который не будет предоставлять сайту угрозы. Рассмотрим распространённые программы.

BotFAQtor

Сервис, который может блокировать подозрительные посещения по типам визитов или источникам трафика. Дает возможность установить защиту на скликивание рекламных баннеров, может использоваться для сокращения ссылок.

У BotFAQtor есть отдельный плагин для сайтов на WordPress, что позволяет установить его всего в несколько кликов. Также в нём реализована возможность покупать дополнительные проверки. Ещё один плюс сервиса заключается, что фильтр, который используется для ботов, – незаметный. Это значит, что он не создаст никакого дискомфорта настоящим пользователям.

Сервис не лишён недостатков. Главный заключается в том, что страницы загружаются не так быстро. А в тех случаях, когда активирована функция защиты от скликивания, баннеры загружаются медленнее.

Стоимость сервиса зависит от выбранного тарифа. Это может быть стандартный тариф и VIP-тариф. И в том, и в другом случае можно докупать дополнительные проверки, если их не будет хватать.

CloudFlare

Сервис используется примерно на 30% сайтов и считается довольно эффективным. CloudFlare кэширует статику у себя на сервере, поэтому нагрузка на сервер владельца сайта снижается. При правильной настройке может защитить практически от всех ботов, которые не поддерживает HTTP2. К этим категориям можно отнести чекеров уязвимости, парсеров контента, часть спамеров. Кроме того, сервис при необходимости можно использовать в качестве защиты от DDOS-атак.

Существенное преимущество сервиса – многие его функции доступны бесплатно. Платные тарифы имеют больше возможностей. Их стоимость стартует от 5 долларов в месяц.

Недостаток: в некоторых случаях из-за особенностей российского законодательства IP от CloudFlare, РКН может забанить.

AntiBot

Сервис подходит для блокировки большинства ботов, в том числе и тех, что накручивают поведенческие факторы. Отлично определяет ботов, которые маскируются под обычных пользователей. AntiBot часто подключают вместе с CloudFlare, чтобы обеспечить более высокую эффективность. Его можно очень легко интегрировать на сайт и настроить под свои нужны.

Но учтите, что если вы используете рекламу Google Ads, то пользоваться сервисом не получится – вы не сможете пройти модерацию. Другой недостаток – сервис никак не поможет при DDOS-атаке.

AntiBot – это платная программа. Стоимость будет зависеть от количества доменов.

Заключение

Не существует одного суперметода, который позволил бы раз и навсегда искоренить спамеров или обеспечить 100% защиту от ботов. Наилучшей защитой принято считать многоэтапную проверку на «человечность». Но это не всегда хорошо воспринимается обычными пользователями, которым приходится вводить капчу или искать изображения чего-то. Рекомендуется найти “золотую середину”.