Поговорим о бототрафике. Почему они здесь? Стоит ли бороться и как? Что именно опасно? И решение с рекламой.Боты в целом достигли своего максимума за 2020 год. У людей не было денег, было время и думаю просто тема стала более массовой. К тому же накрутка ПФ работает и пока будет работать. Об этом вкратце поговорим в режиме вопрос-ответ.
Прямые заходы в метрике — откуда и зачем они берутся?
Чаще всего на типичном сайте наличие прямого трафика скорее аномалия, чем норма. у меня у большинства сайтов основной источник — поисковый трафик. рост прямых заходов говорит о росте именно бототрафика. Особенно если это произошло резко. Исключения, конечно, есть. Но они касаются проектов где такой вид трафика подразумевается.
Тоже касается заходов с социальных сетей и рекомендательных сервисов.
- Если у вас на сайте резко вырос прямой трафик, трафик с соц сетей или рекомендательных сервисов без видимо причины
- Растет общий показатель отказов т.к. заходы ботов по 10-20 сек.
- В вебвизоре такие заходы или не показываются или имеют странные паттерны поведения при ближайшем осмотре
Все это говорит о наличии ботов на Вашем сайте.
Что они делают?
Во-первых скорее всего цели понизить именно Ваш сайт нет. Такого рода заходы это один из этапов взращивания из бота более естественного с технической точки зрения пользователя. «Нагул ботов». Для того чтобы боты были больше похожи на людей с технической точки зрения — они должны иметь «историю в браузере». Живым в интернете нас делают наши поступки:).
Во вторых — боты могут брать информацию с Ваших сайтов и Вы никак ее не можете защитить. Никак! Если она доступна на странице — ее можно скачать. Отключение кнопок мыши и т.п. мешает людям, но не ботам. Есть лишь 1 способ защитить свой контент — Dissalow: / в robots.txt.
В третьих — накручивать рекламные блоки, сбивая цену или просто получая опять же «историю в браузере». Но на практике именно такого рода ботов я пока не встречал.
Странный поисковый трафик
Действительно заходы с поисковых систем по запросам, когда это не просто подстановка реферрера — могут влиять на поисковую выдачу и именно это есть накрутка поведенческих факторов. Чаще всего это конечная цель «нагула», но как правило «нагуливают» ботов не на конечной цели.
Вероятно, напрямую Вас не понижают в выдаче, а лишь путем манипуляций алгоритмами пытаются повысить свой проект — это кто-то из конкурентов.
В моем случае накрутки с поиска нет, но явно прослеживается «нагул» ботов.
Как бороться?
В общем и целом ответ — никак. Если это «нагул» это не имеет смысла. Вы можете предостеречь ботов от кликов и просмотров рекламы — об этом далее. Но большая часть «антибот» систем скорее дадут больший негатив, чем реальную пользу.
Если это накрутка ПФ — в данном случае можно пожертвовать реальными заходами и попробовать антибот системы, но нужно понимать, что повлиять на позиции можно и БЕЗ захода на сайт. В некоторых тематиках единственной ответной мерой будет — накрутка своего сайта. Увы, но это так. Как правило находясь в этой нише Вы уже знаете, что без накрутки не получится.
Если это качественные боты — отличить их от реальных пользователей не представляется возможным.
Если это боты — спамеры, чекеры уязвимостей и т.п. — просто поставьте капчу на формы, но в данной статье речь не о таких ботах.
Антибот системы
В целом большинство из них работают по одному алгоритму — на входе пользователя проверяет бот, если закрадываются сомнения пользователя получает капчу. Пройдя капчу 1 раз он попадает в белый список и спокойно шастает по сайту. Бот «остается спать о порога».
Другой вариант это быстрая проверка на «белый ip» и отказ в показе контента в противном случае. данный способ будет мало эффективным против ботов для ПФ, но тем не менее если у «пользователя» странный IP из подсетки mesh\tor — он сразу улетает в бан. Это эффективно, но не могу сказать на сколько много таких ботов.
Плюсы:
- Это действительно может защищать от заходов любых ботов
Минусы и почему я не использую такие способы:
- Как правило это занимает приличное время загрузки и пользователя замечает «фильтрацию». До 30 секунд загрузки
- Большинство пользователей предпочтет уйти дальше по выдаче чем ждать 10-20-30 сек на проверку или проходить капчу.
- Все такие качественные боты все равно пройдут без особых проблем. Но таких не много и стоят они больших денег.
Поверхностные решения
Если нельзя победить врага или это чревато лишениями — нужно изучить его и постараться сделать менее опасным.
Я решил просто не показывать рекламу сомнительным источникам!
HTTP referer — при использовании браузера мы постоянно передает источник нашего захода. По сути каждый наш ход фиксируется. С помощью считывания данного заголовка можно понять откуда пришел пользователь.
Поэтому самый простой способ — ограничить показ части контента (счетчики) или рекламы при заходе с подозрительных источников, в моем случае это:
- Прямой заход без реферрера.
- Заход с социальной сети или рекомендованного сервиса.
- Заходы с других сайтов в целом.
При этом я считаю доверенными заходы:
- С поисковых систем
- Переходы между страницами моего сайта.
На примере ad inserter это выглядит так:
Более сложный способ — С помощью php или js записывать пользователям с определенных источников cookie, которую можно проверять перед показом рекламы. В т.ч. это поддерживает Ad inserter + условиями можно прописать через php или js.
Список для «скрытия рекламы» я подготовил из метрики за месяц. Взяв не благонадежные по моему мнению источники:
#, *alohafind.com, *bankiki.ru, *e.mail.ru, *facebook.com, *forum.zarulem.ws, *googleads.g.doubleclick.net, *gszkam.ru, *habr.com, *iframe-toloka.com, *instagram.com, *microcreditor.ru, *mobile.twitter.com, *my.mail.ru, *netflix.com, *novostroycity.ru, *ok.ru, *poshukach.com, *prodalet.ru, *ru.directhit.com, *sq2.go.mail.ru, *twitter.com, *vk.com, *wikipedia.org, *yanstat.ru, *youtube.com, *zaimy-bez-otkaza.ru, *zen.yandex.ru
#- прямой заход.
Что делать с авторекламой?
В данном случае только аналогичные действия на стороне сервера (встраеваем ссловие на php в код). «Если реферрер пустой или содержит1 из списка — строка с загрузкой кода adsense не загружается.
Пример кода:
<script type='text/javascript'>
var arr = ["alohafind.com","bankiki.ru","e.mail.ru","facebook.com","forum.zarulem.ws","googleads.g.doubleclick.net","gszkam.ru","habr.com","iframe-toloka.com","instagram.com","microcreditor.ru","mobile.twitter.com","my.mail.ru","netflix.com","novostroycity.ru","ok.ru","poshukach.com","prodalet.ru","ru.directhit.com","sq2.go.mail.ru","twitter.com","vk.com","wikipedia.org","yanstat.ru","youtube.com","zaimy-bez-otkaza.ru","zen.yandex.ru"];
var s=0;arr.forEach(function(item, i, arr) {if(document.referrer.includes(item)||document.referrer=="") s=1;});
//<![CDATA[
// Armored AdSense
if(s==0) {
var e=document.createElement("script");e.type="text/javascript",e.async=!0,e.src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js";var a=document.getElementsByTagName("script")[0];a.parentNode.insertBefore(e,a)
}
//]]>
</script>
