Резкий всплеск прямых заходов. Как бороться?

vashfreelancer
На сайте с 24.10.2023
Offline
28
#791
Automaster #:

Хороший список, спасибо. А нет тут ошибки с 208398 - какая-то левая сеть.

И что значит правило (http.referer eq "-") ?

Я бы не использовал это правило,  TheVS объяснил почему оно некорректно.

Пустой реферер обозначается вот так:  (http.referer eq ""), автор ошибся или думает что это имеет право. В его правиле, получается что referer должно быть равен - (дефис). Но кто заходит с таким referer?


И касаемо AS сетей,  вместо:  (ip.geoip.asnum eq 49505) or (ip.geoip.asnum eq 35048) or (ip.geoip.asnum eq 206766) or (ip.geoip.asnum eq 207713) or (ip.geoip.asnum eq 52207) or (ip.geoip.asnum eq 16509) or (ip.geoip.asnum eq 23033) or (ip.geoip.asnum eq 48061) or (ip.geoip.asnum eq 14061) or (ip.geoip.asnum eq 200197) or (ip.geoip.asnum eq 14618)

Можно просто сделать вот так:  (ip.geoip.asnum in {49505 35048 206766  207713  52207 16509  23033  48061  14061  200197  14618 })

Это в разы сократит правило в будущем больше вариантов влезет. У клауда есть лимит на одно правило по количеству символов.

Защита сайта от ботов - накрутки ПФ, роботность, DDoS, Cloudflare ДДос - https://vashfreelancer.com
softerra
На сайте с 02.10.2023
Online
28
#792
sh241 #:
Для тех, кто пользует Cloudflare вот правила WAF:

Рядом тема по CF&ботам. Зачем сюда это тащить? Специально тему засоряете?

Боты банятся сетками без проблем. Здесь все излагалось уже.

sh241
На сайте с 12.08.2008
Offline
129
#793
softerra #:

Рядом тема по CF&ботам. Зачем сюда это тащить? Специально тему засоряете?

Боты банятся сетками без проблем. Здесь все излагалось уже.

Ну я не видел ее. Не нужна информация, без проблем, удалю. 

--=== Всем привет ===--
sh241
На сайте с 12.08.2008
Offline
129
#794
TheVS #:
Хорошо, что помогло, но в плане универсальности это очень плохие настройки. Первым должен быть блок, а не скип, потому что в список известных хороших ботов входит большое количество плохих. Отдельно добавлять яндекс не нужно, он и так есть в списке хороших ботов. С таким списком плохих стран проще сделать список хороших. То, что CF называет капчей ею по сути не является, нормальную капчу с выбором они давно убрали, продвинутые боты без проблем её проходят, а против простых достаточно ограничений попроще.

Первым должен быть блок того, что нужно конкретному владельцу сайта. В моем случае показаны основные правила, которые помогут избавиться от ботов и используется именно капча, чтобы не жестко все подряд резать, а можно было проанализировать, кто пробивается через капчу, с какими параметрами и далее сформировать блокирование правильно и не заблочить лишнее. Капча вполне нормально отфильтровывает уже пол года 99% ботов, до этого шла жесткая атака от ботнетов. Касательно того, что яша и так есть в списске, то тут клаудфлэа сами говорят, что медленно обновляют данные о яше и могут случайно блокировать, потому в скипе подсети яши.

sh241
На сайте с 12.08.2008
Offline
129
#795
vashfreelancer #:

Я бы не использовал это правило,  TheVS объяснил почему оно некорректно.

Пустой реферер обозначается вот так:  (http.referer eq ""), автор ошибся или думает что это имеет право. В его правиле, получается что referer должно быть равен - (дефис). Но кто заходит с таким referer?


И касаемо AS сетей,  вместо:  (ip.geoip.asnum eq 49505) or (ip.geoip.asnum eq 35048) or (ip.geoip.asnum eq 206766) or (ip.geoip.asnum eq 207713) or (ip.geoip.asnum eq 52207) or (ip.geoip.asnum eq 16509) or (ip.geoip.asnum eq 23033) or (ip.geoip.asnum eq 48061) or (ip.geoip.asnum eq 14061) or (ip.geoip.asnum eq 200197) or (ip.geoip.asnum eq 14618)

Можно просто сделать вот так:  (ip.geoip.asnum in {49505 35048 206766  207713  52207 16509  23033  48061  14061  200197  14618 })

Это в разы сократит правило в будущем больше вариантов влезет. У клауда есть лимит на одно правило по количеству символов.

Да и не используйте, придумайте свое хорошее, годное правило и поделитесь. )))))))

Реферер с "" - это пустой, он добавлен, в довесок к нему добавлен реферер "-", так как в моем случае много было посещений с таким реферером.

Касательно сокращений методом "in" согласен. В моем правиле просто со временем добавлялись сети, потому они отдельно и идут.  ))


Уточняю - это правило подходит мне и показало свою эффективность в борьбе с ботностью, спамом и скликиванием.  Если есть мысли, как его расширить,  то предлагайте конструктивно. 

vashfreelancer
На сайте с 24.10.2023
Offline
28
#796
sh241 #:

Да и не используйте, придумайте свое хорошее, годное правило и поделитесь. )))))))

Реферер с "" - это пустой, он добавлен, в довесок к нему добавлен реферер "-", так как в моем случае много было посещений с таким реферером.

Касательно сокращений методом "in" согласен. В моем правиле просто со временем добавлялись сети, потому они отдельно и идут.  ))


Уточняю - это правило подходит мне и показало свою эффективность в борьбе с ботностью, спамом и скликиванием.  Если есть мысли, как его расширить,  то предлагайте конструктивно. 

Давно все придумано и много информации в разных ветках на форуме. Я лишь сообщил что Ваше правило не уникальное и чисто для вашего сайта. Кто то зайдет и бездумно вставит, а у него половина трафика уйдет. Люди если делятся тут AS сетями, то расписывают почему заблокали и что за сеть.

Бездумно копировать и блокировать AS сети без их разбора в здравом уме никто не будет. Потому что непонятно что Вы там делали и почему решили блокнуть.

Да и не использую, настройка каждого сайта уникальна и зависит от самого сайта, какие он перед собой задачи ставит.

sh241
На сайте с 12.08.2008
Offline
129
#797
vashfreelancer #:

Давно все придумано и много информации в разных ветках на форуме. Я лишь сообщил что Ваше правило не уникальное и чисто для вашего сайта. Кто то зайдет и бездумно вставит, а у него половина трафика уйдет. Люди если делятся тут AS сетями, то расписывают почему заблокали и что за сеть.

Бездумно копировать и блокировать AS сети без их разбора в здравом уме никто не будет. Потому что непонятно что Вы там делали и почему решили блокнуть.

Да и не использую, настройка каждого сайта уникальна и зависит от самого сайта, какие он перед собой задачи ставит.

Не надо вводить в заблуждение. Никакая половина трафика не уйдет. Здесь подобраны фильтры для того, чтобы беспрепятственно пускать трафик с поисковых систем, а ботам выдавать капчу, то же самое делает яша, гугл и прочие. 

Касательно AS сетей, кто хочет тот, пусть проверит, это совсем не сложно. Там собраны AS различных хостингов и датацентров, где живут ботнеты и нет провайдеров интернета. Разумеется, если на этих хостингах крутятся ВПНы и порядочный пользователь их использует, то фильтр сработает, но не заблокирует, а выведет капчу. Далее пару раз в неделю можно проанализировать логи и особо рьяных ботов заблочить уже жестко. 


В моем случае с сеткой в 18 сайтов с посещаемостью каждого от 20 до 150 тысяч уников в сутки это правило помогло решить проблему скликивания рекламы, спама и прочего. При этом посещаемость конечно просела немного, но просела только на объем заблоченых ботов. При этом вырасло ощутимо среднее время прибывания на сайте и переходов внутри. Ну и в довесок доход не упал вообще, что как раз и говорит о том, что живые люди, как посещали, так и посещают и никакого полезного трафика не потеряно.


Так что вы зря так скептически относитесь и пытаетесь принизить эффективность приведенных правил. 

B2
На сайте с 02.11.2015
Offline
122
#798
sh241 #:
Для тех, кто пользует Cloudflare вот правила WAF:

Рекомендую еще добавить ASN Hetzner Online GmbH - 24940

Prodv1gator
На сайте с 30.06.2017
Offline
60
#799

Знаю, что некоторые здесь находящиеся на форуме являются владельцами ботов

192.0.102.222 - чья ботоферма? выклюите ее уже нахрен. Долбятся боты в корень сайта и ни разу не пробиваются через капчу cloudflare. Уже пол года как. Выключите уже это нахрен, на тратьте электроэнергию.

softerra
На сайте с 02.10.2023
Online
28
#800
Prodv1gator #:

Знаю, что некоторые здесь находящиеся на форуме являются владельцами ботов

192.0.102.222 - чья ботоферма? выклюите ее уже нахрен. Долбятся боты в корень сайта и ни разу не пробиваются через капчу cloudflare. Уже пол года как. Выключите уже это нахрен, на тратьте электроэнергию.

192.0.64.0/18

https://automattic.com/

Automattic
Automattic
  • automattic.com
We are passionate about making the web a better place. We also contribute to a number of non-profit and Open Source projects, like:

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий