Помощь в фильтрации ботов через CloudFlare

а как еще бороться с ботами?

Блокирую на стороне сервера диапазоны битерики и Hetzner,  продолжительное время не показывал метрику прямым заходам, плюс еще несколько правил, в итоге роботность в метрике меньше процента уже год.

начал расти трафик в разы, типа +300% за неделю, сразу стало понятно что-то не так, у меня начал не справляться сервер и тормозить сайт, я подумал что это какая-то атака и с дуру включаю в клаудфлэр режим Я под атакой, два дня проходит и трафик естественно проваливается, но уже начали проседать позиции по чуть чуть, потом делаю WAF фильтр что если трафик из РФ и по Ipv6 то показывать капчу, вернулся мой обычный нормальный объем трафика, но позиции в яндексе продолжают падать, через пару недель уже тонкую блокировку включаю по конкретным AS номерам и всё равно позиции проседают, хотя показываем капчу только трафику с 11 сетей каждую проверял у себя по логам на предмет подозрительного поведения. Т.е. я не банил просто по сетям которые увидел где-то в интернет.

Дело в том что у меня битерики вообще не было и список сетей довольно обширный + трафик только по ipv6. Вот мой список сетей: ASN44812, ASN213220, ASN50340, ASN3175, ASN204916, ASN29182, ASN204490, ASN60389, ASN50113, ASN45027, ASN49492, ASN34665 . Гипотетически я знай как найти их диапазаоны ipv6 и забанить их через htacces, но я не понимаю как это мне поможет и чем это лучше клайда, если вы знаете, то прошу дать комментарий 🙏 В клауде я просто показываю капчу если посещение из этих сетей и только по ipv6, т.е. нет глухого бана и на мой взгляд это очень мягкая блокировка. В день банит в среднем 10-15к обращений из этих сетей и оно стабильно так держится уже месяц и стабильно 0% прохождения капчи, что для меня говорит, что в этом трафике нет людей...

Я не врубаюсь почему они продолжают меня долбить, неужели они свои логи не чекают и не видят, что толку для них нет ни какого. 

каков % трафа реальных посетителей по ipv6 от общего? Почему не отключаете ipv6 через клауд? Тут же через страницу говорят о том, что это дешевые спам сети сидят на них, реальных людей там практически нет

Обычно так и происходит. Кто-то вообще не понимает что творит, тыкает на все кнопки на клауде. По принципу "институт окончил значит умный и во всем разбираюсь", прыгает по всем возможным граблям. Причем прыгает только там, где до этого попрыгал Иван Зимин с VC. Что наводит на определенные мысли и выводы. О том, что граблепрыгание - штука заразная, передается через поколения сеошников.  

После того как окончательно накосячили, вместо того чтобы в зеркало посмотреть и найти виновника всех бед, начинают сказки рассказывать. Как выше, прекрасная история о том, что 403 error от сервера для hetzner это манна небесная, а такая же 403 от клауда - это зло выбивающее сайт из поиска.

Так и здесь. Если начали что-то делать, то делайте так как советуют те, кто потратил на клауд больше чем 15 минут. В IPV6 - дешевые прокси и толпы ботоферм, и там же - переходы с мобильного интернета. А вы их скопом всех под капчу, и ботофермы и реальных посетителей. А потом удивляетесь, что же не так.

Отключите IPV6 в клаудфларе, по API. С реальными ничего не станет, будут по IPV4 ходить.

Коллеги подскажите как заблокировать прямые заходы для определенных сетей, которые за место пустого реферера подставляют домен сайта?

Если в поле referer поставить домен сайта, то будут проверяться все файлы: картинки, css, js.

Идут на главную и внутренние страницы сайта. Если идут на главную, то подставляют главную. Если идут на внутреннюю, то подставляют внутреннюю.

Вам удалось это победить? У меня такая же ошибка в консоли вебмастера, но при проверке спец.ресурсами везде сертификат в порядке.

Как отключить без апи, не подскажите пожалуйста?

Без api можно отключить только в платном тарифе.