Резкий всплеск прямых заходов. Как бороться?

S
На сайте с 12.10.2012
Offline
202
#721
Openso #:
Повторюсь -  подскажите, пожалуйста, актуальный список для блокировки всяких парсеров и краулеров для robots или  htaccess?
Зачем вам блокировать парсеры и краулеры? Тут обсуждают как блокироваться ПФ ботов.
softerra
На сайте с 02.10.2023
Offline
30
#722
Openso #:

Да уже 30 страниц пролистал, немного утомился. Боюсь ещё 40 страниц срача о том кто лучший сеошник не осилю

Здесь просто мирно конфликтуют 2 вектора

1 - блочить ботные сетки напрямую

2 - подключать всякую стороннюю мутату

Выбирайте, с кем вам по пути и фпирёт, к успехам

Openso
На сайте с 09.11.2016
Offline
69
#723
softerra #:

Здесь просто мирно конфликтуют 2 вектора

1 - блочить ботные сетки напрямую

2 - подключать всякую стороннюю мутату

Выбирайте, с кем вам по пути и фпирёт, к успехам

Сначала поставил клауд и вроде всё ок, но потом меня начало напрягать каптча там где она не нужна, файлы с браузера добавить нельзя больше 100 метров, в рекламные сетки нормально не добавиться ещё и кэш говняный, я обновляю файлы а он по два дня отдает старые версии посетителям. 

Потом заблочил только одну ссаную битерику через хттаксес и роботность на уровне 5-8%, что вполне приемлимо.

Но подумал тут ещё, что когда дорами баловался, то использовал а-парсер и теперь захотелось ещё всякую дичь типа парсеров забанить, по поиск по гуглу ничего не выдал. Вот и решил здесь спросить актуальный список может у кого есть?

Качественный и дешевый хостинг для Ваших сайтов 🔥 https://my.hostiman.ru/aff/1412 🔥 Датацентры в Европе и России. Оплата - карты, qiwi, юмани, paypal, wmz, USDT.
softerra
На сайте с 02.10.2023
Offline
30
#724

Openso #:

Но подумал тут ещё, что когда дорами баловался, то использовал а-парсер и теперь захотелось ещё всякую дичь типа парсеров забанить, по поиск по гуглу ничего не выдал. Вот и решил здесь спросить актуальный список может у кого есть?

Все ответы в логах. Там много интересного.

К вам может долбиться сетка, которая ко мне не придет и наоборот.

Ну да, Битерика & Racktech - этих сразу в блок всех без разбора

А потом по ситуации мониторить

Dmitriy Vlasov
На сайте с 22.03.2019
Offline
52
#725
Забанил бота keys.so и сразу все боты с США пропали :)
Сергей
На сайте с 10.07.2022
Offline
43
#726
Shelton724 #:
как метрика находит столько роботов

Мегафон 

Юрист по недвижимости в Москве и Московской области https://pravozem.ru/ сопровождение сделок, регистрация домов, оформление строительства
Сергей
На сайте с 10.07.2022
Offline
43
#727
Openso #:
Повторюсь -  подскажите, пожалуйста, актуальный список для блокировки всяких парсеров и краулеров для robots или  htaccess?

Краулеры и параметры одни из самых мирных по сравнению с ботами кликающими по рекламе и нагуливающими профиля. Вы не с теми ботами боритесь на своих сайтах

Openso
На сайте с 09.11.2016
Offline
69
#728
Сергей #:

Краулеры и параметры одни из самых мирных по сравнению с ботами кликающими по рекламе и нагуливающими профиля. Вы не с теми ботами боритесь на своих сайтах

Мне хватило битерику забанить, пока там больше не с чем бороться. Но я не хочу чтобы мой сайт парсили под доры и обсасывали всякие кейсо и мегаиндексы.

softerra
На сайте с 02.10.2023
Offline
30
#729
Openso #:

Мне хватило битерику забанить, пока там больше не с чем бороться. Но я не хочу чтобы мой сайт парсили под доры и обсасывали всякие кейсо и мегаиндексы.

В роботс можно добавить. Многих отшивает.

txt rob-bots.txt
Openso
На сайте с 09.11.2016
Offline
69
#730
softerra #:

В роботс можно добавить. Многих отшивает.

Спасибо большое! Вот такое я и искал.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий