Кто-то пингует с одного из наших серверов

Защитить себя от взлома можно только устранив "дыру" в безопасности, выяснив пути взлома, а не только устранив последствия. А иначе – да, будут ломать "по шаблону".

Мне вам совет, делайте бэкапы всех сайтов. Сносите ОС, ставьте последнюю доступную и все обновления и закачивайте все сайты заново. Если уж кто-то попал в систему, там уже хрен разберёшь, куда подцепился. Возможно через дыру в каком-то софте создал пользователя. Выяснять дольше времени. 

Ну я тоже так с виндой поступаю, проще заново накатить, чем мучатся со старой. Мысль понял, буду бекапить. Еще надо ставить fail2ban, логов с миллион попытками попасть через ссш и порт поменять со стандартного.

Порт менять необязательно - оставляете только авторизацию по ключу и настраиваете (в свежей версии !) fail2ban так называемый "прогрессивный" бан (с каждой попытки с одного IP время бана растёт в геометрической прогрессии).

У меня так сейчас:

fail2ban-client status sshd                                                                                                                    
Status for the jail: sshd                                                                                                                                     
|- Filter                                                                                                                                                     
|  |- Currently failed: 1                                                                                                                                     
|  |- Total failed:     131840                                                                                                                                
|  `- Journal matches:  _SYSTEMD_UNIT=sshd.service + _COMM=sshd                                                                                               
`- Actions                                                                                                                                                    
   |- Currently banned: 1589                                                                                                                                  
   |- Total banned:     46430                                                                                                                                 

Какой смысл от fail2ban для защиты ssh в случае аутентификации по ключу? Забивать таблицу нетфильтра айпи адресами бот ферм? Пусть долбятся себе, все равно безуспешно. 

Я обычно меняю порт и если слишком параною, то knockd со списком портов для простукивания, прежде чем откроется доступ для конкретного айпи на порт ссш. 

Да, но с этих же IP потом и приложения взламывать пытаются - а так в бане сидят :)