Поддержите сайт!
Срочный сбор на новое железо для сервера.

Роботы-ебоботы

опубликовано: 09.08.2022 <весь блог>

Выдалось "ну почти свободное время", упоролся защитой на сайте. Сам не понимаю, зачем, но увлёкся так, что держите семеро.

Самая проблема (если не брать во внимание DDoS, от которого защищаться, как правило, почти бессмысленно) - спам-комментарии. В принципе, эта проблема меня давно не волнует: 15 лет назад для анонимов была внедрена простейшая капча, которую роботы до сих пор не могут пробить. Капча гениальна и проста (придумал её не я). Казалось бы - ну и какие проблемы?

Последние пару недель я заметил дикое увеличение посещаемости на сайте. Первоначальная радость быстро сменилась удивлением: "новые посетители" были сплошь роботами. Что это означает?

Вероятно, в строй введено некое "новое поколение" спам-роботов, которые лазят по сайту, имитируя живого человека. Системы подсчёта посетителей (типа Метрики и иже с ними) не засчитают визит, если какой-то простой робот откроет страницу на сайте, увидит формочку для комментария и накакает туда спамом. Метрика об этом не узнает, поскольку её никто не потревожит. Но если сымитировать браузер - дёрнуть на странице всё, что полагается, включая скрипт Метрики - посещение будет защитано.

Для чего роботам так напрягаться, если можно проще? Вероятно, подавляющее большинство сайтов давно имеют совсем уж тупую, первичную защиту, которая полагается на то, что не все элементы на странице были подгружены, как полагается. У меня такая защита тоже есть и до сих пор работает. Но толку от неё скоро будет почти никакого, раз уж появились "усовершенствованные" алгоритмы, в которые как раз и входит задача имитации реального посетителя.

Если вы полагаете, будто я Неуловимый Джо - ошибаетесь. Заглянув в логи, я увидел, что за сутки роботы пытаются оставить более тысячи комментариев в разных частях сайта. С ними на 100% справляется супер-капча (несмотря на все ихние усовершенствования). Но нагрузку на сервер, внезапно, никто не отменял! Многие роботы перед оставлением комментария ещё и пытаются регистрироваться на сайте, заходить под пользователем и т.д. Это у них тоже не получается (проверка по емайлу рулит), но сервер реально потеет из-за всей этой пиздобратии.

Взглянув на это, я тоже вспотел и решил, что надо что-то делать. Напрягает как нагрузка на сервак, так и левые посетители в счётчиках. Последнее напрягает даже больше (вот такой уж я загадочный чудак).

Как бороться? Экспертной системой, которая определит робота и сообщит серваку, что надо блокировать его адрес. Моя разработка десятилетней давности PidorDetect™ и есть такая система, так что, надо было лишь проанализировать "новые" отличия роботов от людей. Эти отличия раньше были видны невооружённым глазом, но с роботом, который ходит по страницам, аки обычный юзверь с браузера, всё сложнее. "Ранешние" правила для системы, в основном, включали быстроту действий. Виден заход с адреса, через секунду - заполнение полей в форме комментария, ещё через секунду - отправка. Явно не человек. С "кибер-новичками" это не прокатывало: видны довольно длинные интервалы между действиями. Так можно и реального человека в бан отправить.

Роботы не могут пробить капчу, но вы удивитесь, сколько реальных людей тупят и так же не могут ввести её с первого-пятого-десятого раза (сука, остановите Землю). Т.е., фактор того, что кто-то 100500 раз тупит с капчей, увы, вообще рассматриваться не должен.

Да, можно использовать стоп-строки. Спам редко когда изобилует разнообразием. Добавляешь "porn" и "xxx" - отсекаешь 40% дерьма. Но не всё, да и есть, опять же, опасность дать в жбан реальному посетителю. В тексте комментариев может быть что угодно, когда угодно.

Чо ж делать? На помощь пришли увеличенные интервалы слежения. IP-адресов, с которых рассылается спам, довольно много, но они всё равно из конечных пространств (даже если брать грёбаный IPv6). Кстати, по поводу IPv6: сраная технология, благодаря которой количество невычисляемых пидорасов перевалило за охулиард - это всё, чего технология добилась. Так вот, если ты видишь, что с какого-то адреса кто-то пытается безуспешно регистрироваться на сайте N раз за сутки, то выводы делать уже можно. То же самое с количеством комментариев (вернее, ошибочных попыток их размещения) - немного опасно, ведь есть активные пользователи, которые могут за сутки прилично настрочить, но роботы на длинном промежутке всё равно усерднее. Далее - количество попыток входа в систему; человек не будет делать это слишком часто. Наконец, всё это проявилось ещё и в комплексе: робот регистрируется на сайте, через пять секунд пытается зайти, ещё через пять уже бежит что-то комментировать. Ни то, ни другое, ни третье у него не получается, и это сходу выдаёт электронного ублюдка.

Я не все зацепки описал, но как-то так. Далее остаётся добавить адреса в стоп-лист на некоторое время (банить навечно - не очень умная затея). Сервер разгружен. Но есть одно но...

После всех мероприятий, на сайте так и осталась куча роботов. Которые (та-дааа)... Не делают ничего вообще. В основном IPv6, просто заходят на разные страницы, дёргают скрипты, прекрасно засчитываются Метрикой и прочими счётчиками. Смысл их существования не понимаю вообще.

Роботы-ебоботы 2

комментариев: 6

просмотров: 438	глас народа: +10 / -0	зачёт незачёт голос будет учтён в рейтинге
поделиться:
▶ Понравилось? Поддержи! ◀

◀ предыдущая запись
бодигарды, фильтр, ковид

следующая запись ▶
подсветка, газ, ящер

3 R666 свой человек	10.08.2022 11:01
А кстати, в последнее время при входе на сайт стало частенько появляться "..соединение сброшено.." при автонаборе адреса из экспресс-панели. И это несмотря на достаточно уже шустрый интернет. Но если после этого немного подождать, ткнуть в адресную строку и нажать "enter" - соединение идет на ура. upd: капча, примененная здесь - IMHO самая занятная. Очаровательная прелесть в ней в том, что на автомате делается попытка ввода символов одного цвета. А прочитать пояснение, что именно надо давить - это позже получается (как раз после очередной неудачи).
+0

4 SaAnVi tzar	10.08.2022 23:25
"Посещаемость" из-за роботов уже за тысячу. :) Што за хрень...
+0

5 SaAnVi tzar	14.08.2022 17:39
Анализируя поведение роботов, ахуеваю. Страна - Таиланд. Выполняют всё на странице, до чего дотянутся, все скрипты скрупулёзно. Но, похоже, прямо в этот самый момент я нашёл, как подвесить их за яйца. Или байты, чо там у них.
+0

6 SaAnVi tzar	14.08.2022 17:59
Чётко. Пошли ёбушки-воробушки добавляться в спамлист.
+3

↑ к началу комментариев ↑↑ к началу страницы

Вы не зарегистрированы. Зарегистрируйтесь или войдите в систему, чтобы не набирать каждый раз проверочный код (и иметь другие приятные функции на сайте). Действует суточный лимит анонимных комментариев для защиты от троллей, школоло-хакеров и спам-ботов. На текущий момент осталось комментариев: 10.

Добавить комментарий

Фулюганствовать не надо: соблюдайте правила приличия. Я не люблю комментариев не по делу типа "Оццтой!" и им подобных. Если хотите что-то покритиковать или поучить кого-то жизни - делайте это с чувством, с толком и с расстановкой.

Роботы-ебоботы

Комментарии

Добавить комментарий