SaAnVi.Ruпародиифотоприколыбаннаяполитотакомпотажитота вкладка меню  сцылкиблогдумырецензиипоржатьфотоотчётыподдержать (12.5%)
^
Читаешь?
Интересно?
Поддержи.
SaAnVi.Ru
музыкальные приколы
фотоприколы / банная
политота / компота
житота / сцылки
блог / думы
рецензии на фильмы
тексты на поржать
фотоотчёты
Don't speak Russian?В избранноеПодписка РейтингАктивностьПоддержать (12.5%)

последние запросы

Яндекс поискпоиск Яндекса по сайту

нафигатор
*Музыка
Приколы, пародии, переделкиПесенки-чудесенкиПриколы (прочее)Авторский инструменталАвторские песниМинусовки (HiFi)Минусовки (LoFi)Минусовки (избранное)СаундтрекиZX SpectrumMODsMIDI
 
*Фото, рисунки
ПриколыБаннаяКарикатурыЖивотныеБелкиНасекомыеНебоЦветы, растенияПриродаКрасноярскРазноеФотоотчётыТрансляцииОбои (1280x1024)Обои (1680x1050)Обои (FullHD)СтокМоё
 
*Статьи
СмешноеРецензии на фильмыОбзорыЗвукСофт, комп, инетФотоСлова к песнямРецептыРазноеОчумелые ручкиЯндекс.ДиректФинансыИстории моей жизниДомостроениеОт других авторовПолитотаКомпотаЖитотаСцылкиВопросы по компьютеруВопросы по звуку
 
*Программы
Battle Ship DeLuxePut The BlockPrometeusNetZhopSpectrAnsDCAD
 
*Рингтоны
 
*Рейтинги
ОбщийМузыкаМинусовкиФотоСтатьиБлог
 
*Об авторе и сайте
АвторыЧаВоКонтактыБлогДумыАктивностьЮзерыКЖПСсылкиХостингКартаПоддержать сайт (12.5%)Горячие поклонники

 

блогЪ
одномоментные думы
последняя трансляция

25.03.2024 ньюс, буря, коньки

21.03.2024 ВРПВ: Навальный, Астафьев

19.03.2024 DNS: проверяем товары тщательней

18.03.2024 HDD, Зингельшухер, Крокус

12.03.2024 Спамер-идиот

11.03.2024 проект, затычки, голосование

05.03.2024 Над ЖЖ нависла Ж?

04.03.2024 вокал, кабели, шрифт

01.03.2024 Яндекс.Дурак

29.02.2024 Фейковые мастера на Авито

весь блог ▶
популярные посты ▶

 

подпишизь

RSS новости RSS комментарии

Роботы-ебоботы

опубликовано:  09.08.2022  <весь блог>


Выдалось "ну почти свободное время", упоролся защитой на сайте. Сам не понимаю, зачем, но увлёкся так, что держите семеро.

Самая проблема (если не брать во внимание DDoS, от которого защищаться, как правило, почти бессмысленно) - спам-комментарии. В принципе, эта проблема меня давно не волнует: 15 лет назад для анонимов была внедрена простейшая капча, которую роботы до сих пор не могут пробить. Капча гениальна и проста (придумал её не я). Казалось бы - ну и какие проблемы?

Последние пару недель я заметил дикое увеличение посещаемости на сайте. Первоначальная радость быстро сменилась удивлением: "новые посетители" были сплошь роботами. Что это означает?

Вероятно, в строй введено некое "новое поколение" спам-роботов, которые лазят по сайту, имитируя живого человека. Системы подсчёта посетителей (типа Метрики и иже с ними) не засчитают визит, если какой-то простой робот откроет страницу на сайте, увидит формочку для комментария и накакает туда спамом. Метрика об этом не узнает, поскольку её никто не потревожит. Но если сымитировать браузер - дёрнуть на странице всё, что полагается, включая скрипт Метрики - посещение будет защитано.

Для чего роботам так напрягаться, если можно проще? Вероятно, подавляющее большинство сайтов давно имеют совсем уж тупую, первичную защиту, которая полагается на то, что не все элементы на странице были подгружены, как полагается. У меня такая защита тоже есть и до сих пор работает. Но толку от неё скоро будет почти никакого, раз уж появились "усовершенствованные" алгоритмы, в которые как раз и входит задача имитации реального посетителя.

Если вы полагаете, будто я Неуловимый Джо - ошибаетесь. Заглянув в логи, я увидел, что за сутки роботы пытаются оставить более тысячи комментариев в разных частях сайта. С ними на 100% справляется супер-капча (несмотря на все ихние усовершенствования). Но нагрузку на сервер, внезапно, никто не отменял! Многие роботы перед оставлением комментария ещё и пытаются регистрироваться на сайте, заходить под пользователем и т.д. Это у них тоже не получается (проверка по емайлу рулит), но сервер реально потеет из-за всей этой пиздобратии.

Взглянув на это, я тоже вспотел и решил, что надо что-то делать. Напрягает как нагрузка на сервак, так и левые посетители в счётчиках. Последнее напрягает даже больше (вот такой уж я загадочный чудак).

Как бороться? Экспертной системой, которая определит робота и сообщит серваку, что надо блокировать его адрес. Моя разработка десятилетней давности PidorDetect™ и есть такая система, так что, надо было лишь проанализировать "новые" отличия роботов от людей. Эти отличия раньше были видны невооружённым глазом, но с роботом, который ходит по страницам, аки обычный юзверь с браузера, всё сложнее. "Ранешние" правила для системы, в основном, включали быстроту действий. Виден заход с адреса, через секунду - заполнение полей в форме комментария, ещё через секунду - отправка. Явно не человек. С "кибер-новичками" это не прокатывало: видны довольно длинные интервалы между действиями. Так можно и реального человека в бан отправить.

Роботы не могут пробить капчу, но вы удивитесь, сколько реальных людей тупят и так же не могут ввести её с первого-пятого-десятого раза (сука, остановите Землю). Т.е., фактор того, что кто-то 100500 раз тупит с капчей, увы, вообще рассматриваться не должен.

Да, можно использовать стоп-строки. Спам редко когда изобилует разнообразием. Добавляешь "porn" и "xxx" - отсекаешь 40% дерьма. Но не всё, да и есть, опять же, опасность дать в жбан реальному посетителю. В тексте комментариев может быть что угодно, когда угодно.

Чо ж делать? На помощь пришли увеличенные интервалы слежения. IP-адресов, с которых рассылается спам, довольно много, но они всё равно из конечных пространств (даже если брать грёбаный IPv6). Кстати, по поводу IPv6: сраная технология, благодаря которой количество невычисляемых пидорасов перевалило за охулиард - это всё, чего технология добилась. Так вот, если ты видишь, что с какого-то адреса кто-то пытается безуспешно регистрироваться на сайте N раз за сутки, то выводы делать уже можно. То же самое с количеством комментариев (вернее, ошибочных попыток их размещения) - немного опасно, ведь есть активные пользователи, которые могут за сутки прилично настрочить, но роботы на длинном промежутке всё равно усерднее. Далее - количество попыток входа в систему; человек не будет делать это слишком часто. Наконец, всё это проявилось ещё и в комплексе: робот регистрируется на сайте, через пять секунд пытается зайти, ещё через пять уже бежит что-то комментировать. Ни то, ни другое, ни третье у него не получается, и это сходу выдаёт электронного ублюдка.

Я не все зацепки описал, но как-то так. Далее остаётся добавить адреса в стоп-лист на некоторое время (банить навечно - не очень умная затея). Сервер разгружен. Но есть одно но...

После всех мероприятий, на сайте так и осталась куча роботов. Которые (та-дааа)... Не делают ничего вообще. В основном IPv6, просто заходят на разные страницы, дёргают скрипты, прекрасно засчитываются Метрикой и прочими счётчиками. Смысл их существования не понимаю вообще.

 

Роботы-ебоботы 2

 

©2022, Анатолий Савенков

комментариев: 6

просмотров:
257
глас народа:
+10 / -0
+зачёт    незачёт

голос будет учтён
в рейтинге

▶ Понравилось? Поддержи! ◀
 

 

Комментарии

 

1  ed
свой человек
09.08.2022 12:20
Будет суперсистема защиты GondonDetect ото всяких говноботов-роботов.
2  Angel 13
свой человек
09.08.2022 12:32
Во-во, с платной подпиской 😁
3  R666
свой человек
10.08.2022 07:01
А кстати, в последнее время при входе на сайт стало частенько появляться "..соединение сброшено.." при автонаборе адреса из экспресс-панели. И это несмотря на достаточно уже шустрый интернет. Но если после этого немного подождать, ткнуть в адресную строку и нажать "enter" - соединение идет на ура.

upd: капча, примененная здесь - IMHO самая занятная. Очаровательная прелесть в ней в том, что на автомате делается попытка ввода символов одного цвета. А прочитать пояснение, что именно надо давить - это позже получается (как раз после очередной неудачи).
4  SaAnVi
tzar
10.08.2022 19:25
"Посещаемость" из-за роботов уже за тысячу. :) Што за хрень...
5  SaAnVi
tzar
14.08.2022 13:39
Анализируя поведение роботов, ахуеваю. Страна - Таиланд. Выполняют всё на странице, до чего дотянутся, все скрипты скрупулёзно. Но, похоже, прямо в этот самый момент я нашёл, как подвесить их за яйца. Или байты, чо там у них.
6  SaAnVi
tzar
14.08.2022 13:59
Чётко. Пошли ёбушки-воробушки добавляться в спамлист.

 

↑ к началу комментариев    ↑↑ к началу страницы

 

Вы не зарегистрированы. Зарегистрируйтесь или войдите в систему, чтобы не набирать каждый раз проверочный код (и иметь другие приятные функции на сайте). Действует суточный лимит анонимных комментариев для защиты от троллей, школоло-хакеров и спам-ботов. На текущий момент осталось комментариев: 10.

Добавить комментарий

* Ваше имя/ник:
E-mail:
* Комментарий:
(до 2048 символов)
введите две первые цифры из четырёх: 3031 

 

Фулюганствовать не надо: соблюдайте правила приличия. Я не люблю комментариев не по делу типа "Оццтой!" и им подобных. Если хотите что-то покритиковать или поучить кого-то жизни - делайте это с чувством, с толком и с расстановкой.

 

  

 

группа ВКонтакте Яндекс.Дзен Канал YouTube
 
Яндекс.Метрика Top.Mail.Ru
EC: 1742
новостя
26.03.2024
статья: Режима показов больше нет
15.03.2024
рецензия: Кентавр
09.03.2024
рецензия: Холоп 2
03.03.2024
банная: Хата азиата
22.02.2024
рецензия: Крушение
20.02.2024
статья: ASUS System Control Interface и иже с ними
07.02.2024
фотоприкол: Рыбалка
27.01.2024
фотоприкол: Простоквашино
23.01.2024
рецензия: Поехавшая
15.01.2024
статья: Firefox: пришла пора прощаться?
все новости ▶

 

популярЪ

1. статья: Режима показов больше нет

2. статья: Тёплый ламповый звук и сферический винил в вакууме

3. статья: Firefox: пришла пора прощаться?

4. статья: RUCELF UPI-400-12-EL: лучше, чем ничего

5. музыкальная пародия: Винда

6. статья: Отключение ненужных служб Windows

7. Хата азиата. Фото: NETDTHC.

8. музыкальная пародия: Стоят девчонки

9. рецензия: Крушение (Plane)

10. статья: ASUS System Control Interface и иже с ними

весь TOP ▶

 

крайние каменты

1. блог: Над ЖЖ нависла Ж?

2. блог: Новый почтовый развод

3. блог: ньюс, буря, коньки

4. блог: HDD, Зингельшухер, Крокус

5. статья: Режима показов больше нет

6. блог: Кинотеатрам всё-таки конец?

7. статья: Посудомойка не видит таблетированную соль

8. блог: падение, бар, bitcoin

9. блог: Искусственный интеллект, и почему он терпит поражение

10. блог: DNS: проверяем товары тщательней

 

на сайте
гости: 3

статистика за 10 минут

юзеры ▶
изображениезакрыть
dummy