SaAnVi.Ruпародиифотоприколыбаннаяполитотакомпотажитота вкладка меню  сцылкиблогдумырецензиипоржатьфотоотчётыподдержать (0%)
^
Читаешь?
Интересно?
Поддержи.
SaAnVi.Ru
музыкальные приколы
фотоприколы / банная
политота / компота
житота / сцылки
блог / думы
рецензии на фильмы
тексты на поржать
фотоотчёты
Don't speak Russian?В избранноеПодписка РейтингАктивностьПоддержать (0%)

последние запросы

Яндекс поискпоиск Яндекса по сайту

нафигатор
*Музыка
Приколы, пародии, переделкиПесенки-чудесенкиПриколы (прочее)Авторский инструменталАвторские песниМинусовки (HiFi)Минусовки (LoFi)Минусовки (избранное)СаундтрекиZX SpectrumMODsMIDI
 
*Фото, рисунки
ПриколыБаннаяКарикатурыЖивотныеБелкиНасекомыеНебоЦветы, растенияПриродаКрасноярскРазноеФотоотчётыТрансляцииОбои (1280x1024)Обои (1680x1050)Обои (FullHD)СтокМоё
 
*Статьи
СмешноеРецензии на фильмыОбзорыЗвукСофт, комп, инетФотоСлова к песнямРецептыРазноеОчумелые ручкиЯндекс.ДиректФинансыИстории моей жизниДомостроениеОт других авторовПолитотаКомпотаЖитотаСцылкиВопросы по компьютеруВопросы по звуку
 
*Программы
Battle Ship DeLuxePut The BlockPrometeusNetZhopSpectrAnsDCAD
 
*Рингтоны
 
*Рейтинги
ОбщийМузыкаМинусовкиФотоСтатьиБлог
 
*Об авторе и сайте
АвторыЧаВоКонтактыБлогДумыАктивностьЮзерыКЖПСсылкиХостингКартаПоддержать сайт (0%)Горячие поклонники

 

блогЪ
одномоментные думы
последняя трансляция

03.10.2022 лес, эра

30.09.2022 OZON удивляет

26.09.2022 Хаус, пауза

22.09.2022 ВРПВ: СВО

20.09.2022 Чтобы и вам не ездить

19.09.2022 морква, распродажи, Абрамович

18.09.2022 Вот сломался лифт, и вдруг...

15.09.2022 Фасадный термометр

12.09.2022 чистоплюй, дзен, Симба

06.09.2022 Перевозка детей в авто: как же всё сложно

весь блог ▶
популярные посты ▶

 

подпишизь

RSS новости RSS комментарии

Роботы-ебоботы

опубликовано:  09.08.2022  <весь блог>


Выдалось "ну почти свободное время", упоролся защитой на сайте. Сам не понимаю, зачем, но увлёкся так, что держите семеро.

Самая проблема (если не брать во внимание DDoS, от которого защищаться, как правило, почти бессмысленно) - спам-комментарии. В принципе, эта проблема меня давно не волнует: 15 лет назад для анонимов была внедрена простейшая капча, которую роботы до сих пор не могут пробить. Капча гениальна и проста (придумал её не я). Казалось бы - ну и какие проблемы?

Последние пару недель я заметил дикое увеличение посещаемости на сайте. Первоначальная радость быстро сменилась удивлением: "новые посетители" были сплошь роботами. Что это означает?

Вероятно, в строй введено некое "новое поколение" спам-роботов, которые лазят по сайту, имитируя живого человека. Системы подсчёта посетителей (типа Метрики и иже с ними) не засчитают визит, если какой-то простой робот откроет страницу на сайте, увидит формочку для комментария и накакает туда спамом. Метрика об этом не узнает, поскольку её никто не потревожит. Но если сымитировать браузер - дёрнуть на странице всё, что полагается, включая скрипт Метрики - посещение будет защитано.

Для чего роботам так напрягаться, если можно проще? Вероятно, подавляющее большинство сайтов давно имеют совсем уж тупую, первичную защиту, которая полагается на то, что не все элементы на странице были подгружены, как полагается. У меня такая защита тоже есть и до сих пор работает. Но толку от неё скоро будет почти никакого, раз уж появились "усовершенствованные" алгоритмы, в которые как раз и входит задача имитации реального посетителя.

Если вы полагаете, будто я Неуловимый Джо - ошибаетесь. Заглянув в логи, я увидел, что за сутки роботы пытаются оставить более тысячи комментариев в разных частях сайта. С ними на 100% справляется супер-капча (несмотря на все ихние усовершенствования), Но нагрузку на сервер, внезапно, никто не отменял! Многие роботы перед оставлением комментария ещё и пытаются регистрироваться на сайте, заходить под пользователем и т.д. Это у них тоже не получается (проверка по емайлу рулит), но сервер реально потеет из-за всей этой пиздобратии.

Взглянув на это, я тоже вспотел и решил, что надо что-то делать. Напрягает как нагрузка на сервак, так и левые посетители в счётчиках. Последнее напрягает даже больше (вот такой уж я загадочный чудак).

Как бороться? Экспертной системой, которая определит робота и сообщит серваку, что надо блокировать его адрес. Моя разработка десятилетней давности PidorDetect™ и есть такая система, так что, надо было лишь проанализировать "новые" отличия роботов от людей. Эти отличия раньше были видны невооружённым глазом, но с роботом, который ходит по страницам, аки обычный юзверь с браузера, всё сложнее. "Ранешние" правила для системы, в основном, включали быстроту действий. Виден заход с адреса, через секунду - заполнение полей в форме комментария, ещё через секунду - отправка. Явно не человек. С "кибер-новичками" это не прокатывало: видны довольно длинные интервалы между действиями. Так можно и реального человека в бан отправить.

Роботы не могут пробить капчу, но вы удивитесь, сколько реальных людей тупят и так же не могут ввести её с первого-пятого-десятого раза (сука, остановите Землю). Т.е., фактор того, что кто-то 100500 раз тупит с капчей, увы, вообще рассматриваться не должен.

Да, можно использовать стоп-строки. Спам редко когда изобилует разнообразием. Добавляешь "porn" и "xxx" - отсекаешь 40% дерьма. Но не всё, да и есть, опять же, опасность дать в жбан реальному посетителю. В тексте комментариев может быть что угодно, когда угодно.

Чо ж делать? На помощь пришли увеличенные интервалы слежения. IP-адресов, с которых рассылается спам, довольно много, но они всё равно из конечных пространств (даже если брать грёбаный IPv6). Кстати, по поводу IPv6: ёбаная технология, благодаря которой количество невычисляемых пидорасов перевалило за охулиард - это всё, чего технология добилась. Так вот, если ты видишь, что с какого-то адреса кто-то пытается безуспешно регистрироваться на сайте N раз за сутки, то выводы делать уже можно. То же самое с количеством комментариев (вернее, ошибочных попыток их размещения) - немного опасно, ведь есть активные пользователи, которые могут за сутки прилично настрочить, но роботы на длинном промежутке всё равно усерднее. Далее - количество попыток входа в систему; человек не будет делать это слишком часто. Наконец, всё это проявилось ещё и в комплексе: робот регистрируется на сайте, через пять секунд пытается зайти, ещё через пять уже бежит что-то комментировать. Ни то, ни другое, ни третье у него не получается, и это сходу выдаёт электронного ублюдка.

Я не все зацепки описал, но как-то так. Далее остаётся добавить адреса в стоп-лист на некоторое время (банить навечно - не очень умная затея). Сервер разгружен. Но есть одно но...

После всех мероприятий, на сайте так и осталась куча роботов. Которые (та-дааа)... Не делают ничего вообще. В основном IPv6, просто заходят на разные страницы, дёргают скрипты, прекрасно засчитываются Метрикой и прочими счётчиками. Смысл их существования не понимаю вообще.

 

Роботы-ебоботы 2

 

©2022, Анатолий Савенков

комментариев: 6

просмотров:
210
глас народа:
+7 / -0
+зачёт    незачёт

голос будет учтён
в рейтинге

▶ Понравилось? Поддержи! Собрано 0% ◀
 

 

Комментарии

 

1  ed
свой человек
09.08.2022 12:20
Будет суперсистема защиты GondonDetect ото всяких говноботов-роботов.
2  Angel 13
свой человек
09.08.2022 12:32
Во-во, с платной подпиской 😁
3  R666
свой человек
10.08.2022 07:01
А кстати, в последнее время при входе на сайт стало частенько появляться "..соединение сброшено.." при автонаборе адреса из экспресс-панели. И это несмотря на достаточно уже шустрый интернет. Но если после этого немного подождать, ткнуть в адресную строку и нажать "enter" - соединение идет на ура.

upd: капча, примененная здесь - IMHO самая занятная. Очаровательная прелесть в ней в том, что на автомате делается попытка ввода символов одного цвета. А прочитать пояснение, что именно надо давить - это позже получается (как раз после очередной неудачи).
4  SaAnVi
tzar
10.08.2022 19:25
"Посещаемость" из-за роботов уже за тысячу. :) Што за хрень...
5  SaAnVi
tzar
14.08.2022 13:39
Анализируя поведение роботов, ахуеваю. Страна - Таиланд. Выполняют всё на странице, до чего дотянутся, все скрипты скрупулёзно. Но, похоже, прямо в этот самый момент я нашёл, как подвесить их за яйца. Или байты, чо там у них.
6  SaAnVi
tzar
14.08.2022 13:59
Чётко. Пошли ёбушки-воробушки добавляться в спамлист.

 

↑ к началу комментариев    ↑↑ к началу страницы

 

Вы не зарегистрированы. Зарегистрируйтесь или войдите в систему, чтобы не набирать каждый раз проверочный код (и иметь другие приятные функции на сайте). Действует суточный лимит анонимных комментариев для защиты от троллей, школоло-хакеров и спам-ботов. На текущий момент осталось комментариев: 10.

Добавить комментарий

* Ваше имя/ник:
E-mail:
* Комментарий:
(до 2048 символов)
введите две первые цифры из четырёх: 1172 

 

Фулюганствовать не надо: соблюдайте правила приличия. Я не люблю комментариев не по делу типа "Оццтой!" и им подобных. Если хотите что-то покритиковать или поучить кого-то жизни - делайте это с чувством, с толком и с расстановкой.

 

  

 

ВКонтакте Яндекс.Дзен Канал YouTube Soundcloud
 
Яндекс.Метрика Top.Mail.Ru
EC: 562
новостя
16.09.2022
статья: Proof of Stake и Proof of Work: в чём разница?
13.09.2022
банная: Бухен Хауз
11.09.2022
рецензия: Вышка
08.09.2022
рецензия: Пропавшая
06.09.2022
фотоприкол: Сесуриту
31.08.2022
статья: ASUS Z87-K: материнская плата, на которую не ставится Windows 10
28.08.2022
банная: Пахата
25.08.2022
фотосет: Зарисовки 51
20.08.2022
рецензия: Флешбэк
11.08.2022
фотоприкол: Женский магазин
все новости ▶

 

популярЪ

1. статья: Тёплый ламповый звук и сферический винил в вакууме

2. музыкальная пародия: Винда

3. статья: X-plore File Manager: спасение для Android TV

4. статья: Proof of Stake и Proof of Work: в чём разница?

5. статья: ASUS Z87-K: материнская плата, на которую не ставится Windows 10

6. Полтора литра. Фото: GanZ.

7. статья: RUCELF UPI-400-12-EL: лучше, чем ничего

8. статья: Отключение "Защитника Windows"

9. статья: Отключение проверки цифровой подписи Windows 7

10. статья: Отключение ненужных служб Windows

весь TOP ▶

 

крайние каменты

1. блог: лес, эра

2. блог: OZON удивляет

3. блог: ВРПВ: СВО

4. блог: Хаус, пауза

5. блог: Центр метрологии ЖКХ (ЦМЖКХ): детективная история

6. статья: Proof of Stake и Proof of Work: в чём разница?

7. блог: ссылки, объява, yandex

8. блог: Не допустим

9. блог: морква, распродажи, Абрамович

10. блог: Псиносрач

 

на сайте
гости: 4

статистика за 10 минут

юзеры ▶
изображениезакрыть
dummy