Я на тему AI-краулеров и проблем, которые они создают, уже писал

https://xn--r1a.website/tech_b0lt_Genona/5122
https://xn--r1a.website/tech_b0lt_Genona/5305

Собственно, Anubis вы можете наблюдать сейчас на многих сайтах (первый скрин)

Но битва продолжается

Zip-бомбы против агрессивных ИИ-краулеров
https://habr.com/ru/companies/globalsign/articles/953654/

По информации аналитического отчёта Fastly, краулеры, скраперы и фетчеры иногда создают нагрузку на сайт до 39 тыс. запросов в минуту.

В 2025 году нагрузка от скраперов выросла на 87%, причём основной трафик идёт от RAG-скраперов, а не для первичного обучения моделей.

Сейчас ИИ-краулеры генерируют около 80% всего трафика ИИ-ботов в интернете. Всего 20% приходится на фетчеры, но они ответственны за серьёзные пиковые нагрузки. Например, ClaudeBot компании Anthropic отправил миллион запросов за сутки к сайту с техническими инструкциями iFixit.com и 3,5 млн запросов за четыре часа к Freelancer.com.

Среди всех ботов одним из самых назойливых является краулер Facebook (признана экстремистской организацией в РФ):

Боты Perplexity AI замечены в выходе за диапазон официальных IP-адресов и игнорировании директивы robots.txt.

В последнее для защиты от агрессивных ИИ-краулеров стали активно использоваться zip-бомбы, которые истощают оперативную память в дата-центре краулера. Это может быть стандартный архив размером 10 МБ, который распаковывается в 10 ГБ:

$ dd if=/dev/zero bs=1M count=10240 | gzip -9 > 10G.gzip

Или валидный HTML:

...со сжатием 1:1030:

$ fish zip_bomb.fish | gzip -9 > bomb.html.gz
$ du -sb bomb.html.gz
10180  bomb.html.gz

Поскольку обычные браузеры вроде Chrome и Firefox тоже выходят из строя при попытке отобразить такой HTML, на него не ставят прямых ссылок с веб-страниц, чтобы живые пользователи не зашли туда по ошибке. Такая страница доступна только для ИИ-ботов.

По мнению некоторых активистов, на эффективность zip-бомб указывает тот факт, что разработчики краулеров пытаются уберечься через запрет на получение zip-контента. В свою очередь, такие директивы — один из признаков вредоносных краулеров, то есть она полезна для фингерпринтинга.

Четверг, а значит время проектов от подписчиков! 🌝

Тем, кто пропустил, что такое четверговые проекты от подписчиков, можно прочитать тут - https://xn--r1a.website/tech_b0lt_Genona/4983

Артёма я знаю лично, с ним точно можно всегда душевно поговорить о какой-нибудь технологии или "железке". Он резидент нижегородского хакерспейса @cadr_space, где делает много классных вещей. И за сегодняшним его проектом я слежу уже второй год.

Слово автору @a_v_p

---

Всем привет! Меня зовут Артём "avp" Попцов. Представляю вашему вниманию проект, над которым начал трудиться с 9 сентября 2022 года — книга "Автомато-программато-компарадио-кружок":
https://github.com/artyom-poptsov/SPARC

8 лет веду практики и курсы по программированию микроконтроллеров в Нижегородском радиотехническом колледже (https://nntc.nnov.ru/) (НРТК), а также с 2013-го года занимаюсь организацией и поддержкой хакерспейса CADR (https://cadrspace.ru/) в Нижнем Новгороде — за всё это время накопился большой опыт по изложению материала и организации обучения. Меня увлекает возможность объединения науки, программирования, творчества и электроники для создания разных штук, и этим интересом стараюсь делиться с людьми. Не претендую на всеобъемлющие знания во всех областях, однако кажется, что могу сказать своё слово в популяризации технического творчества, обобщив опыт в формате книги.

Основой для книги послужило методическое пособие, которое было сформировано во время ведения учебных практик и курсов в НРТК. Название книги является отсылкой к хакерспейсу CADR. Очень хотелось бы, чтобы знания и опыт, накопленные за годы, не потерялся; дабы это гарантировать, работу над книгой веду с использованием Git/GitHub, и сама книга выложена в открытый доступ под лицензией CC BY-SA 4.0, что даёт возможность всем желающим использовать её, даже в коммерческих целях, при условии указания авторства и распространения производных работ под той же лицензией (для интересующихся — вот текст (https://creativecommons.org/licenses/by-sa/4.0/deed.ru) лицензии.) Надеюсь, что публикация книги под данной лицензией и использование Git даст возможность людям не только пользоваться плодами моего труда, но и приложить руку к развитию проекта.

Книга написана в LaTeX, также в релизах проекта в репозитории на GitHub есть PDF-версия книги. Параллельно перевожу книгу на английский язык — англоязычную версию можнт также найти в репозитории.

Больше всего горжусь, конечно же, главой "Синтез музыки и технологии", посвящённой низкоуровневому программированию музыки на Arduino. Также относительно недавно завершил работу над главой "Путешествие к центру микроконтроллера", где рассказывается про прерывания, и про их использование для двухканального вывода звука — пример результата можно посмотреть здесь:
Ramin Djawadi, "Game of Thrones" (Arduino cover by avp) (https://www.youtube.com/watch?v=9DGQFEVbdcs)

Ещё больше примеров музыки на Arduino можете найти в моём Telegram-канале (https://xn--r1a.website/memory_heap). Кроме работы со звуком, хочу также отметить главу, где рассказывается про использование текстового дисплея для создания игр — тоже очень интересная тема, позволяющая совместить знания из различных областей.

В планах ещё дополнить и улучшить имеющиеся главы, добавить главу про сдвиговые регистры, описать дополнительные протоколы передачи данных, синхронизировать русскую и английскую версию книги. Принимаю дополнительные идеи по улучшению, отчёты об ошибках и (конечно же) pull request'ы — данная книга является free/open source проектом, и здесь действуют такие же правила, что и в программных проектах. Контрибьюторы будут перечислены в списке благодарностей в начале книги. ;-)

---

Форматируем YAML