Скрэперы, собирающие данные для обучения нейронок прямо-таки охренели. Не уважают robots.txt, ходят с сотен тысяч "домашних" IP, играют с User-Agent.
- Тут можно почитать, как сильно это напрягает мейнтейнеров опен сорса и как Anubis некоторым из них помог (и что это вообще за Anubis такой).
- А тут Cloudflare сделали тул (даже для бесплатных юзеров), чтобы направить этих ботов в бесконечное множество залинкованных страниц чепухи.

#scraper #ai #llm

Тут чел тоже своеобразно и весело борется с разными нехорошими ботами, атакующими его сайт. Когда запрос выглядит подозрительно, он отвечает на него gzip-нутым стримом в 1-10 Мб, которые разворачиваются в 1-10 Гб на другом конце и роняют бота.

#scraper #bot

Помните Anubis? Та аниме-девочка, которая не пустит на сайт, пока браузер не решит SHA-256 задачку по типу Bitcoin. Тут вот немного критикуют саму идею. Если AI компании нужно будет что-то такое скрэпить, с их датацентрами не составит никакого труда этот челлендж решить. Ну и заодно пишут крошечную программку, которая эту задачку решает. Для отщепенцев, которые почему-то не хотят открывать эти сайты через обычный браузер.

#browser #ai #scraper