🖥 Репозиторий: Scrapling — адаптивный фреймворк для Web Scraping и Crawling

Scrapling — это современный адаптивный Python-фреймворк для web scraping и crawling, рассчитанный как на получение данных с отдельных страниц, так и на масштабный многопоточный сбор информации.

— Проект особенно интересен тем, что умеет адаптироваться к изменениям структуры сайтов и работать с динамическими страницами.

Его можно использовать для автоматизированного мониторинга публичных веб-ресурсов, сбора данных с большого количества страниц, анализа изменений сайтов или построения собственного reconnaissance pipeline.

⏺ Ссылка на GitHub

#Web #Scraping #Crawling #OSINT #Recon #Python #Automation #Data #Browser #MCP | Лаборатория хакера

🖥 Репозиторий: BettaFish — мультиагентная система для OSINT, анализа информационной среды и Deep Research

BettaFish — это не просто AI-чат или агрегатор новостей, а целый pipeline, в котором несколько специализированных агентов собирают и анализируют информацию, после чего объединяют результаты в единый аналитический отчёт.

Автор заявляет поддержку 30+ социальных платформ и миллионов публичных комментариев.

— Проект построен с нуля на Python и ориентирован на автоматический сбор информации, её многоуровневый анализ и подготовку исследовательских отчётов.

⏺ Ссылка на GitHub

#OSINT #SOC #CTI #AI #LLM #Data #Analysis #Web #Crawling #Python #Intelligence #Automation | Лаборатория хакера

🖥 Репозиторий: EasySpider — визуальная система Web Scraping и Browser Automation

EasySpider — это визуальный no-code веб-краулер и браузерный автоматизатор, позволяющий создавать задачи по сбору данных с сайтов без написания полноценного кода. Проект поддерживает Windows, Linux и macOS и распространяется под AGPL-3.0.

— Данный инструмент позволяет пользователю открыть веб-страницу, выбирать элементы мышью и собирать из этих действий полноценный workflow для автоматизированного crawling/scraping.

⏺ Ссылка на GitHub

#OSINT #Web #Scraping #Crawling #Browser #Python #JS #Recon #OpenSource | Лаборатория хакера