Forwarded from Pentest HaT (Андрей (Exited3n))
Please open Telegram to view this post
VIEW IN TELEGRAM
📖 MarkItDown - конвертер любых файлов в Markdown от Microsoft
Похоже на Pandoc для эпохи LLM, только с фокусом на подготовку данных для нейросетей и поисковых пайплайнов. Утилита не пытается сохранить красивый внешний вид, а вытаскивает структуру документа в Markdown - заголовки, таблицы, списки, ссылки - именно в том виде, который LLM понимают нативно. Может стать стандартом де-факто для подготовки данных под RAG и AI-агентов.
Что умеет: PDF, DOCX, PPTX, XLSX в Markdown, HTML, CSV, JSON, XML в Markdown, Изображения - OCR и метаданные, Аудио - текстовая расшифровка, YouTube - транскрипт по ссылке, ZIP - рекурсивная обработка содержимого
Применение: 📝 Pentest reporting и форензика - привести артефакты к единому тексту, 🔍 RAG, Vector DB, MCP-серверы, AI-агенты,
📂 Обработка документации, Knowledge Base, 🔄 Миграции в Notion / Obsidian, оцифровка старых отчетов в PDF
🔗 https://github.com/microsoft/markitdown
#tools #ai #llm #rag #python #dfir
Похоже на Pandoc для эпохи LLM, только с фокусом на подготовку данных для нейросетей и поисковых пайплайнов. Утилита не пытается сохранить красивый внешний вид, а вытаскивает структуру документа в Markdown - заголовки, таблицы, списки, ссылки - именно в том виде, который LLM понимают нативно. Может стать стандартом де-факто для подготовки данных под RAG и AI-агентов.
Что умеет: PDF, DOCX, PPTX, XLSX в Markdown, HTML, CSV, JSON, XML в Markdown, Изображения - OCR и метаданные, Аудио - текстовая расшифровка, YouTube - транскрипт по ссылке, ZIP - рекурсивная обработка содержимого
Применение: 📝 Pentest reporting и форензика - привести артефакты к единому тексту, 🔍 RAG, Vector DB, MCP-серверы, AI-агенты,
📂 Обработка документации, Knowledge Base, 🔄 Миграции в Notion / Obsidian, оцифровка старых отчетов в PDF
pip install 'markitdown[all]'
markitdown file.pdf -o out.md
🔗 https://github.com/microsoft/markitdown
#tools #ai #llm #rag #python #dfir
🔥13❤7👍1