🖥 Repo2txt — утилита на Python, которая позволяет сохранить любой репозиторий в виде текстового файла

Repo2txt может пригодиться для интеллектуального анализа текстов или обучения LLM.
При написании Repo2txt автор не использовал сторонние зависимости и уместил всё в один файл. Для лучшей производительности применяется многопоточность. Кроме того, Repo2txt учитывает файлы в .gitignore, чтобы исключать их из вывода, поддерживается вывод двоичных файлов (аудио, изображений). Сам исходный файл понятен человеку и может легко токенизироваться для обучения моделей.

Кроме возможности обучать на полученных данных нейросети, разработчик приводит и другие сценарии использования Repo2txt:
— анализ данных;
— резервное копирование;
— локальное версирование.

Сперва утилиту необходимо скачать, локально клонировав исходный репозиторий. После этого для копирования репозиториев надо выполнить файл main.py с указанием пути к репозиторию и флагами:
— -d, --directory — путь к каталогу (обязательно).
— -t, --tree — вывод дерева репозитория (без содержимого файлов, отключен по умолчанию).
— -e, --embed — включить дерево в начале вывода.
— -b, --binary — ключить двоичные файлы (отключен по умолчанию).
— -g, --gitignore — использовать .gitignore для исключения файлов.
— -i, --ignore — можно через запятую указать дополнительный шаблон для исключения файлов.
— -o, --output — имя файла на выходе.

🖥 GitHub

@pythonl

🖥 PDM — современный менеджер пакетов и зависимостей Python, поддерживающий последние стандарты PEP

— curl -sSL https://pdm-project.org/install-pdm.py | python3 -

PDM — это инструмент управления зависимостями и пакетами Python нового поколения.
Если вам не хватает чего-то в Pipenv или Poetry, вероятно, вам подойдёт PDM.

🖥 GitHub
🟡 Доки

@pythonl

⚡️ ЛУЧШИЕ БЕСПЛАТНЫЕ Курсы и Книги для изучения МАШИННОГО ОБУЧЕНИЯ.

https://www.youtube.com/watch?v=j0BrMPgrCuo

@pythonl

🖥 Marker — Python-утилита для быстрого и точного преобразования PDF в MD

— pip install marker-pdf

Процесс преобразования PDF при помощи Marker состоит из таких шагов:
— извлечение текста, при необходимости использование OCR (эвристические методы, Surya, Tesseract)
— определение макета страницы и порядка чтения (Surya)
— подготовка и форматирование каждого блока (эвристика, Texify)
— объединение блоков и постобработка полного текста (Heuristics, Pdf_postprocessor)

Marker использует ML-модели только там, где это необходимо, что повышает скорость и точность

Пример использования:
marker_single /path/to/file.pdf /path/to/output/folder --batch_multiplier 2 --max_pages 10 --langs English

🖥 GitHub
🟡 Пример использования

@pythonl