Построение E2E-решения для прогнозирования временных рядов на примере метеоданных
https://habr.com/ru/articles/960598/

Эта статья — история такого "рефакторинга длиною в 4 года". Это рассказ о том, как простой академический проект был переосмыслен и превращен в полноценное End-to-End (E2E) решение. Цель — не просто снова предсказать погоду, а на практическом примере продемонстрировать системный подход к построению ML-пайплайна с нуля.

Ловим «взрослые» сцены на видео: как ИИ помогает редакторам
https://habr.com/ru/articles/960952/

Поводом для написания этой заметки стало обсуждение на недавнем отраслевом мероприятии задач мультимодерации контента: как быстро и надёжно находить «взрослые» сцены в длинных видео и автоматически подсвечивать фрагменты для ручной проверки. Похожие кейсы регулярно встречаются и в открытых соревнованиях по ИИ.

Ансамблирование BERT для анализа логов и почему вам может быть достаточно solo-модели
https://habr.com/ru/companies/sberbank/articles/959580/

1 августа 2012 года торговая фирма Knight Capital развернула новую версию торгового ПО SMARS. Из-за ошибки при развёртывании на одном из восьми серверов осталась старая тестовая версия кода, из-за чего торговый робот начал неконтролируемо рассылать миллионы ошибочных заявок на покупку и продажу акций. Этот процесс длился около 45 минут и привел к убыткам в размере примерно 440 миллионов долларов — почти весь капитал компании.

pytest Fixtures: How to Use & Organize Them
https://patrickm.de/pytest-fixtures-how-to-use-organize-them-in-your-test-architecture/

Fixtures make your life as a developer easier when using Pytest. Learn how to use them in different ways to organize your test suite more effectively, and get a glimpse on how Streamlit and Pydantic uses them.

RustPython: A Python Interpreter Written in Rust
https://github.com/RustPython/RustPython/

Cronboard: TUI Dashboard for Managing Cron Jobs
https://github.com/antoniorodr/Cronboard

Как мы перестали хранить Pydantic в JSON и в 7 раз сократили расход памяти в Redis
https://habr.com/ru/articles/961082/

У нас был большой продакшен-сервис с ~10M MAU, где Redis использовался как основное хранилище состояния пользователей. Все данные лежали в нём в виде JSON-сериализованных Pydantic-моделей. Это выглядело удобно, пока не стало больно.

«Манускрипт. Распознать нельзя забыть: как мы научили нейросеть читать рукописи XIX века»
https://habr.com/ru/articles/961062/

Manuscript OCR — открытая нейросеть для чтения рукописей XIX века. Мы обучили свою OCR-модель распознавать дореформенную кириллицу, нестандартные почерки и сложные сканы. Всё — на собственных данных, с нуля. В статье — как мы это сделали и ссылки на репозиторий с кодом. 

Делаем самые лучшие фото для документов
https://habr.com/ru/articles/960714/

Делали ли вы электронную визу в Индию? А, может, в Южную Корею? Или подавались на лотерею Green Card в США? Если да, то вы точно знаете, что для заявки на все эти документы надо прикрепить фотографию определённого размера с целым набором требований...

SmileFace. Когда нейросеть улыбается тебе в ответ
https://habr.com/ru/articles/961178/

SmileFace — игра, в которой нейросеть угадывает эмоцииМы сделали интерактивный стенд: камера, смайлики и нейросеть, которая пытается распознать, что вы чувствуете. В статье — как это работает, с какими трудностями столкнулись и как запустить игру у себя.

WebREPL и uPyLoader: Выбираем способ беспроводного управления ESP
https://habr.com/ru/articles/961308/

В прошлой статье мы превращали безмолвную плату в говорящее на Python устройство. Теперь научим его не просто выполнять команды, а самостоятельно работать по заданным инструкциям (файлами). Мы перейдем к созданию автономных программ, которые будут выполняться на устройстве.

Selectolax: быстрая альтернатива Beautiful Soup
https://habr.com/ru/articles/961590/

Если спросить у питониста: «Чем парсить сайт?», — в большинстве случаев он ответит Selenium или Beautiful Soup. И будет по-своему прав — это два главных направления в мире парсинга на Python.Selenium, со всем своим множеством форков, наследников и схожих по принципу библиотек, — инструмент мощный. В этой статье я расскажу об альтернативе Beautiful Soup — библиотеке Selectolax, воплощающую в себе простоту использования и высокую скорость работы.

По следам CPython. Часть 2. Предконфигурация
https://habr.com/ru/articles/961324/

В рамках прошлой статьи была настроена IDE и разобраны первые несколько функций CPython и используемые в них структуры. Так, повествование дошло до функции pymain_init из Modules/main.c. Эта же статья будет посвящена разбору части вышеобозначенной функции, а конкретнее — этапу предконфигурации CPython.

kombu - 5.6.0
https://pypi.org/project/kombu/5.6.0/

Фреймворк для работы с AMQP. Скачать можно по ссылке: https://pypi.python.org/pypi/kombu/

Understanding Docker Internals: Building a Container Runtime in Python
https://muhammadraza.me/2024/building-container-runtime-python/

agent-lightning - The absolute trainer to light up AI agents
https://github.com/microsoft/agent-lightning

Reliable Django Signals
https://hakibenita.com/django-reliable-signals

psutil - 7.1.3
https://pypi.org/project/psutil/7.1.3/

Модуль для управления процессами в ОС. Скачать можно по ссылке: https://pypi.python.org/pypi/psutil/

#python #pydigest
IT-новости про Python перед вами.

Часть материалов из выпуска Python Дайджест:

- Ловим «взрослые» сцены на видео: как ИИ помогает редакторам
- SmileFace. Когда нейросеть улыбается тебе в ответ
- «Манускрипт. Распознать нельзя забыть: как мы научили нейросеть читать рукописи XIX века»
- Надежные Django Signals
- Thefittest: зачем я пишу библиотеку эволюционных алгоритмов
- Schema-Guided Reasoning: как научить языковые модели последовательно рассуждать
- Selectolax: быстрая альтернатива Beautiful Soup
- RustPython: A Python Interpreter Written in Rust
- django-debug-toolbar - 6.1.0
- redis - 7.0.1

Заходите в гости - https://pythondigest.ru/issue/620/

Как стримить большие ответы в Django через StreamingHttpResponse и async-генераторы
https://habr.com/ru/companies/otus/articles/960036/

Сегодня рассмотрим решение одной непростой задачи, как в Django выдавать очень большие объёмы данных, например, выгрузку в CSV или потоковый JSON-формат NDJSON) так, чтобы сервер не ложился от нагрузки, а пользователи быстрее получали первые данные. Разберём, как использовать StreamingHttpResponse и генераторы (в том числе асинхронные) для стриминга больших ответов и поговорим нюансах.