🔥 ChatGPT PRO на русском: открытый курс от первого промпта до агентов и Codex
На GitHub появился бесплатный практический курс по ChatGPT, целиком на русском. Он умещается в один репо, поэтому ничего не нужно ставить и регистрироваться не надо.
Программа идёт от простого к сложному в четыре уровня: база, работа, расширение и PRO. Всего в ней 13 модулей. Первые разбирают выбор между быстрыми и рассуждающими моделями, Deep Research, формулу промпта, память и проекты. Дальше идут анализ таблиц, Canvas, картинки и голос, а последние модули посвящены Custom GPTs, коннекторам, агентам, Codex и API.
Главная ценность курса в практике. В нём 10 лабораторных: библиотека промптов, аналитика без Excel, ресёрч с проверкой источников, свой GPT, постановка задач агенту, разработка через Codex и автоматизация через API. К ним прилагаются 15 готовых рецептов под типовые задачи и разбор антипаттернов в формате «как делают неправильно и как надо».
Отдельный модуль посвящён безопасности: prompt injection, утечки данных и проверка фактов за моделью.
Курс удобно дать новичкам в команде или пройти самому, чтобы закрыть пробелы по агентам и Codex.
https://github.com/justxor/ChatGPT_ru
На GitHub появился бесплатный практический курс по ChatGPT, целиком на русском. Он умещается в один репо, поэтому ничего не нужно ставить и регистрироваться не надо.
Программа идёт от простого к сложному в четыре уровня: база, работа, расширение и PRO. Всего в ней 13 модулей. Первые разбирают выбор между быстрыми и рассуждающими моделями, Deep Research, формулу промпта, память и проекты. Дальше идут анализ таблиц, Canvas, картинки и голос, а последние модули посвящены Custom GPTs, коннекторам, агентам, Codex и API.
Главная ценность курса в практике. В нём 10 лабораторных: библиотека промптов, аналитика без Excel, ресёрч с проверкой источников, свой GPT, постановка задач агенту, разработка через Codex и автоматизация через API. К ним прилагаются 15 готовых рецептов под типовые задачи и разбор антипаттернов в формате «как делают неправильно и как надо».
Отдельный модуль посвящён безопасности: prompt injection, утечки данных и проверка фактов за моделью.
Курс удобно дать новичкам в команде или пройти самому, чтобы закрыть пробелы по агентам и Codex.
https://github.com/justxor/ChatGPT_ru
❤8👍6🔥5🥱5🥰2
🧠 ИИ лучше улучшает агентов, когда развивает несколько специализаций
Исследователи предложили новый подход к оптимизации harness: кода вокруг LLM, который управляет инструментами, поиском информации и проверкой ответов.
Обычно ИИ переписывает эту обвязку и оценивает версии на одном наборе задач. Но полезная специализация может потеряться, если проигрывает по общему баллу.
Авторы разделили поиск на две ветки:
• Каждая сохраняет задачи, с которыми справляется лучше другой.
• Ведёт собственные заметки об удачных изменениях.
• Развивает свою стратегию решения.
В математике одна ветка сосредоточилась на проверке ответов, другая на построении полных решений. Затем роутер выбирает подходящую обвязку для каждой новой задачи.
📈 На олимпиадной математике с Gemini 3 Flash точность выросла с 46% до 62%. Это +16 процентных пунктов. Подход превзошёл исходный метод во всех четырёх проверенных сочетаниях моделей и бенчмарков, хотя расход токенов был выше.
Практическая идея: при автоматической настройке агентов стоит сохранять несколько сильных специализаций и подбирать их под задачу.
📄 Исследование: https://arxiv.org/abs/2609.37834
Исследователи предложили новый подход к оптимизации harness: кода вокруг LLM, который управляет инструментами, поиском информации и проверкой ответов.
Обычно ИИ переписывает эту обвязку и оценивает версии на одном наборе задач. Но полезная специализация может потеряться, если проигрывает по общему баллу.
Авторы разделили поиск на две ветки:
• Каждая сохраняет задачи, с которыми справляется лучше другой.
• Ведёт собственные заметки об удачных изменениях.
• Развивает свою стратегию решения.
В математике одна ветка сосредоточилась на проверке ответов, другая на построении полных решений. Затем роутер выбирает подходящую обвязку для каждой новой задачи.
📈 На олимпиадной математике с Gemini 3 Flash точность выросла с 46% до 62%. Это +16 процентных пунктов. Подход превзошёл исходный метод во всех четырёх проверенных сочетаниях моделей и бенчмарков, хотя расход токенов был выше.
Практическая идея: при автоматической настройке агентов стоит сохранять несколько сильных специализаций и подбирать их под задачу.
📄 Исследование: https://arxiv.org/abs/2609.37834
👍9🔥6❤4💘2🤔1
Apache Kafka курс 2026: бесплатный курс по Kafka с нуля до профи на русском
Kafka обучение без воды: каждый модуль состоит из понятной теории, схем, команд, которые можно запустить у себя, типичных ошибок и вопросов для самопроверки. Курс подходит, чтобы выучить Kafka с нуля, подготовиться к собеседованию на backend, data engineer или DevOps-позицию и спроектировать надёжную систему на Kafka в продакшене.
https://github.com/justxor/KAFKAFREECOURSR
Kafka обучение без воды: каждый модуль состоит из понятной теории, схем, команд, которые можно запустить у себя, типичных ошибок и вопросов для самопроверки. Курс подходит, чтобы выучить Kafka с нуля, подготовиться к собеседованию на backend, data engineer или DevOps-позицию и спроектировать надёжную систему на Kafka в продакшене.
https://github.com/justxor/KAFKAFREECOURSR
❤13👍8🥰4😁1
Hugging Face исследовали multi-harness RL: обучение с подкреплением сразу через Claude Code, Codex, OpenCode и Mini-SWE-Agent.
Для этого объединили три проекта:
• OpenEnv записывает обращения к модели, токены и вероятности генерации.
• Harbor запускает одинаковые задачи в контейнерах через разные обвязки.
• TRL использует собранные данные для обучения.
Каждая обвязка сохраняет собственные инструменты, промпты и цикл работы. Модель учится внутри настоящих агентов.
По данным авторов, у LFM2.5-2.6B доля тестовых задач, решённых с первой попытки, выросла с 42,2% до 54,2%. Улучшения появились во всех четырёх обвязках. На задачах, которые решили обе версии модели, обученная использовала на 31% меньше вызовов инструментов.
Эксперимент ограничен одним семейством задач, но показывает перспективный подход: адаптацию к разным обвязкам можно закладывать прямо в обучение.
📖 Руководство: https://huggingface.co/spaces/FineEnvs/multi-harness-rl
Для этого объединили три проекта:
• OpenEnv записывает обращения к модели, токены и вероятности генерации.
• Harbor запускает одинаковые задачи в контейнерах через разные обвязки.
• TRL использует собранные данные для обучения.
Каждая обвязка сохраняет собственные инструменты, промпты и цикл работы. Модель учится внутри настоящих агентов.
По данным авторов, у LFM2.5-2.6B доля тестовых задач, решённых с первой попытки, выросла с 42,2% до 54,2%. Улучшения появились во всех четырёх обвязках. На задачах, которые решили обе версии модели, обученная использовала на 31% меньше вызовов инструментов.
Эксперимент ограничен одним семейством задач, но показывает перспективный подход: адаптацию к разным обвязкам можно закладывать прямо в обучение.
📖 Руководство: https://huggingface.co/spaces/FineEnvs/multi-harness-rl
🔥8❤7⚡3👍1
🧮 Математика для ИИ на русском: от школьной базы до трансформеров и диффузии
Бесплатный курс-шпаргалка на GitHub, который связывает формулы с их применением в ML: интуиция → формула → иллюстрация → код на NumPy → задачи.
Внутри:
• Линейная алгебра, производные, вероятности и статистика.
• Backpropagation, оптимизаторы, функции потерь и attention.
• Генеративные модели, обучение с подкреплением, RAG и рекомендации.
Для практики: 26 Jupyter-ноутбуков с запуском в Colab, 60 задач с решениями и 160 вопросов с собеседований. Есть карточки Anki и глоссарий RU ↔ EN.
Если математика забылась, предусмотрен отдельный справочник с нуля: от дробей и процентов до интегралов и матриц.
https://github.com/justxor/math-for-ai-2026
Бесплатный курс-шпаргалка на GitHub, который связывает формулы с их применением в ML: интуиция → формула → иллюстрация → код на NumPy → задачи.
Внутри:
• Линейная алгебра, производные, вероятности и статистика.
• Backpropagation, оптимизаторы, функции потерь и attention.
• Генеративные модели, обучение с подкреплением, RAG и рекомендации.
Для практики: 26 Jupyter-ноутбуков с запуском в Colab, 60 задач с решениями и 160 вопросов с собеседований. Есть карточки Anki и глоссарий RU ↔ EN.
Если математика забылась, предусмотрен отдельный справочник с нуля: от дробей и процентов до интегралов и матриц.
https://github.com/justxor/math-for-ai-2026
👍17❤15🔥6😁4
🌍 Google Earth AI помогает прогнозировать вспышки заболеваний по данным о местности
Модель PDFM объединяет агрегированные поисковые тренды, перемещения людей, инфраструктуру, погоду и качество воздуха в цифровой «отпечаток» территории.
Эти данные можно добавить в существующие эпидемиологические модели без отдельного дообучения PDFM под каждую задачу.
Google представила пять исследований с партнёрами. Среди результатов:
• Денге в Мексике: прогноз на месяц вперёд улучшился в до 72% муниципалитетов с активной передачей инфекции.
• Холера в ДР Конго: точность выбора пяти наиболее опасных зон на восемь недель вперёд выросла примерно на 18%.
• Вакцинация против кори, паротита и краснухи: учёт связей между США и Канадой помог точнее оценивать охват прививками в приграничных районах.
Практическая цель: раньше понимать, куда направлять медицинские ресурсы, особенно когда официальная статистика запаздывает.
Датасет доступен коммерчески в Preview. Для некоторых исследовательских задач можно запросить бесплатный доступ.
https://research.google/blog/earth-ais-planetary-geospatial-foundation-models-for-global-public-health/
Модель PDFM объединяет агрегированные поисковые тренды, перемещения людей, инфраструктуру, погоду и качество воздуха в цифровой «отпечаток» территории.
Эти данные можно добавить в существующие эпидемиологические модели без отдельного дообучения PDFM под каждую задачу.
Google представила пять исследований с партнёрами. Среди результатов:
• Денге в Мексике: прогноз на месяц вперёд улучшился в до 72% муниципалитетов с активной передачей инфекции.
• Холера в ДР Конго: точность выбора пяти наиболее опасных зон на восемь недель вперёд выросла примерно на 18%.
• Вакцинация против кори, паротита и краснухи: учёт связей между США и Канадой помог точнее оценивать охват прививками в приграничных районах.
Практическая цель: раньше понимать, куда направлять медицинские ресурсы, особенно когда официальная статистика запаздывает.
Датасет доступен коммерчески в Preview. Для некоторых исследовательских задач можно запросить бесплатный доступ.
https://research.google/blog/earth-ais-planetary-geospatial-foundation-models-for-global-public-health/
❤9🔥8👍7
Как мы перешли от CatBoost к нейросетям в рекомендациях Авито
Рекомендации на главной дают Авито половину просмотров объявлений и около 30% контактов покупателей с продавцами. С 2020 года их ранжировал CatBoost, но со временем он упёрся в потолок: даже кратно больше данных уже не давало прироста качества.
Мы перешли на нейросетевое ранжирование, и вот что получилось:
🚀 +4,3% пользователей с контактами из рекомендаций
🤝 +0,8% пользователей, совершивших сделку, по всему Авито
Техлид команды рекомендаций Ярослав Хныков рассказал на Хабре, какие решения сработали.
Больше про DS в Авито пишем в канале «Доска AI-объявлений».
Рекомендации на главной дают Авито половину просмотров объявлений и около 30% контактов покупателей с продавцами. С 2020 года их ранжировал CatBoost, но со временем он упёрся в потолок: даже кратно больше данных уже не давало прироста качества.
Мы перешли на нейросетевое ранжирование, и вот что получилось:
Техлид команды рекомендаций Ярослав Хныков рассказал на Хабре, какие решения сработали.
Больше про DS в Авито пишем в канале «Доска AI-объявлений».
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7😁7❤5🌭4⚡2
⚡ Liquid AI открыла веса двух моделей, которые принимают решения без генерации текста.
d1 получает данные и варианты ответа, затем за один проход возвращает выбор, оценку или вероятность «да». Подходит для маршрутизации запросов, модерации, классификации и проверки действий агентов.
• d1-3B работает с текстом и изображениями.
• d1-omni-600M поддерживает текст с изображениями или аудио. Это экспериментальная модель на 587 млн параметров.
По замерам Liquid AI, d1-3B отвечает на один вопрос за 8 мс на RTX 4090 и 50 мс на Jetson Orin Nano. Длинный контекст увеличивает задержку. Заявлена поддержка локального запуска через llama.cpp.
Практический смысл: для выбора категории или следующего действия больше не обязательно генерировать ответ и разбирать JSON.
https://www.liquid.ai/blog/d1-open
https://huggingface.co/LiquidAI/d1-3B
https://huggingface.co/LiquidAI/d1-omni-600M
d1 получает данные и варианты ответа, затем за один проход возвращает выбор, оценку или вероятность «да». Подходит для маршрутизации запросов, модерации, классификации и проверки действий агентов.
• d1-3B работает с текстом и изображениями.
• d1-omni-600M поддерживает текст с изображениями или аудио. Это экспериментальная модель на 587 млн параметров.
По замерам Liquid AI, d1-3B отвечает на один вопрос за 8 мс на RTX 4090 и 50 мс на Jetson Orin Nano. Длинный контекст увеличивает задержку. Заявлена поддержка локального запуска через llama.cpp.
Практический смысл: для выбора категории или следующего действия больше не обязательно генерировать ответ и разбирать JSON.
https://www.liquid.ai/blog/d1-open
https://huggingface.co/LiquidAI/d1-3B
https://huggingface.co/LiquidAI/d1-omni-600M
🔥22❤5🥰4🦄1
Извлечь текст из PDF мало. LightOnOCR-3 достаёт ещё и данные из графиков 📄
LightOn выпустила семейство открытых моделей для обработки документов. За один проход они:
• распознают печатный и рукописный текст;
• сохраняют структуру страницы и координаты блоков;
• описывают изображения;
• превращают данные с графиков в таблицы.
Доступны три размера: 0,8B, 1B и 4B. Лицензия Apache 2.0 позволяет адаптировать модели и разворачивать их на своей инфраструктуре.
По тестам разработчиков, версия 4B набирает 86,3 на olmOCR-Bench, опережая Chandra 2, Mistral OCR 4.1 и dots.mocr. На ParseBench версии 4B и 0,8B занимают первые два места среди моделей в опубликованном сравнении.
Полезный инструмент для подготовки отчётов, сканов и технической документации к поиску, аналитике и RAG.
https://huggingface.co/blog/lightonai/lightonocr-3
LightOn выпустила семейство открытых моделей для обработки документов. За один проход они:
• распознают печатный и рукописный текст;
• сохраняют структуру страницы и координаты блоков;
• описывают изображения;
• превращают данные с графиков в таблицы.
Доступны три размера: 0,8B, 1B и 4B. Лицензия Apache 2.0 позволяет адаптировать модели и разворачивать их на своей инфраструктуре.
По тестам разработчиков, версия 4B набирает 86,3 на olmOCR-Bench, опережая Chandra 2, Mistral OCR 4.1 и dots.mocr. На ParseBench версии 4B и 0,8B занимают первые два места среди моделей в опубликованном сравнении.
Полезный инструмент для подготовки отчётов, сканов и технической документации к поиску, аналитике и RAG.
https://huggingface.co/blog/lightonai/lightonocr-3
🔥15👏7❤4🤔1
🧠 ИИ, который сразу выбирает ответ
K2-Type-0.9B от IFM получает контекст в виде текста или JSON, вопросы и варианты ответа. За один проход возвращает вероятности, без генерации текста.
Три режима:
• да / нет;
• выбор из заданных вариантов;
• оценка по шкале.
Можно представить такой компонент внутри агента: определить категорию обращения, выбрать инструмент или оценить приоритет задачи.
По замерам авторов, на публичной части JevBench модель решила 176 из 231 задания, около 76%. Медианная задержка на H200 составила 27 мс. Веса доступны под Apache 2.0.
Есть важное ограничение: модель выбирает только из предложенных ответов. Если нужен вариант «ничего не подходит», его придётся добавить самостоятельно. Многошаговые вычисления тоже остаются слабым местом.
https://huggingface.co/spaces/IFM/k2-type-0-9b
K2-Type-0.9B от IFM получает контекст в виде текста или JSON, вопросы и варианты ответа. За один проход возвращает вероятности, без генерации текста.
Три режима:
• да / нет;
• выбор из заданных вариантов;
• оценка по шкале.
Можно представить такой компонент внутри агента: определить категорию обращения, выбрать инструмент или оценить приоритет задачи.
По замерам авторов, на публичной части JevBench модель решила 176 из 231 задания, около 76%. Медианная задержка на H200 составила 27 мс. Веса доступны под Apache 2.0.
Есть важное ограничение: модель выбирает только из предложенных ответов. Если нужен вариант «ничего не подходит», его придётся добавить самостоятельно. Многошаговые вычисления тоже остаются слабым местом.
https://huggingface.co/spaces/IFM/k2-type-0-9b
👍7😁7❤4
🧠 Если ИИ доказал теорему, но никто не понял новую идею, сколько выиграла математика?
Теренс Тао опубликовал 27 слайдов «Math 2.0». Его тезис: мы входим в эпоху изобилия доказательств, а научные стимулы всё ещё настроены на их дефицит.
Раньше решение сложной задачи обычно приносило новые методы и понимание. Теперь ИИ всё чаще позволяет получить результат без специальной экспертизы пользователя. Считать только решённые задачи становится плохой мерой прогресса.
Тао сравнивает открытые проблемы с маяками: исследование путей к ним может дать больше, чем само достижение цели.
И напоминает об ошибке выжившего: в соцсетях видны успехи ИИ, а не все провалы и затраченные вычисления. Большинство задач на переднем крае математики по-прежнему не решено.
Его «Math 2.0» предполагает другой фокус: понятные доказательства, новые принципы, связи между работами и исследование границ применимости теорем. ИИ должен усиливать человеческое понимание.
https://terrytao.wordpress.com/2026/10/10/math-2-0/
@machinelearning_interview
Теренс Тао опубликовал 27 слайдов «Math 2.0». Его тезис: мы входим в эпоху изобилия доказательств, а научные стимулы всё ещё настроены на их дефицит.
Раньше решение сложной задачи обычно приносило новые методы и понимание. Теперь ИИ всё чаще позволяет получить результат без специальной экспертизы пользователя. Считать только решённые задачи становится плохой мерой прогресса.
Тао сравнивает открытые проблемы с маяками: исследование путей к ним может дать больше, чем само достижение цели.
И напоминает об ошибке выжившего: в соцсетях видны успехи ИИ, а не все провалы и затраченные вычисления. Большинство задач на переднем крае математики по-прежнему не решено.
Его «Math 2.0» предполагает другой фокус: понятные доказательства, новые принципы, связи между работами и исследование границ применимости теорем. ИИ должен усиливать человеческое понимание.
https://terrytao.wordpress.com/2026/10/10/math-2-0/
@machinelearning_interview
❤20👍13🔥4🍓2👏1🎉1💯1😘1
This media is not supported in your browser
VIEW IN TELEGRAM
⚡ Для решения «куда отправить запрос» не всегда нужна модель, которая пишет целый ответ.
Decision 3.0 от команды vLLM Semantic Router: семейство открытых моделей размером от 0,6B до 27B, работающих с текстом, изображениями и видео.
На входе задаёте контекст и вопросы. На выходе получаете:
• выбор из предложенных вариантов;
• ответ «да / нет»;
• оценку по заданной шкале;
• вероятности вариантов.
Без генерации текста. Например, можно определить отдел для обращения, проверить наличие товара на приложенном чеке и оценить срочность.
По внутренней оценке команды, старшая d3 занимает первое место в их сравнении на текстовом и визуальном Jev Decision Index 0.3.1. Заявленная медианная задержка: 55 мс для текста и 273 мс с изображением на AMD MI325X.
Лицензия Apache 2.0. Любопытный вариант для маршрутизации, классификации и узких решений внутри агентных систем.
https://huggingface.co/vllm-sr/d3
Decision 3.0 от команды vLLM Semantic Router: семейство открытых моделей размером от 0,6B до 27B, работающих с текстом, изображениями и видео.
На входе задаёте контекст и вопросы. На выходе получаете:
• выбор из предложенных вариантов;
• ответ «да / нет»;
• оценку по заданной шкале;
• вероятности вариантов.
Без генерации текста. Например, можно определить отдел для обращения, проверить наличие товара на приложенном чеке и оценить срочность.
По внутренней оценке команды, старшая d3 занимает первое место в их сравнении на текстовом и визуальном Jev Decision Index 0.3.1. Заявленная медианная задержка: 55 мс для текста и 273 мс с изображением на AMD MI325X.
Лицензия Apache 2.0. Любопытный вариант для маршрутизации, классификации и узких решений внутри агентных систем.
https://huggingface.co/vllm-sr/d3
👍14❤7😁3🥰2
JEV-35B: быстрая decision-модель на базе Qwen3.5, активирует всего 3B параметров из 35B
AutoTrust Labs выпустила JEV-35B, модель для быстрых решений в духе System 1. Она построена на Qwen3.5-35B-A3B и за счёт MoE-архитектуры активирует на токен лишь около 3B из своих 35B параметров. Лицензия Apache 2.0.
Главная идея в том, чтобы не гонять полноценное рассуждение там, где нужно просто быстро выбрать лучший вариант. За один проход модель сравнивает до 256 текстовых или графических опций и возвращает откалиброванные вероятности. Медианная задержка одиночного запроса в их тестах около 204 мс.
По метрикам JEV-35B обходит прошлую JEV-27B-VL на публичном наборе Decision Index, сохраняя при этом конкурентное качество на визуальных решениях.
Отдельно порадует возможность запустить локально. Версия в NVFP4 весит всего 25,6 ГБ и занимает под веса около 23 ГиБ, так что помещается на одну видеокарту на 32-48 ГБ. При этом квантизация сохраняет 96,6% решений исходной BF16-модели почти без потерь по скорости и с небольшой просадкой на бенчмарках.
Запускается через приложенный скрипт для vLLM. Эндпоинт /v1/decide отвечает за быстрые решения System 1, а OpenAI-совместимые эндпоинты за более медленное рассуждение System 2.
🤖 https://modelscope.ai/collections/AutoTrust-Labs/JEV-35B
AutoTrust Labs выпустила JEV-35B, модель для быстрых решений в духе System 1. Она построена на Qwen3.5-35B-A3B и за счёт MoE-архитектуры активирует на токен лишь около 3B из своих 35B параметров. Лицензия Apache 2.0.
Главная идея в том, чтобы не гонять полноценное рассуждение там, где нужно просто быстро выбрать лучший вариант. За один проход модель сравнивает до 256 текстовых или графических опций и возвращает откалиброванные вероятности. Медианная задержка одиночного запроса в их тестах около 204 мс.
По метрикам JEV-35B обходит прошлую JEV-27B-VL на публичном наборе Decision Index, сохраняя при этом конкурентное качество на визуальных решениях.
Отдельно порадует возможность запустить локально. Версия в NVFP4 весит всего 25,6 ГБ и занимает под веса около 23 ГиБ, так что помещается на одну видеокарту на 32-48 ГБ. При этом квантизация сохраняет 96,6% решений исходной BF16-модели почти без потерь по скорости и с небольшой просадкой на бенчмарках.
Запускается через приложенный скрипт для vLLM. Эндпоинт /v1/decide отвечает за быстрые решения System 1, а OpenAI-совместимые эндпоинты за более медленное рассуждение System 2.
🤖 https://modelscope.ai/collections/AutoTrust-Labs/JEV-35B
🔥12❤6🗿5👍4
Python 3.15 вышел: 5 фич для работы с данными, с примерами и замерами
Python 3.15 релизнулся 9 октября. Khuyen Tran из CodeCut выбрала пять изменений, которые больше всего пригодятся в работе с данными, и для каждого показала старый и новый способ с реальными цифрами. Собрали.
1. Ленивые импорты (PEP 810)
Тяжёлый пакет можно пометить словом lazy, и тогда он подгрузится только при первом обращении, а не на старте скрипта.
Замер скрипта, который импортирует pandas, но не использует его (медиана из 20 запусков):
2. Встроенный frozendict (PEP 814)
Неизменяемый словарь. Удобно для общего конфига: функция уже не сможет его втихую перезаписать.
Изменённую копию делаем через |:
3. Распаковка внутри comprehension (PEP 798)
Звёздочку и двойную звёздочку теперь можно использовать прямо в выражениях.
4. Профайлер Tachyon
Сэмплирующий профайлер смотрит, какая функция выполняется, примерно раз в миллисекунду, и умеет подключаться к уже запущенному процессу, чего cProfile не умеет.
На пайплайне с данными такси накладные расходы минимальны:
5. Понятные сообщения об ошибках
При опечатке в имени атрибута или метода Python теперь подсказывает, что ты, вероятно, имел в виду.
Python 3.15 релизнулся 9 октября. Khuyen Tran из CodeCut выбрала пять изменений, которые больше всего пригодятся в работе с данными, и для каждого показала старый и новый способ с реальными цифрами. Собрали.
1. Ленивые импорты (PEP 810)
Тяжёлый пакет можно пометить словом lazy, и тогда он подгрузится только при первом обращении, а не на старте скрипта.
# было: pandas грузится сразу, даже если не используется
import pandas as pd
print("hello")
# стало: ничего не грузится, пока pd реально не понадобился
lazy import pandas as pd
print("hello")
df = pd.read_parquet("taxi.parquet") # вот тут pandas и загрузится
Замер скрипта, который импортирует pandas, но не использует его (медиана из 20 запусков):
обычный импорт: 280 ms
lazy: 14 ms (в 20 раз быстрее старта)
2. Встроенный frozendict (PEP 814)
Неизменяемый словарь. Удобно для общего конфига: функция уже не сможет его втихую перезаписать.
# было: обычный dict любая функция может поменять
config = {"min_fare": 0, "max_fare": 500}
def drop_outliers(cfg):
cfg["max_fare"] = 1000 # задумано как локальная правка
drop_outliers(config)
# config теперь {'min_fare': 0, 'max_fare': 1000}, подменился молча
# стало:
config = frozendict(min_fare=0, max_fare=500)
config["max_fare"] = 1000
# TypeError: 'frozendict' object does not support item assignment
Изменённую копию делаем через |:
strict = config | {"max_fare": 300}
# original: frozendict({'min_fare': 0, 'max_fare': 500})
# new: frozendict({'min_fare': 0, 'max_fare': 300})
3. Распаковка внутри comprehension (PEP 798)
Звёздочку и двойную звёздочку теперь можно использовать прямо в выражениях.
column_groups = [["fare", "tip"], ["distance"], ["passengers", "payment"]]
# было: двойной for
[column for group in column_groups for column in group]
# стало:
[*group for group in column_groups]
# ['fare', 'tip', 'distance', 'passengers', 'payment']
# слияние словарей, последний перекрывает ключи
layers = [{"min_fare": 0, "max_fare": 500}, {"max_fare": 300}]
{**layer for layer in layers}
# {'min_fare': 0, 'max_fare': 300}
4. Профайлер Tachyon
Сэмплирующий профайлер смотрит, какая функция выполняется, примерно раз в миллисекунду, и умеет подключаться к уже запущенному процессу, чего cProfile не умеет.
# запуск с сортировкой и топ-9 строк
python -m profiling.sampling run --sort cumtime -l 9 pipeline.py
# подключение к работающей задаче на 5 секунд
python -m profiling.sampling attach -d 5 <PID>
На пайплайне с данными такси накладные расходы минимальны:
python pipeline.py ~4.9 s без профайлера
profiling.sampling run pipeline.py ~5.1 s Tachyon: +4%
python -m cProfile pipeline.py ~16.7 s cProfile: в 3.4 раза медленнее
5. Понятные сообщения об ошибках
При опечатке в имени атрибута или метода Python теперь подсказывает, что ты, вероятно, имел в виду.
exp.shape
# было: AttributeError: 'Experiment' object has no attribute 'shape'
# стало: ...has no attribute 'shape'. Did you mean '.data.shape' instead of '.shape'?
["fare", "tip"].push("distance")
# было: 'list' object has no attribute 'push'
# стало: 'list' object has no attribute 'push'. Did you mean '.append'?
🔥35❤7👍3🌚2
🕸 Как масштабировать GNN для рекомендательных систем
Исследователи AI VK масштабировали графовую нейросеть (GNN) для рекомендаций друзей на социальный граф из 194 млн пользователей и 28 млрд связей. Результаты работы представлены в статье, принятой на конференцию CIKM 2026.
В отличие от рекомендаций контента, где модели могут анализировать текст, изображения и видео, в рекомендациях друзей ключевую роль играют связи между пользователями. GNN учитывают социальное окружение человека и помогают предсказывать новые знакомства.
Главная сложность — масштабирование на сотни миллионов пользователей. Для этого исследователи предложили два решения:
• Multi-hash embeddings. Вместо отдельного вектора для каждого пользователя используются общие таблицы эмбеддингов и несколько хеш-функций. Это позволило сократить потребление видеопамяти с 203 до 2 ГБ — более чем в 100 раз.
• Temporal neighbor sampling. Модель учитывает только связи, существовавшие на момент рекомендации, и не использует информацию из будущего. Оптимизация ускорила семплирование данных для обучения в 2,5 раза.
📈 Результаты A/B-теста:
• +16% добавлений в друзья из рекомендаций.
• +11,5% пользователей, добавивших хотя бы одного рекомендованного друга.
• Без ухудшения задержек онлайн-ранкера.
Практический вывод: графовые нейросети можно эффективно применять даже на социальных графах с десятками миллиардов связей, не увеличивая требования к памяти и скорости онлайн-рекомендаций.
📄 Исследование: Scaling Graph Neural Networks for Friend Recommendation: Multi-Hash User Embeddings and Temporal Neighbor Sampling (CIKM 2026).
Исследователи AI VK масштабировали графовую нейросеть (GNN) для рекомендаций друзей на социальный граф из 194 млн пользователей и 28 млрд связей. Результаты работы представлены в статье, принятой на конференцию CIKM 2026.
В отличие от рекомендаций контента, где модели могут анализировать текст, изображения и видео, в рекомендациях друзей ключевую роль играют связи между пользователями. GNN учитывают социальное окружение человека и помогают предсказывать новые знакомства.
Главная сложность — масштабирование на сотни миллионов пользователей. Для этого исследователи предложили два решения:
• Multi-hash embeddings. Вместо отдельного вектора для каждого пользователя используются общие таблицы эмбеддингов и несколько хеш-функций. Это позволило сократить потребление видеопамяти с 203 до 2 ГБ — более чем в 100 раз.
• Temporal neighbor sampling. Модель учитывает только связи, существовавшие на момент рекомендации, и не использует информацию из будущего. Оптимизация ускорила семплирование данных для обучения в 2,5 раза.
📈 Результаты A/B-теста:
• +16% добавлений в друзья из рекомендаций.
• +11,5% пользователей, добавивших хотя бы одного рекомендованного друга.
• Без ухудшения задержек онлайн-ранкера.
Практический вывод: графовые нейросети можно эффективно применять даже на социальных графах с десятками миллиардов связей, не увеличивая требования к памяти и скорости онлайн-рекомендаций.
📄 Исследование: Scaling Graph Neural Networks for Friend Recommendation: Multi-Hash User Embeddings and Temporal Neighbor Sampling (CIKM 2026).
👍14🥰5🔥2❤1