Чтобы не гадать, почему упала точность модели, подготовили для вас шпаргалку по мониторингу и борьбе с дрейфом данных.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🆕 Свежие новости для дата‑сайентистов

Lockdown Mode в ChatGPT
OpenAI добавили режим повышенной изоляции для чувствительных сценариев и метки “Elevated Risk” для функций, уязвимых к prompt-injection.

Reverse-engineering GPT-5 tokenizer
Глубокий разбор того, как устроен токенайзер GPT-5 через библиотеку tiktoken.

Qwen3.5 — к «нативным» мультимодальным агентам
397B параметров, из которых активны только 17B за проход — гибрид linear attention + sparse MoE. Поддержка 200+ языков и упор на reasoning + агентику.

ZVEC — лёгкая in-process векторная БД от Alibaba
Открытая, быстрая, без отдельного сервиса. Подходит для ноутбуков, edge и прототипов.

Claude Sonnet 4.6
Anthropic обновили Sonnet: лучше кодинг, планирование и long-context reasoning, плюс 1M токенов контекста (в бете).

Prompt Caching 201
OpenAI подробно разобрали, как повторное использование префиксов снижает latency и стоимость. Практичный материал для тех, кто строит прод-агентов и устал платить за одинаковый system prompt 1000 раз.

От MNIST к Transformer — работа с памятью
Продолжение серии с упором на внутренние механизмы и архитектурные детали.

Хроники ML-инженера на крупнейшем хакатоне
Про гипотезы, быстрые эксперименты и реальность продакшена под давлением дедлайнов.

Трансформер своими руками (Numpy)
Реализация с нуля — отличный способ перестать бояться слов вроде “multi-head attention” и “positional encoding”.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#свежак

🔝 10 самых ценных GitHub-репозиториев для изучения ИИ (2026)

Вот база, которая сделает вас сильнее в AI:

1. microsoft/generative-ai-for-beginners (~105k ⭐)
Полноценный курс от Microsoft по созданию GenAI-приложений. От теории до первых рабочих чат-ботов.

2. rasbt/LLMs-from-scratch (~83k ⭐)
Легендарный репозиторий Себастьяна Рашки. Пишем свою GPT-подобную модель с чистого листа: архитектура, обучение и инференс.

3. microsoft/ai-agents-for-beginners (~49k ⭐)
Курс по созданию ИИ-агентов. Инструменты, память, планирование и сложные рабочие процессы (agentic workflows).

4. microsoft/ML-For-Beginners (~83k ⭐)
Классика машинного обучения: 26 уроков по фундаментальным алгоритмам. Если не знаете, что под капотом у Scikit-Learn — вам сюда.

5. openai/openai-cookbook (~71k ⭐)
Официальные рецепты от OpenAI. Примеры использования API, паттерны промптов и готовые демки для продакшена.

6. jackfrued/Python-100-Days (~177k ⭐)
Интенсивный марафон: 100 дней практики Python. От основ до работы с данными. База, без которой в AI делать нечего.

7. pathwaycom/llm-app (~54k ⭐)
Набор шаблонов для RAG-систем. Как строить пайплайны, которые работают с вашими данными в реальном времени.

8. jakevdp/PythonDataScienceHandbook (~46k ⭐)
Золотой стандарт Data Science. Всё по NumPy, Pandas, Matplotlib и Scikit-Learn в одном месте.

9. CompVis/stable-diffusion (~72k ⭐)
Исходники первой Stable Diffusion. Лучший материал, чтобы понять, как работают диффузионные модели генерации изображений.

10. facebookresearch/segment-anything (~53k ⭐)
Модель SAM. Мастер-класс по сегментации изображений: как ИИ «видит» и выделяет объекты.

Сохраняйте подборку в «Избранное», чтобы не потерять.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

⏳ Интерактивная хронология 171 LLM (2017–2026)

Если вам казалось, что новости про нейросети выходят слишком часто — вам не казалось. Разработчик собрал LLM Timeline — визуальную карту развития технологий от первой статьи про Transformer до новейших GPT-5.3 Codex.

🔗 Залипнуть в историю: https://clc.to/RP3Ppg

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

📚 Полка AI/ML инженера: 13 бесплатных книг на все случаи жизни

Автор репозитория бережно отбирал материалы, которые помогают «подтянуть» теорию, подготовиться к собесу в BigTech или разобраться в архитектуре систем.

Что в коллекции (самое интересное):
🌟 Deep Learning Interviews: 400+ вопросов и ответов по CNN, трансформерам и системному дизайну.
🌟 Machine Learning Systems: Свежий гайд от Гарварда по инженерии ML-систем — от распределенного обучения до оптимизации моделей уровня AGI.
🌟 The Matrix Cookbook: Легендарный справочник-шпаргалка по матричным вычислениям и производным.
🌟 OpenAI Guide to Building Practical Agents: Паттерны проектирования и «хитрости» для создания реальных ИИ-агентов.
🌟 Fine-tuning Guide: Исчерпывающий обзор технологий и лучших практик дообучения LLM.
🌟 Math for ML: Линейная алгебра, матанализ и тервер «на пальцах» специально для практиков.

🔗 Забрать библиотеку себе: https://clc.to/qpt1Rg

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🏗 Metaxy: как перестать пересчитывать лишнее в ML-пайплайнах

В обычном Data Engineering всё просто: обновился файл — пересчитываем весь граф. Но в мультимодальном ML (видео + аудио + текст) такой подход — это прямой путь к сжиганию бюджета на облака.

Metaxy — это умный слой метаданных, который понимает внутреннюю структуру данных и умеет «отсекать» ненужные вычисления.

Данные (видео, картинки) лежат в S3, а Metaxy хранит их «цифровые следы»: версии, пути и связи. Но главное — он знает, какая часть файла нужна конкретной модели.

Кейс из жизни:
У вас есть пайплайн распознавания лиц. На вход идет видеофайл. Вы решили заменить в нем аудиодорожку на более качественную.

❌ Обычный пайплайн: увидит изменение файла и заново запустит тяжелую модель распознавания лиц.
✅ Metaxy: «поймет», что блок Face Recognition зависит только от видеокадров. Раз кадры не менялись — вычисления просто пропускаются (pruning).

🔗 Репозиторий проекта: https://clc.to/Jwgv2g

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

💻 Узнай, какие LLM «взлетят» на твоем железе

Проблема локального запуска ИИ всегда одна: скачиваешь 50 ГБ весов, а в итоге получаешь 0.2 токена в секунду или ошибку Out of Memory. Этот инструмент решает проблему одной командой.

Что умеет тулза:
✔️Автодетект железа: Мгновенно сканирует вашу RAM, VRAM (включая Multi-GPU), CPU и архитектуру.
✔️Анализ 200+ моделей: Сверяет ваши ресурсы с базой данных из 206 моделей от 57 провайдеров.
✔️Умный скоринг: Каждая модель получает оценку по 4 параметрам.
✔️Динамическое квантование: Инструмент сам подскажет, в каком сжатии (Q4, Q8, IQ4_XS) модель лучше всего сбалансирует скорость и качество.

🔗 Попробовать: https://clc.to/U7aQyw

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

👨‍💻 Шпаргалка: как выкатывать ML-модели в продакшен и не поседеть

Обучить модель на исторических данных — это только полдела. Настоящий вызов начинается, когда её нужно выпустить к реальным пользователям. Вот 4 проверенных сценария, как это сделать безопасно:

♾ A/B Тестирование (A/B Testing)

Стандарт индустрии. Мы делим пользователей на две группы: контрольную (старая модель) и тестовую (новая).

Суть: Сравниваем бизнес-метрики (конверсию, CTR, выручку) между группами.
Когда использовать: Когда нужно четкое статистическое подтверждение, что новая модель действительно лучше старой.

♾ Канареечный релиз (Canary Deployment)

Выкатываем новую модель не на всех сразу, а на маленькую долю трафика или конкретный регион.

Суть: Если за час мониторинга мы не увидели всплеска ошибок или падения метрик, постепенно увеличиваем долю трафика (5% -> 20% -> 100%).
Когда использовать: Когда важно минимизировать «радиус поражения» в случае критического бага.

♾ Перемешанное тестирование (Interleaved Testing)

Часто применяется в ранжировании и поиске. Вместо того чтобы делить пользователей, мы смешиваем ответы от двух моделей в один список.

Суть: Мы смотрим, на какие позиции в выдаче пользователь кликает чаще. Это позволяет быстрее получить статистически значимый результат, чем в обычном A/B тесте.
Когда использовать: В рекомендательных системах, где нужно быстро отсеять неудачные гипотезы.

♾ Теневое тестирование (Shadow Testing)

Самый спокойный вариант. Новая модель работает параллельно со старой, получает те же запросы, но её ответы никуда не уходят — они просто пишутся в логи.

Суть: Мы проверяем, как модель держит нагрузку и какие предсказания выдает на живом трафике, вообще не влияя на пользовательский опыт.
Когда использовать: Перед первым серьезным релизом, чтобы убедиться в стабильности инфраструктуры.

📍 Навигация: Вакансии • Задачи • Собесы

Библиотека дата-сайентиста

#буст

🆕 Свежие новости для дата‑сайентистов

🧠 Agentic reasoning: 3 уровня автономности LLM
Команда из University of Illinois Urbana-Champaign, Meta, Amazon и Google DeepMind предлагает смотреть на LLM не как на «умный чат», а как на полноценного агента — с памятью, планированием и координацией. Фреймворк из трёх слоёв (base → self-evolving → collective) выглядит как попытка систематизировать весь хайп вокруг AI-агентов и сделать его инженерно управляемым.

🚨 Anthropic и массовая дистилляция Claude
Anthropic заявила, что DeepSeek, Moonshot AI и MiniMax через десятки тысяч фейковых аккаунтов собрали ~16 млн ответов Claude, чтобы воспроизвести его агентные способности.

⏳ 25 часов автономного кодинга от OpenAI
OpenAI провела стресс-тест: GPT-5.3-Codex получил пустой репозиторий и 25 часов времени. Итог — полноценный инструмент, 30k строк кода и 13 млн токенов.

💻 FDM-1 — универсальная модель для работы за компьютером
FDM-1 обучили на 11 млн часов видео, чтобы она могла выполнять реальные компьютерные задачи — от CAD до навигации в GUI. Интересно, что акцент сделан на масштабируемость и отказ от дорогой разметки.

🔥 Qwen3.5-35B-A3B
Новая версия Qwen от Alibaba Cloud усиливает позиции open-weight моделей в среднем размере (30–40B). Мультимодальность, RL-скейл и архитектурные улучшения — китайские модели продолжают стабильно сокращать разрыв с западными лидерами.

⚡ MIT про ускорение обучения LLM
Исследователи из MIT предлагают использовать idle-время вычислений, чтобы почти вдвое ускорить обучение без потери качества. На фоне дефицита GPU такие инженерные оптимизации могут оказаться не менее важными, чем новые архитектуры.

🍌 Nano Banana 2 от Google
Google обновила свою image-модель: больше скорости, больше контроля, уровень Pro в компактном формате. Сегмент «быстро и качественно» в генерации изображений становится всё плотнее.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#свежак

🍳AI Cookbook: локальный ИИ правильно

Если вы проспали последние полгода, Liquid AI — это те ребята, которые делают нейронки на альтернативной архитектуре (LFM), забивая на классические трансформеры ради безумной эффективности.

Их свежий Cookbook на GitHub — это не просто доки, а готовый набор хаков для тех, кто хочет запустить серьезный ИИ на «калькуляторе».

Разбираем репозиторий:
🔛 Примеры того, как запустить LFM 2.5 (включая "думающие" модели) прямо в браузере через WebGPU. Никаких API-ключей и облаков, всё шуршит на твоем GPU.

🔛 Готовые проекты для iOS (Swift) и Android (Kotlin). Хочешь свой локальный ChatGPT, который не сливает переписку? Бери за основу их LeapChat.

🔛 Обработка аудио в реальном времени (LFM2-Audio) и разбор инвойсов по фото (LFM2-VL) на моделях смешного размера (от 1.2B до 3B параметров), которые выдают результат уровня гигантов.

🔛Ноутбуки для дообучения через Unsloth и GRPO (привет, OpenAI o1 стиль рассуждений). Можно быстро натаскать модель под специфический домен.

🔗 Заглянуть в репозиторий: https://clc.to/1BVkhw

📍 Навигация: Вакансии • Задачи • Собесы

Библиотека дата-сайентиста

#буст

👀 Интерактивный 3D-разбор LLM

Cамый наглядный способ понять устройство больших языковых моделей (LLM) через глубокую 3D-визуализацию.

🔗 Попробовать: https://clc.to/kmCVsw

📍 Навигация: Вакансии • Задачи • Собесы

Библиотека дата-сайентиста

#буст

🏛️ MIT выложил свою AI-библиотеку бесплатно

Это не просто статьи — это база, на которой построены OpenAI, Google DeepMind и Anthropic. Если вы хотели серьезно зайти в ИИ, это ваш знак.

🧭 Навигация по библиотеке:

1. Фундамент (Для старта):

Foundations of Machine Learning — база алгоритмов.
Understanding Deep Learning — самый наглядный современный учебник. Если пугает математика, начинайте здесь.
Algorithms for ML — как устроены «внутренности» моделей.

2. Глубокое обучение (Deep Learning):

Deep Learning — легендарная «библия» DL. По ней училось всё нынешнее поколение топ-инженеров.
Probabilistic ML — всё о том, как заставить ИИ работать с неопределенностью.

3. Обучение с подкреплением (RL) — разум машин:

RL Basics — абсолютный стандарт. Без этой книги в RL делать нечего.
Multi-Agent Systems — как обучать целые группы агентов взаимодействовать друг с другом.

4. Этика и будущее:

Fairness in ML — как избежать предвзятости и сделать ИИ справедливым.

📌 Чтобы не потерять вакансии и анонсы — добавь папку

🐸 Библиотека дата-сайентиста

#буст

🛠 Git Submodules: как не плодить копипасту в ML-проектах

Представьте: у вас три команды (Fraud Detection, Credit Scoring и Trading). Всем им нужна одна и та же функция calculate_risk_score().

Обычно это превращается в кошмар:
1. Команды копируют код себе.
2. Одна команда находит баг и исправляет его.
3. Остальные два проекта остаются с багами, потому что даже не знают об исправлении.

Итог: «расползание» версий (version drift) и ошибки в продакшене.

✅ Решение: Git Submodules

Это способ вставить одну Git-репозиторий внутрь другого как подпапку. Вы не копируете код, а ссылаетесь на конкретный коммит в общем репозитории библиотек.

🚀 Шпаргалка по командам

1. Добавить общую библиотеку в проект:

git submodule add https://github.com/user/ml-utils.git ml-utils

Это создаст папку ml-utils/ и файл .gitmodules, где прописана ссылка на репозиторий.

2. Клонировать проект со всеми зависимостями:

Если вы просто сделаете git clone, папка с сабмодулем будет пустой. Нужно так:

git clone --recurse-submodules https://github.com/user/main-project.git

3. Обновить общие утилиты до последней версии:

git submodule update --remote ml-utils
git add ml-utils
git commit -m "Update shared ML utils"

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст