🐸 Библиотека дата-сайентиста

#развлекалово

🆕 Свежие новости для дата‑сайентистов

OpenAI выложила код и веса по sparsity-подходу
OpenAI продолжает ломать привычный пайплайн «сначала жирно, потом обрезаем» — теперь разреженность закладывается прямо в обучение. Самое любопытное: после жёсткого прунинга остаются маленькие, почти читаемые схемы, которые всё ещё работают. Похоже, мы всё ближе к моменту, когда «понять модель» станет не просто красивой метафорой.

NVIDIA выпускает Nemotron 3 — модели для многоагентных систем
Это не очередной чат-бот, а инфраструктура под агентные системы на масштабе. NVIDIA явно делает ставку на будущее, где один LLM — это мало, а вот десяток координирующихся агентов — норма.

Google анонсировала Gemini 3 Flash
Быстро, дёшево и почти как большой — классическая формула Flash. Google явно показывает, что «быстрее и дешевле» теперь важнее, чем «на 2% лучше в бенчмарке». Отличный кандидат для продакшена, где latency важнее эго.

OpenAI представила GPT-Image-1.5
Генерация картинок стала в 4 раза быстрее и заметно лучше управляется при редактировании. Модель тихо заменяет предыдущую версию — без революций, но с ощущением, что image-stack наконец-то взрослеет и перестаёт быть игрушкой.

В ChatGPT появился App Store
Теперь прямо из чата можно заказывать еду, собирать презентации и дергать сторонние сервисы через @. ChatGPT всё меньше «модель» и всё больше «операционная система».

OpenAI выпускает GPT-5.2-Codex
Специализированная версия GPT-5.2 под длинные инженерные задачи: рефакторинги, миграции, сложные пайплайны.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#свежак

📦 Docker & Kubernetes: визуальная шпаргалка

Современные приложения почти всегда живут в контейнерах и работают на кластерах.

Docker решает первую проблему — упаковать приложение со всеми зависимостями и запустить его где угодно: локально, на сервере, в облаке.

Kubernetes решает следующую — как запустить много таких контейнеров, следить, чтобы они не падали, масштабировать их под нагрузкой и обновлять без простоя.

💡 Проще говоря:
Docker — это «собрать и запустить одно приложение в коробке».
Kubernetes — это «надёжно управлять тысячами таких коробок на куче машин».

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

📁 Как LLM выбирают следующее слово: 4 стратегии генерации текста

Когда большая языковая модель генерирует текст, она каждый раз решает одну простую задачу:

какой токен выбрать следующим?

Но способов принять это решение — несколько. На инфографике показаны 4 основные стратегии, вот кратко и по делу:

1️⃣ Жадная стратегия (Greedy)

Самый простой и быстрый вариант. Модель всегда выбирает токен с максимальной вероятностью на текущем шаге (argmax).

✅ Плюсы: быстро, детерминированно
❌ Минусы: часто получается сухо, шаблонно и модель может застревать

2️⃣ Multinomial Sampling (сэмплирование)

Здесь модель не обязана выбирать самый вероятный токен. Она случайно сэмплирует слово из распределения вероятностей (softmax + temperature).

✅ Плюсы: больше разнообразия и креативности
❌ Минусы: может уехать в шум или бессмыслицу при плохих настройках

3️⃣ Beam Search (лучевой поиск)

Модель думает не только о следующем слове, а о всей последовательности целиком. Она параллельно держит несколько наиболее вероятных вариантов продолжения (beam width) и выбирает лучший путь.

✅ Плюсы: более связный и логичный текст
❌ Минусы: вычислительно дороже, иногда слишком «осторожный»

4️⃣ Contrastive Search (контрастный поиск)

Добавляет штраф за повторяемость. При выборе следующего токена учитывается не только вероятность, но и насколько он похож на уже сгенерированные слова (косинусное сходство).

✅ Плюсы: меньше зацикливаний, текст выглядит живее
❌ Минусы: сложнее в реализации

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🚛 Итоги 2025 для больших языковых моделей

Очень сильный обзор года от Андрея Карпати.
Про RLVR и «мышление» моделей, рваный интеллект, vibe coding, Cursor, Claude Code и то, почему LLM — это скорее призраки, а не животные.

Если хотите понять, что реально изменилось в LLM за 2025, а не просто посмотреть на бенчмарки — обязательно к прочтению.

🔗 Ссылка на статью

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🐸 Библиотека дата-сайентиста

#развлекалово

💻 OpenTinker — RL-as-a-Service для foundation models

OpenTinker предлагает удобную инфраструктуру для обучения с подкреплением, где код и выполнение жёстко разделены.

Ты пишешь RL-логику на Python, а всё тяжёлое — распределённое обучение, GPU и масштабирование — происходит на стороне сервера.

Фишки:
✔️ не нужны локальные GPU
✔️ обучение и инференс используют один и тот же пайплайн
✔️ окружение и код обучения изолированы друг от друга
✔️ высокоуровневый Python API без боли с distributed-системами

Хороший вариант, если хочется работать с RL поверх foundation models, не превращаясь в DevOps.

📱 Github

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

⌨️ Топ-вакансий для дата-сайентистов за неделю

Data Аналитик — 300 000 - 350 000₽, удалёнка

Anti-Fraud Analyst, удалёнка

Data Engineer (Financial Markets) — от 6 600 до 8 300 $, офис (Дубай)

➡️ Еще больше топовых вакансий — в нашем канале Data jobs

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🔍 Интерактивное исследование LLM изнутри

Инструмент позволяет буквально пошагово разобрать, как модель приходит к ответу:
✔️ выбираешь модель и промпт — запускаешь инференс
✔️ смотришь граф вкладов (contribution graph)
✔️ выбираешь токен, от которого строится граф
✔️ настраиваешь порог значимости вкладов
✔️ смотришь представление любого токена после любого блока

Для каждого представления можно:
➡️ увидеть проекцию в выходной словарь
➡️ понять, какие токены были усилены или подавлены предыдущим блоком

Всё интерактивно:
✔️ кликабельные рёбра → детали attention head
✔️ кликабельные головы → что именно они усиливают/подавляют
✔️ FFN-блоки → нейроны внутри них

📱 Github

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🎉 Вышел Apache Spark 4.1

Релиз получился внушительным — список изменений действительно большой:
👉 https://clc.to/50fxrg

Из основных обновлений и улучшений:
• улучшения в Spark SQL (скрипты, CTE, новые типы данных)
• прокачанный Structured Streaming для real-time сценариев
• Spark Connect стал стабильнее и быстрее
• ускорение Python-UDF через Arrow
• апдейты для Kubernetes и прод-деплоя
• поддержка новых версий Python

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#свежак

📕 Нейросети с нуля на С

Небольшой, но очень наглядный проект: автор шаг за шагом собирает минималистичную tensor-библиотеку на C, объясняя, как работают нейросети на базовом уровне.

Без PyTorch и NumPy — только математика, структуры данных и явные вычисления.

➕ Материал рассчитан на программистов: ML-бэкграунд не обязателен.

📖 Статья и проект: https://clc.to/MQ3OGQ

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🐸 Библиотека дата-сайентиста

#развлекалово

💹 Как устроен Segment Anything Model (SAM)

SAM — одна из самых впечатляющих моделей для сегментации изображений. Внутри она состоит из трёх ключевых частей: image encoder, prompt encoder и mask decoder.

1️⃣ Image Encoder

Изображение 1024×1024 разбивается на патчи 16×16 → всего 4096 патчей. Каждый патч кодируется в вектор размерности 1280 и проходит через ViT (self-attention).

На выходе получается общее визуальное представление изображения — тензор 256×64×64, своего рода «визуальная память», с которой дальше работает модель.

2️⃣ Prompt Encoder

Обрабатывает пользовательские подсказки:
— точки и bounding box’ы → превращаются в векторы размерности 256
— mask-подсказки → уменьшаются до 64×64 и кодируются свёртками

Важно: никаких трансформеров и self-attention здесь нет, всё максимально лёгкое. Все prompt-векторы объединяются и дополняются специальными токенами для масок и IoU.

3️⃣ Mask Decoder

Здесь начинается «магия»:
— self-attention между токенами
— cross-attention между токенами и изображением (в обе стороны)
— совместное рассуждение о том, что запросил пользователь и что есть на картинке

Каждый mask-токен в итоге порождает маску, а отдельный IoU-токен оценивает её качество.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🆕 Свежие новости для дата‑сайентистов

Anthropic выпустили Bloom — open-source фреймворк для поведенческих eval’ов LLM
Идея простая и болезненно актуальная: не тестировать сценарии, которые устаревают быстрее модели, а фиксировать само поведение. Bloom генерирует сценарии автоматически и прогоняет eval за дни, а не недели. Если вы хоть раз переписывали prompt-eval перед релизом — вы целевая аудитория.

Andrej Karpathy — LLM Year in Review 2025
Карпати аккуратно подводит итог: быстрые inference-движки, дистилляция как стандарт, агенты в реальном времени и рост реально сильных open-моделей. Читается как карта местности: где мы есть и куда всё это едет.

Your Year with ChatGPT
OpenAI сделали Spotify Wrapped для ChatGPT. Забавно, но за этим хорошо видно, что ChatGPT всё больше позиционируется как персональный рабочий инструмент, а не просто чат.

NotebookLM научился превращать источники в Data Tables
NotebookLM теперь автоматически собирает структурированные таблицы из документов и сразу готовит их к экспорту в Google Sheets. Мелочь, но именно такие фичи съедают куски ручной аналитической работы.

Google: итоги 2025 — 8 направлений прорывов
Агенты, reasoning, научные открытия — Google подводит итоги года без лишнего маркетинга. Хороший обзор, чтобы понять реальные исследования.

Gemma Scope 2 — интерпретируемость Gemma 3 от DeepMind
Полноценный стек инструментов, который показывает, как модель думает на уровне слоёв и представлений.

Apache Spark 4.1
Улучшения под капотом, оптимизации и стабильность.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#свежак

🚀 Запускаем LLM локально — без облаков и лишней боли

Хотите легко запускать большие языковые модели прямо на своём компьютере?

Обратите внимание на LM Studio.

LM Studio — open-source инструмент для локального и приватного запуска LLM:
➡️ загрузка и запуск моделей в пару кликов
➡️ десктоп-приложение
➡️ CLI для автоматизации
➡️ Python / JavaScript SDK
➡️ всё работает локально, без отправки данных в облако

Подходит для экспериментов, прототипов и приватных проектов.

🔗 Репозиторий и сайт: https://clc.to/E3LBMQ

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🚀 Шпаргалка по LLMOps

Создавать приложения на базе LLM просто. Настоящий вызов — запускать их надёжно в продакшене.

После деплоя появляются реальные проблемы:
❗️ Латентность — задержки при ответах модели
❗️ Стоимость — расходы на вычисления и API
❗️ Галлюцинации — неверные или вымышленные ответы
❗️ Prompt Drift — отклонения поведения модели со временем
❗️ Evaluation Gaps — пробелы в оценке качества ответов

Эта шпаргалка помогает ориентироваться в LLMOps и управлять жизненным циклом приложений от разработки до продакшена.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст