🚮 Barlow Twins учит эмбеддинги, убирая избыточность

Большинство self-supervised методов (SimCLR, BYOL) делают одно и то же:
— сближают представления разных аугментаций
— избегают коллапса через контрастивные лоссы или предикторы

Но почти не задумываются о том, что происходит внутри самого эмбеддинга.

👉 Barlow Twins — другой.

Он напрямую минимизирует избыточность между измерениями эмбеддинга, заставляя кросс-корреляционную матрицу двух аугментаций стать единичной:
✅ диагональ = 1 → инвариантность к аугментациям
✅ вне диагонали = 0 → никакого дублирования информации между фичами

Каждое измерение обязано нести новую, а не повторяющуюся информацию.

В итоге representation learning превращается в аккуратную компрессию информации:
✅ сохранить всё про объект
✅ забыть искажения
✅ вычистить внутренний шум и повторения

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

📊 Graph Laplacian — зачем он нужен и почему везде

Graph Laplacian — это матрица, которая формально описывает, как связаны узлы в графе и насколько каждый узел отличается от среднего по своим соседям.

Где и зачем он используется:

🎲 Теория вероятностей

— Описывает случайные блуждания по графам
— Моделирует диффузию и цепи Маркова
— Показывает, как вероятность «растекается» по сети

🤖 Машинное обучение

— Spectral Clustering — поиск сообществ и кластеров
— Semi-supervised learning — обучение с малым числом меток
— Graph Neural Networks — обучение на графах
— Manifold learning — работа с данными на многообразиях

📐 Анализ структуры

Собственные значения выявляют:
— кластеры и сообщества
— узкие места и bottleneck’и
— самые «гладкие» способы менять функции на данных
Используется для снижения размерности и шумоподавления

🌍 Реальные системы

— Транспортные сети и потоки трафика
— Социальные графы и распространение влияния
— Энергосети и отказоустойчивость
— Рекомендательные системы и распространение информации

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🚀 Auto-Analyst — AI, который автоматизирует Data Science

Auto-Analyst — полностью open-source систему для автоматизации всего data science-пайплайна: от очистки данных и статистики до ML-моделей и визуализации.

✅ Полностью open source
MIT-лицензия — можно использовать, модифицировать и встраивать без ограничений.

✅ LLM-agnostic
Работает с любыми API: OpenAI, Anthropic, DeepSeek, Groq и др.

✅ Bring Your Own API Key
Никакого vendor lock-in — платите только за свои запросы.

✅ UI для дата-сайентистов
Фокус не на «чатике», а на реальной аналитической работе.

✅ Надёжные и интерпретируемые ответы
Встроенные guardrails для контроля качества вывода.

✅ Модульная агентная архитектура
Легко добавлять и кастомизировать агентов через DSPy.

📱 Github

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

👌 SKOPS — как делиться sklearn-моделями без pickle и боли

Если вы работаете со scikit-learn и вам нужно сохранять, передавать и выкладывать модели в прод, стоит посмотреть на skops.

skops — это библиотека, которая делает две очень полезные вещи:

1️⃣ Безопасное сохранение и загрузка sklearn-моделей без pickle.

skops. io позволяет сериализовать модели явно и безопасно — особенно полезно, если вы публикуете модели или загружаете их из внешних источников.

2️⃣ skops.card

Инструменты для создания model card — документа, который объясняет:
✔️ что делает модель
✔️ на каких данных она обучалась
✔️ как её правильно использовать
✔️ какие есть ограничения

Крутая фича: model card можно сразу сохранить как README. md на Hugging Face Hub, с уже подготовленными метаданными.

Установка:

python -m pip install skops

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🐸 Библиотека задач по Data Science

🧩 Универсальная структура для agent-проектов

Большинство agent-проектов рано или поздно превращаются в хаос: файлы разбросаны, логика смешана, тестов нет, деплой страшно трогать.

Эта проблема решается правильной структурой с самого начала.

Один cookiecutter — и проект сразу создаётся с продуманным каркасом:
🔹 CI / CD — автоматические сборки и тесты
🔹 Data — статические файлы и ресурсы
🔹 Notebooks — песочница для промптов и экспериментов
🔹 Agent Python Library — чистая архитектура
  (domain / application / infrastructure)
🔹 Tests — unit, integration и дальше по мере роста
🔹 Дополнительные файлы — Docker, Makefile, конфиги
🔹 README.md — обязательная документация с первого дня

Результат — чистый, расширяемый репозиторий, который не ломается при росте проекта и команды.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🆕 Свежие новости для дата‑сайентистов

20 лучших источников датасетов для ML в 2026
Хорошая подборка публичных и полу-публичных источников данных. Ничего магического, но полезно держать под рукой.

DeepSeek меняет работу residual connections
Новый архитектурный подход — Manifold-Constrained Hyper-Connections — решает тихую, но дорогую проблему градиентного взрыва в больших трансформерах.

NVIDIA Alpamayo — reasoning-first подход к автономному вождению
NVIDIA предлагает смотреть на автономное вождение не как на чистое предсказание, а как на задачу рассуждения. Особенно актуально для редких сценариев, где end-to-end модели всё ещё ломаются. Хороший пример, как reasoning выходит за пределы LLM.

Falcon-H1R: reasoning на уровне моделей в 7× больше
7B-модель, которая догоняет и обгоняет значительно более крупные аналоги за счёт архитектуры и обучения. Очередное напоминание, что «больше параметров» — далеко не единственный путь вперёд.

Пять трендов AI и Data Science на 2026
Фокус смещается от хайпа к организационной эффективности: AI как инструмент внутри компаний, а не витрина. Хорошо ложится на ощущение, что рынок начинает трезветь.

Deep Delta Learning — обобщение residual networks
Интересная архитектурная идея: один скалярный gate интерполирует между identity, projection и reflection. Пока больше похоже на исследовательский задел, но такие вещи часто «выстреливают» неожиданно.

ChatGPT Health — персонализированный медицинский режим
OpenAI запускает отдельный health-опыт с доступом к медданным и фитнес-приложениям. С точки зрения DS это огромный шаг в сторону контекстных моделей — и одновременно зона повышенной ответственности.

Lenovo Qira — кросс-девайс AI-ассистент
Ассистент, который живёт сразу на ПК и смартфоне и помнит контекст между устройствами. Всё больше похоже на движение к «ambient AI», который просто рядом, а не запускается по кнопке.

Karpathy про nanochat и масштабирование через глубину
Андрей показывает, что масштабирование — это не только ширина и параметры. Иногда достаточно аккуратно поиграть с глубиной, чтобы получить неожиданный эффект.

Gemini 3 приходит в Gmail
Резюме, Q&A по всему инбоксу и приоритизация писем для 3 млрд пользователей. Если LLM и становятся массовым продуктом, то именно так — встроенными в существующие привычки.

Alibaba выпускает Qwen3-VL для мультимодального поиска
Единые embeddings для текста, изображений и видео — ровно то, чего давно не хватает RAG-системам в реальном мире. Очень практичный релиз, если вы работаете с «грязными» мультимодальными данными.

OpenAI нанимает команду Convogo
OpenAI покупает не продукт, а команду — классический acqui-hire. Явный фокус на AI cloud и enterprise-направление, а не очередной consumer-фиче.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#свежак

ℹ️ MCP и A2A — как агенты реально работают вместе

Если вы создаёте agentic-приложения, быстро понимаете: одного протокола мало. MCP и A2A решают разные задачи и отлично дополняют друг друга.

MCP можно представить как «руки» агента — доступ к инструментам и ресурсам. A2A же — это «общение», способ агентам договариваться и работать в команде. В стеке протоколов они находятся на разных уровнях, но работают вместе.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

👌 Keras упростил квантование

Теперь Keras умеет квантовать модели буквально одной строкой кода — и это очень приятное обновление.

Можно взять свою модель или любую предобученную из KerasHub и просто вызвать model.quantize(...). Без отдельных тулов, без сложных пайплайнов, без шаманства с экспортами.

✅ Поддерживаются самые ходовые режимы: int4, int8, float8 и GPTQ. То есть и для инференса на проде, и для экспериментов с уменьшением модели — всё уже из коробки.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

✔️ pandas 3.0: чистые колонки без lambda и скобок

До pandas 3.0 создание новых колонок выглядело… терпимо, но не приятно. Либо квадратные скобки, которые ломают chaining и заставляют постоянно повторять имя DataFrame. Либо assign() с лямбдами — многословно и с классическими багами из-за замыканий.

Вот типичный старый стиль:

# Старый pandas: verbose lambda
df.assign(total=lambda df: df['x'] + df['y'])

А теперь — любимый всеми подводный камень:

# Lambda bug в циклах
for f in [10, 20, 30]:
    results[f'x_{f}'] = lambda df: df['x'] * f

# x_10=30, x_20=30, x_30=30  <- сюрприз

Все колонки умножаются на последнее значение f. Классика Python: лямбда захватила переменную, а не её значение.

В pandas 3.0 это наконец-то исправили элегантно. Появились pd.col() — чистые выражения для работы со столбцами.

Теперь код читается почти как Polars:

# Новый pandas: читается как Polars
df.assign(total=pd.col('x') + pd.col('y'))

И тот же пример с циклом — но уже без магии и багов:

for f in [10, 20, 30]:
    results[f'x_{f}'] = pd.col('x') * f

# x_10=10, x_20=20, x_30=30  <- как и ожидалось

Самое приятное здесь даже не синтаксис (хотя он стал заметно чище), а то, что pd.col() убирает целый класс ошибок с замыканиями. Больше не нужно помнить, как именно Python захватывает переменные в лямбдах — просто пишешь выражение.

👏 Небольшое изменение в API, но ощущается как серьёзный шаг вперёд в удобстве и читаемости pandas.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🛎 Google обновил MedGemma и выкатил MedASR — открытые модели для медицины нового поколения

Google продолжает активно пушить open-source AI в здравоохранении. Вышел MedGemma 1.5 (4B) — обновлённая версия медицинской мультимодальной модели, а вместе с ней — MedASR, открытая модель распознавания медицинской речи.

MedGemma 1.5 заметно прокачали под реальные клинические сценарии. Плюс — выросла точность по тексту, медицинским записям и 2D-изображениям по сравнению с версией 1.0.

➡️ Отдельно важный момент — размер. Версия на 4B параметров достаточно компактна, чтобы запускаться офлайн и служить хорошей отправной точкой для кастомных решений. Для более тяжёлых текстовых задач по-прежнему доступна модель на 27B параметров.

➡️ Вторая новость — MedASR. Это ASR-модель, дообученная специально под медицинскую диктовку. Она превращает речь врача в текст и отлично сочетается с MedGemma для дальнейшего анализа и reasoning’а.

➡️ И да, всё это по-прежнему бесплатно для research и коммерческого использования: модели доступны на Hugging Face и масштабируются через Vertex AI. Плюс Google запустил MedGemma Impact Challenge на Kaggle — ждём интересные кейсы от сообщества.

🖥 Почитать и узнать детали можно тут.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

➡️ Рисуешь схему — получаешь SQL

Вы когда-нибудь рисовали схему базы на доске или в FigJam, а потом убивали полдня, вручную превращая её в SQL?

Оказывается, это вообще не обязательный этап.

DrawDB позволяет делать ровно наоборот: вы сначала рисуете схему, а код получается автоматически. Таблицы, связи, ключи — всё собирается на визуальном канвасе, а на выходе вы сразу получаете готовый SQL под нужную БД.

Причём это не «игрушка для прототипов». DrawDB умеет экспортировать production-ready SQL для MySQL, PostgreSQL, SQLite, MariaDB, MSSQL и Oracle. Без регистрации, без подписки, без скрытых ограничений. Диаграммы можно сразу шарить с командой — просто ссылкой.

Отдельный плюс — проект полностью open source и бесплатный.

📱 Репозиторий — по ссылке: https://clc.to/oA9LsA

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

💫 Claude Code — но сразу с мозгами

Если вы пользуетесь Claude Code и каждый раз настраиваете агентов, команды и MCP руками — есть способ сильно упростить жизнь.

Claude Code Templates — это каталог готовых конфигураций для Claude: AI-агенты, кастомные команды, настройки, хуки, интеграции через MCP и шаблоны проектов. По сути, это «маркетплейс best practices» для Claude Code.

➡️ Вы заходите в веб-интерфейс, выбираете нужные компоненты и устанавливаете их к себе — без копипасты и долгой ручной сборки. Сейчас там уже больше 100 готовых шаблонов: от отдельных агентов под конкретные задачи до целых проектных сетапов.

✳️ Это не просто набор сниппетов, а структурированная экосистема. Можно быстро посмотреть, как другие люди настраивают Claude под реальные рабочие сценарии, и взять это как основу для своего пайплайна.

📱 Репозиторий — по ссылке: https://clc.to/sz5Rlw

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🐸 Библиотека дата-сайентиста

#развлекалово

😎 LangWatch: полный контроль над поведением LLM-агентов

Самая большая проблема с агентами сегодня не в том, чтобы их собрать.

➡️ Проблема — понять, что у них вообще происходит внутри, когда они начинают «тупить» в проде.

LangWatch решает именно это. Он показывает жизнь LLM-пайплайна под микроскопом: каждый шаг агента, каждый вызов, где теряется контекст, где ответ стал дороже или медленнее, где логика пошла не туда.

Работа превращается в нормальный инженерный цикл:
посмотрели трассу → нашли слабое место → проверили на датасете → поправили промпт или шаг агента → сразу увидели разницу.

➡️ Платформа не привязана ни к моделям, ни к фреймворкам — работает с любым современным стеком.

📱 Github

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст