⚡️ 5Gemma: новая коллекция энкодер-декодер моделей от Google.

Инженеры Google DeepMind решили вдохнуть новую жизнь в классический подход «энкодер-декодер» выпустив семейство моделей T5Gemma.

Главная интрига заключается не в том, что они сделали, а в том, как. Вместо того чтобы обучать модели с нуля, они разработали метод «адаптации»: взяли уже готовую и предобученную модель-декодер Gemma 2 и, по сути, пересобрали ее в двухкомпонентную энкодер-декодерную архитектуру.

Метод открыл дорогу для интересных экспериментов. Например, стало возможно создавать «несбалансированные» модели, комбинируя большой энкодер с маленьким декодером, скажем, 9-миллиардный энкодер и 2-миллиардный декодер.

Такая конфигурация идеальна для задач суммаризации, где глубокое понимание исходного текста (работа энкодера) гораздо важнее, чем генерация сложного и витиеватого ответа (работа декодера). Это дает инженерам гибкий инструмент для тонкой настройки баланса между качеством и скоростью работы.

🟡Но самое важное - прирост в производительности.

На тестах T5Gemma показывает результаты на уровне или даже лучше своих «однокомпонентных» аналогов. Асимметричная модель T5Gemma 9B-2B демонстрирует значительно более высокую точность, чем базовая Gemma 2 2B, но при этом скорость инференса у них почти идентична.

Даже сбалансированная T5Gemma 9B-9B оказывается точнее, чем Gemma 2 9B, при сопоставимой задержке. Это прямое доказательство того, что двухкомпонентная архитектура может быть и умнее, и эффективнее.

T5Gemma показывает впечатляющий рост в задачах, требующих логических рассуждений. Например, на математическом тесте GSM8K модель T5Gemma 9B-9B набирает на 9 баллов больше, чем Gemma 2 9B.

Эффект становится еще более выраженным после инструктивной донастройки. Здесь разрыв в производительности резко увеличивается: на бенчмарке MMLU модель T5Gemma 2B-2B IT опережает аналог Gemma 2 2B IT почти на 12 баллов.

🟡Google выложила в открытый доступ целую линейку чекпойнтов:

🟢T5 (Small, Base, Large, XL) на базе Gemma (2B, 9B);

🟢«Несбалансированную» версию 9B-2B для экспериментов;

🟢Модели с разными целями обучения (PrefixLM для генерации, UL2 для качества представлений).


🔜 Попробовать возможности T5Gemma или настроить их под свои нужды можно с помощью блокнота Colab. Модели также доступны в Vertex AI.


📌Лицензирование: Gemma License.


🟡T5gemma: https://developers.googleblog.com/en/t5gemma/
🟡Статья: https://arxiv.org/abs/2504.06225
🟡Скачать модель: https://huggingface.co/collections/google/t5gemma-686ba262fe290b881d21ec86

@ai_machinelearning_big_data

#AI #ML #T5Gemma #Google

⚡️ MedGemma: открытые ИИ-модели для медицины от Google.

Google Research продолжают развивать свою линейку специализированных медицинских ИИ-моделей, представив два важных пополнения: MedGemma и MedSigLIP.

Это серьезное пополнение экосистемы открытых и доступных инструментов для здравоохранения. Разработчики предлагают мощные базовые модели, которые можно дообучать и запускать на собственном железе, даже на потребительском GPU.

🟡Флагман релиза MedGemma - 2 мультимодальные модели на 4 и 27 миллиардов параметров на основе Gemma 3.

Младшая, 4-миллиардная версия, показывает себя как один из лучших открытых «малышей» (<8B), а после дообучения достигает SOTA в генерации отчетов по рентгеновским снимкам. В ходе одного из тестов 81% сгенерированных ею заключений были признаны сертифицированными радиологами достаточно точными.

Старшая, на 27 миллиардов, в текстовой версии, на бенчмарке MedQA набрала 87.7%. Это всего на 3 пункта ниже DeepSeek R1, но при этом модель требует в 10 раз меньше ресурсов для инференса.

🟡Глазами для MedGemma служит MedSigLIP - легковесный (всего 400М параметров) энкодер изображений.

Его задача - классификация, поиск и другие задачи со структурированным выходом. Он был создан адаптацией общей модели SigLIP на огромном массиве медицинских данных (от рентгена до гистологии и снимков глазного дна).

🟡Ключевая особенность и MedGemma, и MedSigLIP в том, что при специализации они не растеряли своих общих знаний.

Они по-прежнему понимают немедицинский контекст и умеют работать с разными языками, что подтвердили исследователи из Тайваня, успешно применявшие модель в связке с литературе на традиционном китайском.


📌Лицензирование: Health AI Developer Foundations.


🟡Страница проекта
🟡Набор моделей
🟡Документация
🟡Arxiv
🟡Demo


@ai_machinelearning_big_data

#AI #ML #LLM #MedGemma #MedSigLIP #Google

✔️ Stanford и Google представили Marin — первую полностью открытую LLM, разработанную на JAX

Что делает Marin особенной:
— Полностью открыты не только веса, но показан весь процесс обучения: код, данные, гиперпараметры модели, логи, эксперименты — всё доступно на GitHub
— Модель обучена на 12.7 трлн токенов и в 14 из 19 тестов обошла Llama 3.1 8B
— Лицензия Apache 2.0, всё можно использовать, модифицировать и воспроизводить
— Levanter + JAX обеспечивают bit‑exact повторяемость и масштабируемость на TPU/GPU

Проект позиционируется как открытая лаборатория: каждый эксперимент оформляется через pull request, логируется в WandB, обсуждается в issue и фиксируется в истории репозитория. Даже неудачные эксперименты сохраняются ради прозрачности.

Выпущены две версии:
- Marin‑8B‑Base — сильный base-модель, превосходит Llama 3.1 8B
- Marin‑8B‑Instruct — обучена с помощью SFT, обгоняет OLMo 2, немного уступает Llama 3.1 Tulu

Это не просто открытые веса, а новый стандарт для научных вычислений в эпоху больших моделей.

* JAX — это фреймворк от Google для научных и численных вычислений, особенно популярен в сфере машинного обучения.

**TPU (Tensor Processing Unit) — это специализированный чип от Google, созданный для ускорения AI-задач.

🟠Github: https://github.com/stanford-crfm/marin
🟠Блог: https://developers.googleblog.com/en/stanfords-marin-foundation-model-first-fully-open-model-developed-using-jax/
🟠Гайд: https://docs.jax.dev/en/latest/quickstart.html

@ai_machinelearning_big_data

#ai #ml #tpu #jax #google

🌟 Google LangExtract: библиотека извлечения структуры из любого текста.

LangExtract - опенсорсная python-библиотека с функцией легковесного интерфейса к LLM, которая превращает большие объемы текста в структурированные данные.

🟡 Ключевая особенность LangExtract на фоне других инструментов - точный фокус на источник.

Каждая извлеченная сущность, будь то имя, дата или дозировка лекарства, привязывается к точным символьным смещениям в исходном тексте. Это дает полную прослеживаемость и верифицируемость результата, просто подсветив найденные данные в оригинальном документе. Больше никаких «откуда модель это взяла?».

🟡 Вторая сильная сторона - надежность выходных данных.

Вы определяете желаемый формат вывода с помощью специального представления данных и даете модели несколько примеров . Используя эти примеры, LangExtract следует заданной схеме, задействуя механизм контролируемой генерации, который поддерживается в моделях Gemini. Это гарантирует, что на выходе вы всегда будете получать данные в консистентном, предсказуемом формате.

🟡LangExtract умеет работать с действительно большими объемами.

Библиотека умеет бить текст на чанки, которые обрабатываются параллельно в несколько проходов, каждый из которых фокусируется на более узком контексте.

Для наглядности библиотека умеет генерировать интерактивную и полностью автономную HTML-визуализацию. Это позволяет за считаные минуты перейти от сырого текста к визуальному представлению, где можно исследовать тысячи извлеченных аннотаций.

При этом LangExtract не замыкается на экосистеме Google: он поддерживает гибкую смену LLM-бэкендов, позволяя работать как с облачными моделями, так и с опенсорсными решениями, развернутыми локально.

🟡LangExtract может задействовать "мировые знания" LLM для обогащения данных.

Информация может быть как явной (извлеченной из текста), так и основанной на внутренних знаниях модели. Разумеется, точность таких выведенных данных сильно зависит от возможностей конкретной LLM и качества предоставленных примеров в промпте.

Изначально идеи, заложенные в LangExtract, были применены для извлечения информации из медицинских текстов. Библиотека отлично справляется с идентификацией лекарств, их дозировок и других атрибутов в клинических записях.

Чтобы продемонстрировать возможности инструмента в узкоспециализированной области, Google создал на Hugging Face интерактивное демо RadExtract. В нем показано, как LangExtract может обработать радиологический отчет, написанный свободным текстом, и автоматически преобразовать его ключевые выводы в структурированный формат, подсвечивая важные находки.


📌Лицензирование: Apache 2.0 License.


🟡Статья
🖥Github


@ai_machinelearning_big_data

#AI #ML #LangExtract #Google

🔥 Google DeepMind выпустили Gemini 2.5 Deep Think — для Ultra‑пользователей

🚀 Характеристики:
> 📏 Контекст — 1 миллион токенов
> 🧾 На выходе — до 192k токенов

📊 И результаты на бенчмарках сумасшедшие:

— HLE : 34.8%
— Live Code Bench: 86.6%
— AIME 2025: 99.2%

🤯 Пока все обсуждают выход GPT‑5, Google тихонько выкатили топ модель.

Бенчмарки — огонь. Я уже подумываю оформить подписку на Ultra.

🟠 Анонс

@ai_machinelearning_big_data


#ai #ml #Gemini #google

⚡ Google представила Gemma 3 270M — свою новую компактную модель

Модель 270 млн параметров (170M для эмбеддингов и 100M для трансформер-блоков), но с отличной способностью следовать промтпам прямо «из коробки».

🔹 Особенности
- 256k токенов
- Энергоэффективность: INT4-версия на Pixel 9 Pro расходует всего 0.75% батареи за 25 диалогов.
- Доступны предобученные и instruction-tuned чекпойнты.
- Поддержка Quantization-Aware Training (QAT) для запуска в INT4 без заметной потери качества.

💼 Когда использовать
- Массовые, чётко определённые задачи: анализ тональности, извлечение сущностей, обработка текста, комплаенс-проверки.
- Минимальные задержки и низкая стоимость инференса — можно запускать прямо на устройстве.
- Быстрые эксперименты с fine-tuning.
- Полная приватность данных благодаря on-device работе.
- Создание «флота» узкоспециализированных моделей.

В анонсе приводится пример, как Adaptive ML и SK Telecom дообучили Gemma 3 4B для мультиязычной модерации контента, превзойдя более крупные проприетарные модели.

Gemma 3 270M — отличная небольшая модель, быстрая и дешёвая в работе.

🟠Подробности: https://developers.googleblog.com/en/introducing-gemma-3-270m/
🟠HF: https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d

@ai_machinelearning_big_data

#news #ai #ml #Gemma #google

🌟 MAD: алгоритм безопасной работы с огромными датасетами.

Большие данные - это топливо для ИИ. Но как их использовать, чтобы не нарушить приватность, например датасета, где есть персональные данные?

Один из вариантов - метод дифференциально-приватного отбора. Он выбирает из огромного набора уникальные элементы так, чтобы нельзя было соотнести их с конкретным человеком. А если данных - больше миллиарда? Для этого нужен более надежный подход.

Таким алгоритмом стал Max Adaptive Degree (MAD), представленный Google на ICML 2025. Он не только эффективнее других параллельных методов, но и работает с наборами данных на десятки и сотни миллиардов записей.

🟡Стандартный MAD метод состоит из 3 шагов:

🟢Каждому элементу присваивается вес (обычно по частоте использования).

🟢К весу добавляется случайный шум для защиты приватности.

🟢Выбираются только те элементы, чей вес с шумом превышает определенный порог.

Но тут появляется новая проблема - популярные элементы получают избыточный вес, который можно было бы использовать для менее частых, но ценных данных.

MAD решает ее с помощью адаптивного взвешивания, перераспределяя вес: забирает часть у популярных элементов и отдает тем, чьи значения уже находятся у порога. Это позволяет отобрать больше полезных данных без потери приватности.

Простой пример: представьте 100 пользователей, у каждого по 3 элемента. Один элемент (A) есть у всех, а остальные элементы уникальны. В базовом алгоритме элемент A получит слишком много веса (намного больше необходимого), а уникальные элементы - слишком мало. MAD "забирает" часть веса у A и распределяет его между уникальными элементами, давая им шанс пройти порог.

🟡MAD2R.

Метод можно использовать в несколько итераций, публикуя промежуточные результаты с шумом. Так можно еще точнее распределять вес между раундами.

В первом раунде запускается MAD как обычно, а во втором удаляются уже найденные элементы и те, которые явно не пройдут порог. Для остальных элементов применяется "смещение" веса на основе данных первого раунда.

На практике MAD показал отличные результаты. Всего за 2 этапа он отобрал больше полезных элементов, чем другие методы. Например, в Common Crawl (800 млрд. записей) он выбрал набор слов, который покрыл 99.9% всех записей и 97% уникальных слов с полным соблюдением приватности.


🟡Статья
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Selection #MAD #Google

🔥 Бесплатная книга от инженера Google — Agentic Design Patterns

400 страниц про всё, что нужно знать об агентных системах. Автор — senior engineer в Google, выложил драфт для открытого ревью.

📖 В книге:
- продвинутые техники промптинга
- паттерны для мульти-агентов
- использование инструментов и MCP
- практические примеры с кодом

⚡ По сути, это полный справочник по построению умных агентов. Must-read для разработчиков AI.

📚 Читать

@ai_machinelearning_big_data


#AI #Agents #Google #OpenSource #freebook

🚀 Google выпустила EmbeddingGemma: лёгкую open-source модель для текстовых эмбеддингов.

Модельку можно запускать прямо на телефоне или ноутбуке, без интернета и с сохранением приватности.

EmbeddingGemma - новый лидер среди открытых многоязычных моделей <500M на MTEB

🟢Что внутри:
• 308M параметров, но по качеству обгоняет все модели до 500M (по MTEB)
• Работает очень быстро: менее 15 мс на EdgeTPU (256 токенов)
• Понимает 100+ языков
• Размер эмбеддингов можно уменьшать (768 → 128) без потери качества
• Контекст до 2000 токенов
• Уже доступна в Sentence-Transformers, LangChain, llama.cpp, transformers.js, Weaviate и др.

🟠Blog: https://developers.googleblog.com/en/introducing-embeddinggemma/
🟠Models: https://huggingface.co/collections/google/embeddinggemma-68b9ae3a72a82f0562a80dc4

@ai_machinelearning_big_data

#AI #Google #Gemma #EmbeddingGemma #ML #DeepLearning #LLM #NLP