Forwarded from Data Secrets | Карьера
hai_ai_index_report_2025.pdf
29.5 MB
AI Index Report 2025
Стенфордский университет опубликовал отчет о влиянии ИИ с 2013 года по 2025. Отчет огромный, поэтому мы постарались выбрать самые интересные моменты:
➡️ Китай стал лидером по количеству публикаций об ИИ, занимая 23,2% от общего числа публикаций, опередив любую другую страну. Однако за последние три года США выпустили больше статей, вошедших в топ-100 самых цитируемых. 1:1.
➡️ США продолжают лидировать по числу самых известных моделей. На конец 2024 года США выпустили 40 известных моделей, в то время как Китай — 15, а Европа — всего 3.
➡️ Вычислительные затраты на обучение моделей удваиваются каждые пять месяцев, объемы наборов данных для LLM увеличиваются каждые восемь месяцев. Мощность моделей растет ежегодно.
➡️ Стоимость запроса к модели ИИ, которая достигает эквивалентного уровня GPT-3.5 (64.8) на MMLU, снизилась с $20 за миллион токенов в ноябре 2022 года до $0.07 в октябре 2024 года (Gemini-1.5-Flash-8B)—снижение более чем в 280 раз за 18 месяцев. В зависимости от задачи, цены на вывод LLM снизились от 9 до 900 раз в год.
➡️ Выбросы углекислого газа при обучении моделей возросли более чем в 100 000 раз: для сравнения, обучение AlexNet привело к выбросам в 0,01 тонны, в то время как обучение LLama 3.1 405B — к выбросам в 8930 тонн.
➡️ В 2023 году исследователи ИИ представили несколько новых сложных бенчмарков, включая MMMU, GPQA и SWE-bench, к 2024 году производительность ИИ на этих бенчмарках значительно улучшилась, с увеличением на 18,8 и 48,9 процентных пунктов на MMMU и GPQA соответственно. На SWE-bench ИИ-системы могли решить всего 4,4% задач по программированию в 2023 году—эта цифра выросла до 71,7% в 2024 году.
➡️ Меньшие модели обеспечивают более высокую производительность. В 2022 году самой маленькой моделью, достигшей более 60% на MMLU, была PaLM с 540 миллиардами параметров. К 2024 году Microsoft’s Phi-3-mini с всего 3,8 миллиардами параметров достигла того же порога, что представляет собой 142-кратное уменьшение за два года.
Новость прислал подписчик в нашем чате❤️
Стенфордский университет опубликовал отчет о влиянии ИИ с 2013 года по 2025. Отчет огромный, поэтому мы постарались выбрать самые интересные моменты:
Новость прислал подписчик в нашем чате
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤111🔥36👍30🦄7
Google представили специальную версию Gemma для разработки лекарств
Семейство моделей TxGemma специально обучили понимать и предсказывать свойства препарата на всем пути разработки. Обычно как раз в этом основной затык в разработке лекарств: ученым надо перепробовать кучу вариантов. Это долго и дорого, а TxGemma призвана процесс упростить.
Интересно, что это универсальная платформа: модели умеют обрабатывать не только белки, но и малые молекулы, нуклеиновые кислоты, заболевания и вирусы + статьи, клиническую информацию и другие доп.материалы.
В семействе есть модели на 2B, 9B и 27B. Это TxGemma-Predict. Из них еще сделали TxGemma-Chat, с которым ученые могут общаться, и Agentic-Tx – агента, который самостоятельно выстраивает процесс ресерча и вызывает внешние медицинские инструменты типа PubMed.
Базовая модель – Gemma-2. Дообучали на 67 млрд токенов из 66 разных датасетов Therapeutic Data Commons. По бенчмаркам – SOTA. Например, по химии и биологии на Humanity’s Last Exam выбивает 81.7% против 64.5% у предшедственников. А на GPQA (Diamond) улучшение более чем на 26%.
✨ И главное: все в опенсорсе
Статья | Блогпост | Репа
Семейство моделей TxGemma специально обучили понимать и предсказывать свойства препарата на всем пути разработки. Обычно как раз в этом основной затык в разработке лекарств: ученым надо перепробовать кучу вариантов. Это долго и дорого, а TxGemma призвана процесс упростить.
Интересно, что это универсальная платформа: модели умеют обрабатывать не только белки, но и малые молекулы, нуклеиновые кислоты, заболевания и вирусы + статьи, клиническую информацию и другие доп.материалы.
В семействе есть модели на 2B, 9B и 27B. Это TxGemma-Predict. Из них еще сделали TxGemma-Chat, с которым ученые могут общаться, и Agentic-Tx – агента, который самостоятельно выстраивает процесс ресерча и вызывает внешние медицинские инструменты типа PubMed.
Базовая модель – Gemma-2. Дообучали на 67 млрд токенов из 66 разных датасетов Therapeutic Data Commons. По бенчмаркам – SOTA. Например, по химии и биологии на Humanity’s Last Exam выбивает 81.7% против 64.5% у предшедственников. А на GPQA (Diamond) улучшение более чем на 26%.
Статья | Блогпост | Репа
Please open Telegram to view this post
VIEW IN TELEGRAM
👍116❤37🤯17🤔2
This media is not supported in your browser
VIEW IN TELEGRAM
Ян Лекун: "Я больше не заинтересован в LLM, они в прошлом"
На своем свежем интервью на конференции Nvidia GTC ученый сказал, что сейчас LLMs уже принадлежат не академии, а индустрии, где из них пытаются выжать все соки. С точки зрения науки они в прошлом, и сейчас наиболее интересны другие направления:
1. Системы которые понимают физический мир
2. Системы у которых есть постоянная память
3. Системы, которые умеют рассуждать и планировать (в LLM, по мнению Лекуна, есть только отдаленное подобие настоящего ризонинга)
Полная запись
На своем свежем интервью на конференции Nvidia GTC ученый сказал, что сейчас LLMs уже принадлежат не академии, а индустрии, где из них пытаются выжать все соки. С точки зрения науки они в прошлом, и сейчас наиболее интересны другие направления:
1. Системы которые понимают физический мир
2. Системы у которых есть постоянная память
3. Системы, которые умеют рассуждать и планировать (в LLM, по мнению Лекуна, есть только отдаленное подобие настоящего ризонинга)
Полная запись
👍214🤔48❤47😁14🤨6🤯4🗿4❤🔥2
P.S. Ссылку прикрепим к этому сообщению, как только она появится
https://www.youtube.com/watch?v=kA-P9ood-cE
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41❤11🔥9
Data Secrets
Робототехники из Hugging Face только что выпустили супер подробный туториал о том, как построить и обучить себе робота Вот репозиторий. Для начала предлагается обучить сетку предсказывать следующее движение робота по данным с камеры. Трейн можете собрать…
Тем временем HuggingFace купили робо-стартап Pollen Robotics
Это тот самый стартап, вместе с которым HF в прошлом году сделали свой знаменитый открытый фреймворк Le Robot для создания домашних роботов практически из коробки (все датасеты, скрипты для обучения и даже поставщиков деталей уже собрали в одно целое за вас).
Основной продукт Pollen Robotics – опенсорсный робот Reachy 2 (наверху). Его HF планируют опенсорсить и дальше и улучшать вместе с сообществом. Также готового Reachy 2 можно купить за 70 000 долларов.
Это тот самый стартап, вместе с которым HF в прошлом году сделали свой знаменитый открытый фреймворк Le Robot для создания домашних роботов практически из коробки (все датасеты, скрипты для обучения и даже поставщиков деталей уже собрали в одно целое за вас).
Основной продукт Pollen Robotics – опенсорсный робот Reachy 2 (наверху). Его HF планируют опенсорсить и дальше и улучшать вместе с сообществом. Также готового Reachy 2 можно купить за 70 000 долларов.
Наше видение: будущее, в котором каждый может создавать и контролировать своих собственных роботов вместо того, чтобы полагаться на закрытые, дорогие черные ящики.
1🤯71❤37👍21❤🔥6⚡5👏2
В чате их не будет: они только для разработчиков в API. У всех трех моделей контекст 1 миллион токенов, для OpenAI это впервые. Знания до 1 июля 2024.
Для программирования модель действительно хороша: на SWE-bench обгоняет даже o1 high. При этом стоит намного дешевле ($2.00 / 1M инпут и $8.00 / 1M аутпут). Плюсом неплохие способноси на мультимодальных задачах и математике.
Последний график – масштабирование на росте контекста. Видно, что 4.1 на голову лучше остальных моделей OpenAI на длинных последовательностях, то есть даже на огромных документах или кодовых базах не будет терять детали.
Ну и вишенка: семь дней модель будет абсолютно бесплатной вот тут
Цены и детали – здесь, а вот блогпост со всеми метриками
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👌64🔥40❤23👍11😁4🗿1
Тем временем новенькую GPT-4.1 уже можно попробовать ✨ бесплатно ✨ в Cursor, GitHub Copilot и на AlphaXiv
Вайбового рабочего дня💻
Вайбового рабочего дня
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥112👍22🕊14❤5
Еще одна специализированная версия Gemma от Google: теперь для общения с дельфинами
Моделька так и называется – DolphinGemma. Цель – анализировать и генерировать звуковые последовательности, имитирующие естественную коммуникацию дельфинов. Это буквально ключ к межвидовому общению.
Над проектом Google работали с Wild Dolphin Project. Это организация, которая дольше всех в мире (с 1985 года, на секундочку) собирает данные о дельфинах и записывает их разговоры в естественной среде. У них хранятся десятилетия видеозаписей и аудиозаписей, которые дополнены информацией об индивидуальных характеристиках дельфинов (характер, жизненный путь, поведение).
Сама модель DolphinGemma небольшая, около 400M, можно запустить на смартфоне. Ключевой момент – это обучение токенизатора SoundStream. В остальном обычная LM, которая пытается предсказать следующий токен. Только вместо человеческого языка –🐬
Тесты показали, что DolphinGemma реально способна извлекать паттерны и структуры из звуков животных. Следующим шагом исследователи хотят создать систему CHAT (Cetacean Hearing Augmentation Telemetry), то есть установить какой-то общий "словарь", используя привычные дельфинам вещи – рыбу, водоросли, яркие предметы.
Обещают даже скоро опенсорснуть -> blog.google/technology/ai/dolphingemma/
Моделька так и называется – DolphinGemma. Цель – анализировать и генерировать звуковые последовательности, имитирующие естественную коммуникацию дельфинов. Это буквально ключ к межвидовому общению.
Над проектом Google работали с Wild Dolphin Project. Это организация, которая дольше всех в мире (с 1985 года, на секундочку) собирает данные о дельфинах и записывает их разговоры в естественной среде. У них хранятся десятилетия видеозаписей и аудиозаписей, которые дополнены информацией об индивидуальных характеристиках дельфинов (характер, жизненный путь, поведение).
Сама модель DolphinGemma небольшая, около 400M, можно запустить на смартфоне. Ключевой момент – это обучение токенизатора SoundStream. В остальном обычная LM, которая пытается предсказать следующий токен. Только вместо человеческого языка –
Тесты показали, что DolphinGemma реально способна извлекать паттерны и структуры из звуков животных. Следующим шагом исследователи хотят создать систему CHAT (Cetacean Hearing Augmentation Telemetry), то есть установить какой-то общий "словарь", используя привычные дельфинам вещи – рыбу, водоросли, яркие предметы.
Обещают даже скоро опенсорснуть -> blog.google/technology/ai/dolphingemma/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤86🔥62👍18🤯13😁1
OpenAI преодолел отметку в 800 000 000 пользователей. Это 10% населения Земли.
Если судить по количеству еженедельных активных пользователей, за 2024 они выросли в 4 раза. Сообщается, что к концу 2025 стартап планирует достичь 1 миллиарда юзеров (и это уже не звучит как что-то нереальное).
Спасибо Ghibli генерациям
Если судить по количеству еженедельных активных пользователей, за 2024 они выросли в 4 раза. Сообщается, что к концу 2025 стартап планирует достичь 1 миллиарда юзеров (и это уже не звучит как что-то нереальное).
Спасибо Ghibli генерациям
🤯164❤34👍19🔥9🐳3⚡2😁2
В Nvidia скрестили трансформеры с Mamba-2 и выпустили Nemotron-H
Исследователи взяли обычный трансформер, но большинство слоев внимания заменили на слои Mamba-2. Mamba – это модель из семейства State space models, это такой умный вариант LSTM (вот тут наш понятный разбор того, как SSM работают).
Для модели 56B осталось только 10 слоев селф-аттеншена, а для модели 8B – 4 слоя. С точки зрения экономии ресурсов и ускорения это очень круто, потому что в слоях mamba память константная. То есть вычисления вообще не зависят от длины контекста (в отличие от внимания, которое масштабируется квадратично).
Интуитивно кажется, что тогда должно страдать качество. Но нет: результаты сопоставимы с чистыми трансформерами схожих размеров. Например, Nemotron-H-56B примерно на уровне с Llama-3.1-70B и Qwen-2.5-72B. При этом летает все в 2-3 раза быстрее.
Интересно, появится ли моделька на арене (веса здесь)
arxiv.org/pdf/2504.03624
Исследователи взяли обычный трансформер, но большинство слоев внимания заменили на слои Mamba-2. Mamba – это модель из семейства State space models, это такой умный вариант LSTM (вот тут наш понятный разбор того, как SSM работают).
Для модели 56B осталось только 10 слоев селф-аттеншена, а для модели 8B – 4 слоя. С точки зрения экономии ресурсов и ускорения это очень круто, потому что в слоях mamba память константная. То есть вычисления вообще не зависят от длины контекста (в отличие от внимания, которое масштабируется квадратично).
Интуитивно кажется, что тогда должно страдать качество. Но нет: результаты сопоставимы с чистыми трансформерами схожих размеров. Например, Nemotron-H-56B примерно на уровне с Llama-3.1-70B и Qwen-2.5-72B. При этом летает все в 2-3 раза быстрее.
Интересно, появится ли моделька на арене (веса здесь)
arxiv.org/pdf/2504.03624
👍70🔥17🍓9❤🔥3❤2🤔1🗿1
Оп, Google начали нанимать на позицию Post-AGI Research
Условия: не списывать с книжек по фантастике (по возможности), не предсказать вымирание человечества (по желанию)
Ключевые вопросы включают изучение траектории от AGI к ASI, сознание в машинах, влияние ASI на основы человеческого общества. Вы также будете сотрудничать с кросс-функциональными командами разработки и проводить эксперименты для нашей миссии.
Условия: не списывать с книжек по фантастике (по возможности), не предсказать вымирание человечества (по желанию)
😁194🤯27❤17🗿8🫡7👍3