This media is not supported in your browser
VIEW IN TELEGRAM
Ян Лекун: "Я больше не заинтересован в LLM, они в прошлом"
На своем свежем интервью на конференции Nvidia GTC ученый сказал, что сейчас LLMs уже принадлежат не академии, а индустрии, где из них пытаются выжать все соки. С точки зрения науки они в прошлом, и сейчас наиболее интересны другие направления:
1. Системы которые понимают физический мир
2. Системы у которых есть постоянная память
3. Системы, которые умеют рассуждать и планировать (в LLM, по мнению Лекуна, есть только отдаленное подобие настоящего ризонинга)
Полная запись
На своем свежем интервью на конференции Nvidia GTC ученый сказал, что сейчас LLMs уже принадлежат не академии, а индустрии, где из них пытаются выжать все соки. С точки зрения науки они в прошлом, и сейчас наиболее интересны другие направления:
1. Системы которые понимают физический мир
2. Системы у которых есть постоянная память
3. Системы, которые умеют рассуждать и планировать (в LLM, по мнению Лекуна, есть только отдаленное подобие настоящего ризонинга)
Полная запись
👍214🤔48❤47😁14🤨6🤯4🗿4❤🔥2
P.S. Ссылку прикрепим к этому сообщению, как только она появится
https://www.youtube.com/watch?v=kA-P9ood-cE
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41❤11🔥9
Data Secrets
Робототехники из Hugging Face только что выпустили супер подробный туториал о том, как построить и обучить себе робота Вот репозиторий. Для начала предлагается обучить сетку предсказывать следующее движение робота по данным с камеры. Трейн можете собрать…
Тем временем HuggingFace купили робо-стартап Pollen Robotics
Это тот самый стартап, вместе с которым HF в прошлом году сделали свой знаменитый открытый фреймворк Le Robot для создания домашних роботов практически из коробки (все датасеты, скрипты для обучения и даже поставщиков деталей уже собрали в одно целое за вас).
Основной продукт Pollen Robotics – опенсорсный робот Reachy 2 (наверху). Его HF планируют опенсорсить и дальше и улучшать вместе с сообществом. Также готового Reachy 2 можно купить за 70 000 долларов.
Это тот самый стартап, вместе с которым HF в прошлом году сделали свой знаменитый открытый фреймворк Le Robot для создания домашних роботов практически из коробки (все датасеты, скрипты для обучения и даже поставщиков деталей уже собрали в одно целое за вас).
Основной продукт Pollen Robotics – опенсорсный робот Reachy 2 (наверху). Его HF планируют опенсорсить и дальше и улучшать вместе с сообществом. Также готового Reachy 2 можно купить за 70 000 долларов.
Наше видение: будущее, в котором каждый может создавать и контролировать своих собственных роботов вместо того, чтобы полагаться на закрытые, дорогие черные ящики.
1🤯71❤37👍21❤🔥6⚡5👏2
В чате их не будет: они только для разработчиков в API. У всех трех моделей контекст 1 миллион токенов, для OpenAI это впервые. Знания до 1 июля 2024.
Для программирования модель действительно хороша: на SWE-bench обгоняет даже o1 high. При этом стоит намного дешевле ($2.00 / 1M инпут и $8.00 / 1M аутпут). Плюсом неплохие способноси на мультимодальных задачах и математике.
Последний график – масштабирование на росте контекста. Видно, что 4.1 на голову лучше остальных моделей OpenAI на длинных последовательностях, то есть даже на огромных документах или кодовых базах не будет терять детали.
Ну и вишенка: семь дней модель будет абсолютно бесплатной вот тут
Цены и детали – здесь, а вот блогпост со всеми метриками
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👌64🔥40❤23👍11😁4🗿1
Тем временем новенькую GPT-4.1 уже можно попробовать ✨ бесплатно ✨ в Cursor, GitHub Copilot и на AlphaXiv
Вайбового рабочего дня💻
Вайбового рабочего дня
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥112👍22🕊14❤5
Еще одна специализированная версия Gemma от Google: теперь для общения с дельфинами
Моделька так и называется – DolphinGemma. Цель – анализировать и генерировать звуковые последовательности, имитирующие естественную коммуникацию дельфинов. Это буквально ключ к межвидовому общению.
Над проектом Google работали с Wild Dolphin Project. Это организация, которая дольше всех в мире (с 1985 года, на секундочку) собирает данные о дельфинах и записывает их разговоры в естественной среде. У них хранятся десятилетия видеозаписей и аудиозаписей, которые дополнены информацией об индивидуальных характеристиках дельфинов (характер, жизненный путь, поведение).
Сама модель DolphinGemma небольшая, около 400M, можно запустить на смартфоне. Ключевой момент – это обучение токенизатора SoundStream. В остальном обычная LM, которая пытается предсказать следующий токен. Только вместо человеческого языка –🐬
Тесты показали, что DolphinGemma реально способна извлекать паттерны и структуры из звуков животных. Следующим шагом исследователи хотят создать систему CHAT (Cetacean Hearing Augmentation Telemetry), то есть установить какой-то общий "словарь", используя привычные дельфинам вещи – рыбу, водоросли, яркие предметы.
Обещают даже скоро опенсорснуть -> blog.google/technology/ai/dolphingemma/
Моделька так и называется – DolphinGemma. Цель – анализировать и генерировать звуковые последовательности, имитирующие естественную коммуникацию дельфинов. Это буквально ключ к межвидовому общению.
Над проектом Google работали с Wild Dolphin Project. Это организация, которая дольше всех в мире (с 1985 года, на секундочку) собирает данные о дельфинах и записывает их разговоры в естественной среде. У них хранятся десятилетия видеозаписей и аудиозаписей, которые дополнены информацией об индивидуальных характеристиках дельфинов (характер, жизненный путь, поведение).
Сама модель DolphinGemma небольшая, около 400M, можно запустить на смартфоне. Ключевой момент – это обучение токенизатора SoundStream. В остальном обычная LM, которая пытается предсказать следующий токен. Только вместо человеческого языка –
Тесты показали, что DolphinGemma реально способна извлекать паттерны и структуры из звуков животных. Следующим шагом исследователи хотят создать систему CHAT (Cetacean Hearing Augmentation Telemetry), то есть установить какой-то общий "словарь", используя привычные дельфинам вещи – рыбу, водоросли, яркие предметы.
Обещают даже скоро опенсорснуть -> blog.google/technology/ai/dolphingemma/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤86🔥62👍18🤯13😁1
OpenAI преодолел отметку в 800 000 000 пользователей. Это 10% населения Земли.
Если судить по количеству еженедельных активных пользователей, за 2024 они выросли в 4 раза. Сообщается, что к концу 2025 стартап планирует достичь 1 миллиарда юзеров (и это уже не звучит как что-то нереальное).
Спасибо Ghibli генерациям
Если судить по количеству еженедельных активных пользователей, за 2024 они выросли в 4 раза. Сообщается, что к концу 2025 стартап планирует достичь 1 миллиарда юзеров (и это уже не звучит как что-то нереальное).
Спасибо Ghibli генерациям
🤯164❤34👍19🔥9🐳3⚡2😁2
В Nvidia скрестили трансформеры с Mamba-2 и выпустили Nemotron-H
Исследователи взяли обычный трансформер, но большинство слоев внимания заменили на слои Mamba-2. Mamba – это модель из семейства State space models, это такой умный вариант LSTM (вот тут наш понятный разбор того, как SSM работают).
Для модели 56B осталось только 10 слоев селф-аттеншена, а для модели 8B – 4 слоя. С точки зрения экономии ресурсов и ускорения это очень круто, потому что в слоях mamba память константная. То есть вычисления вообще не зависят от длины контекста (в отличие от внимания, которое масштабируется квадратично).
Интуитивно кажется, что тогда должно страдать качество. Но нет: результаты сопоставимы с чистыми трансформерами схожих размеров. Например, Nemotron-H-56B примерно на уровне с Llama-3.1-70B и Qwen-2.5-72B. При этом летает все в 2-3 раза быстрее.
Интересно, появится ли моделька на арене (веса здесь)
arxiv.org/pdf/2504.03624
Исследователи взяли обычный трансформер, но большинство слоев внимания заменили на слои Mamba-2. Mamba – это модель из семейства State space models, это такой умный вариант LSTM (вот тут наш понятный разбор того, как SSM работают).
Для модели 56B осталось только 10 слоев селф-аттеншена, а для модели 8B – 4 слоя. С точки зрения экономии ресурсов и ускорения это очень круто, потому что в слоях mamba память константная. То есть вычисления вообще не зависят от длины контекста (в отличие от внимания, которое масштабируется квадратично).
Интуитивно кажется, что тогда должно страдать качество. Но нет: результаты сопоставимы с чистыми трансформерами схожих размеров. Например, Nemotron-H-56B примерно на уровне с Llama-3.1-70B и Qwen-2.5-72B. При этом летает все в 2-3 раза быстрее.
Интересно, появится ли моделька на арене (веса здесь)
arxiv.org/pdf/2504.03624
👍70🔥17🍓9❤🔥3❤2🤔1🗿1
Оп, Google начали нанимать на позицию Post-AGI Research
Условия: не списывать с книжек по фантастике (по возможности), не предсказать вымирание человечества (по желанию)
Ключевые вопросы включают изучение траектории от AGI к ASI, сознание в машинах, влияние ASI на основы человеческого общества. Вы также будете сотрудничать с кросс-функциональными командами разработки и проводить эксперименты для нашей миссии.
Условия: не списывать с книжек по фантастике (по возможности), не предсказать вымирание человечества (по желанию)
😁194🤯27❤17🗿8🫡7👍3
OpenAI выкатили новый гайд для промпт-инженеринга GPT-4.1 и раскрыли главную загадку длинного контекста
Если у вас длинный контекст + инструкции, то лучше помещать инструкции И в начало, И в конец. Но если вы очень экономите токены, то – в начало. Теперь вы знаете.
Наверное, так специально предобрабатывали трейн, потому что по умолчанию у LLM обычно все наоборот (инструкции перед контекстом воспринимаются хуже).
P.S. В сам гайд тоже советуем заглянуть. Там много примеров и готовых удобных заготовок.
Если у вас длинный контекст + инструкции, то лучше помещать инструкции И в начало, И в конец. Но если вы очень экономите токены, то – в начало. Теперь вы знаете.
Наверное, так специально предобрабатывали трейн, потому что по умолчанию у LLM обычно все наоборот (инструкции перед контекстом воспринимаются хуже).
P.S. В сам гайд тоже советуем заглянуть. Там много примеров и готовых удобных заготовок.
👍92🤔16❤9🍓6🔥4😁2🤯1
This media is not supported in your browser
VIEW IN TELEGRAM
Теперь официально: OpenAI делает соцсеть
Она будет похожа на X. Сейчас уже даже есть внутренний прототип: галерея изображений, сгенерированных пользователями. Ее ночью раскатили на всех юзеров, уже можно посмотреть (бесплатным тоже доступно, да). Пока что стартап собирает фидбэк.
Зачем им это? Первая причина – это данные. Вторая – тоже данные. Много открытых онлайн данных для обучения, как у Meta и XAI. Ну и бесплатная реклама через интеграцию моделей, как для Grok в X.
А теперь вспомним, как пару месяцев назад в ответ на запрос Маска купить OpenAI Альтман ответил «Мы бы лучше купили X». Масштабы пасхалки представили?
Она будет похожа на X. Сейчас уже даже есть внутренний прототип: галерея изображений, сгенерированных пользователями. Ее ночью раскатили на всех юзеров, уже можно посмотреть (бесплатным тоже доступно, да). Пока что стартап собирает фидбэк.
Зачем им это? Первая причина – это данные. Вторая – тоже данные. Много открытых онлайн данных для обучения, как у Meta и XAI. Ну и бесплатная реклама через интеграцию моделей, как для Grok в X.
А теперь вспомним, как пару месяцев назад в ответ на запрос Маска купить OpenAI Альтман ответил «Мы бы лучше купили X». Масштабы пасхалки представили?
👍117🤨48😁15❤12🔥8🤯4🤔3
Сегодня и завтра здесь будет очень много технических ML-докладов и занятных открытых дискуссий. Всем самым интересным будем делиться здесь.
Трансляцию, кстати, уже запустили, так что можете взглянуть на программу и посмотреть доклады в онлайне. Вот на что пойдем сегодня сами и советуем вам:
➖ Доклад про футурологию ИИ и цифровое послесмертие от Константина Воронцова (9:30)➖ Дискуссия про мифы ИИ с Юрием Дорном и Радославом Нейчевым (13:00)➖ Дебаты о науке и жизни с Андреем Райгородским (14:10)➖ Большой разговор про ключевые вызовы в развитии LLM (15:50)➖ Обзор актуальных многообещающих исследований и трендов в ML-ресерче (17:00)➖ Кейс сессии про агентов, ИИ в медицине, MLOps, бигдату и ML в бизнесе (весь день)
Кто участвует оффлайн – подходите общаться!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤77👍28❤🔥12🤯3🔥1🤔1🐳1
This media is not supported in your browser
VIEW IN TELEGRAM
На Kaggle обновление: они продолжают усиливать интеграцию Google Colab
1. Теперь можно синхронизировать апдейты между платформами. Если вы загружали блокнот из Colab, а потом еще раз меняли его в Colab, то на Kaggle эти изменения появятся по одному щелчку мыши.
2. Кроме того, появилась кнопка «Изменить в Colab». Она редиректнет вас из ноутбука Kaggle в Colab, и все внесеннные после этого изменения появятся на Kaggle автоматически.
3. Ну и приятная мелочь: теперь можно импортировать из Colab тетрадки пачками, а не по одной за раз.
www.kaggle.com/product-announcements/570265
1. Теперь можно синхронизировать апдейты между платформами. Если вы загружали блокнот из Colab, а потом еще раз меняли его в Colab, то на Kaggle эти изменения появятся по одному щелчку мыши.
2. Кроме того, появилась кнопка «Изменить в Colab». Она редиректнет вас из ноутбука Kaggle в Colab, и все внесеннные после этого изменения появятся на Kaggle автоматически.
3. Ну и приятная мелочь: теперь можно импортировать из Colab тетрадки пачками, а не по одной за раз.
www.kaggle.com/product-announcements/570265
🔥68👍26❤11🍾2
Data Secrets
Радослав Нейчев: «То, что в науке нет денег – это и миф, и нет» 😭
На Data Fusion сейчас прошла дискуссия про разоблачение мифов в ИИ и ML. Обсудили зарплату теоретиков, то, что бизнес не умеет внедрять ИИ, и даже гуманитариев в ML (да, так тоже можно). Понравилась цитата Радослава Нейчева, руководителя из Яндекса и зам.завкафедры МОиЦГ МФТИ:
Короче, любишь науку – люби и саночки возить. Полную запись сессии смотрите здесь.
На Data Fusion сейчас прошла дискуссия про разоблачение мифов в ИИ и ML. Обсудили зарплату теоретиков, то, что бизнес не умеет внедрять ИИ, и даже гуманитариев в ML (да, так тоже можно). Понравилась цитата Радослава Нейчева, руководителя из Яндекса и зам.завкафедры МОиЦГ МФТИ:
«Хорошие деньги в науке получать можно, просто они висят не так низко, как в других сферах. Тут ничего не заработаешь, если филонить.
В науке нужно постоянно бежать, чтобы просто оставаться на месте. Ты должен быть умен, начитан, трудолюбив и иметь чутье. Это сложно, но это единственный вариант заработать, и то не сразу. Сначала ты работаешь на имя, потом оно на тебя»
Короче, любишь науку – люби и саночки возить. Полную запись сессии смотрите здесь.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍104🤨36❤27🔥10🤯7😁5🫡5✍3💯3👾3🍓2