Data Secrets
77.3K subscribers
6.03K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
AIRI показали универсального ИИ-агента для роботов и индустриальных процессов, способного к самообучению и самокоррекции

Институт выкатил новую Action-модель под названием Vintix, и она умеет кое-что по-настоящему крутое. В отличие от классических агентов, Vintix не просто выполняет задачи, а имитирует сам процесс обучения с подкреплением. То есть, учится сама — даже если вы даёте минимум обратной связи.

Внутри — трансформер с расширенным контекстом и очень плотным представлением данных: состояние, действие и награда сжаты в один токен. Это даёт в 3 раза больше информации на вход, чем у аналогов вроде GATO от DeepMind или JAT от HuggingFace.

Агент устойчив к шуму, задержкам и неполной информации, что критично для промышленных задач. Его уже прогнали по целой серии бенчмарков: от базовой моторики до сложных сценариев с шумом и многозадачностью. В итоге: универсальность + стабильность и на симуляциях, и на производственных задачах. Сейчас модель работает в симуляции на RTX 3070 со стабильными 30 Гц. В будущем обещают мультимодальность (видео, сенсоры), больше данных и переход к более долгосрочному планированию.

А ещё Vintix в опенсорсе. Статью покажут на ICML в июле 2025. Следим 👀
🔥107🤯20👍1911👌4🏆2
Media is too big
VIEW IN TELEGRAM
"В ближайшем будущем диффузионные текстовые модели могут заменить трансформеры", – Иван Оселедец, гендир AIRI

Иван Валерьевич – доктор физико-математических наук, профессор РАН, лауреат многих научных премий, автор огромного количества статей по математике и ML и генеральный директор AI-лаборатории AIRI.

Сегодня нам удалось пообщаться с ним после его доклада про агентов и ризонинг на МТС True Tech Day. Поговорили о новых архитектурах и возможных альтернативах трансформеру:

"В целом, есть подходы, связанные с фотоникой или, например, нейроморфными вычислениями. Но они сильно отстают по качеству.

К тому же, люди, которые этим занимаются, больше увлечены физикой, а не ML. Поэтому часто эти работы не уходят дальше "ого, это заработало на MNIST'e". Прорыв будет, когда это заработает для LLM. Пока что здесь есть большой gap между разработчиками железа, разработчиками архитектур и бизнесменами.

В short term я бы ставил на диффузионные языковые модели. Пару лет назад они были плохи, а сейчас их научились обучать, и оказалось, что они работают неплохо. Сейчас уже есть настоящая диффузионная LLM – Gemini Diffusion. У нее большой выигрыш на инференсе: она дает сильно больше токенов в секунду. Это серьезный аргумент в пользу конкуренции с трансформером"


Почитать, как работают диффузионные языковые модели и Gemini Diffusion, можно в этом, этом и этом наших разборах.

Кроме того, Иван немного рассказал о них в своем сегодняшнем докладе на МТС True Tech Day (а еще рассказывал много интересного об истоках ризонинга, масштабировании моделек и агентах). Советуем посмотреть полностью здесь, будет полезно.
117👍50🔥30😁7🤓4🤔3
Data Secrets
"В ближайшем будущем диффузионные текстовые модели могут заменить трансформеры", – Иван Оселедец, гендир AIRI Иван Валерьевич – доктор физико-математических наук, профессор РАН, лауреат многих научных премий, автор огромного количества статей по математике…
Nvidia не перестает радовать: совместно с Корнеллским Университетом они предложили Eso-LM – новую архитектуру, сочетающую в себе авторегрессию и диффузию

Буквально в прошлом посте мы написали, что, возможно, за диффузионными текстовыми моделями будущее, – и сразу же наткнулись на только что выпущенную статью Nvidia про новую архитектуру, основанную на этой идее.

Кратко разбираем:

Авторегрессивные модели (трансформеры) генерируют токены слева направо, а диффузионные – постепенно размаскировывают последовательность в любом порядке. Это значит, что диффузию можно параллелить на инференсе, восстанавливая по нескольку токенов за раз, а трансформеры – нет. В Eso-LM авторы попытались соединить два подхода, чтобы качество было, как у авторегрессии, а скорость – как у диффузии.

Тут у нас две фазы инференса. Сначала диффузионная: модель параллельно восстанавливает большинство токенов. Затем авторегрессивная: оставшиеся замаскированные позиции достраиваются последовательно слева направо.

При этом в диффузионной фазе токены восстанавливаются по заранее заданному расписанию, которое определяется перестановкой индексов σ – эта схема определяет, какие позиции размаскируются на каждом шаге. Благодаря тому, что порядок фиксирован, для уже восстановленных токенов можно накапливать KV-кеш и быстро переиспользовать его в автоконтекстной фазе. Это называется казуальным вниманием.

В итоге у нас: качество – трансформеров, а скорость – диффузии. На тестах Eso-LM демонстрирует perplexity около 25.97 против 22.83 у обычного авторегрессивного трансформера.

Статья полностью
Please open Telegram to view this post
VIEW IN TELEGRAM
131🏆33👍16❤‍🔥8🔥8🤯7
Такую вот битву роботов сегодня наблюдали на МТС True Tech Day

Организаторы построили настоящую небольшую арену и весь день проводили там вот такие заварушки. Попробовать поуправлять роботом мог каждый участник (мы тоже пытались).

Это, кстати, была не единственная активность: еще можно было попробовать решить айти-тест одновременно с ездой на велосипеде, попытаться взломать систему Tesla Model X (как тебе такое, Илон Маск?), пройти полосу препятствий или даже заняться гик-хэндмейдом.

На хэндмейд не успели, но ребята там паяли себе декоративные платы с AI-помощниками и эмуляторами. Идеальный аксессуар на рюкзак, не то что эти ваши Лабубу.
🔥47🗿15😁9👻5🦄54
+900 миллионов долларов на вайб-кодинг: Cursor сообщили о том, что привлекли новый раунд инвестиций

Для них это уже серия C. Финансирование дали Thrive, Accel, Andreessen Horowitz и DST (это очень крупные и влиятельные фонды).

Кстати, стабильная годовая выручка Cursor с подписок уже превышает 500 миллионов долларов. Напоминаем, что стартапу всего два года.
121👍50🔥3521🕊3🦄3😁2
Media is too big
VIEW IN TELEGRAM
Eleven Labs удивили всех своей новой моделью синтеза речи

Казалось бы, в наше время уже сложно таким впечатлить, но их новая text2speech Eleven v3 смогла. Послушайте демо и сами все поймете.

Модель может: петь, смеяться, вздыхать, шептать. И, в целом, звучит все ну очень естественно (даже иногда не по себе 😬). Можно генерировать мульти-голосовые диалоги и детально контролировать интонации тегами (как на видео). Поддерживают около 70 языков, русский тоже.

Сейчас модель вышла в публичную альфу, и в июне на нее будут скидки 80%. Пишут, что, так как это исследовательское превью, модель пока требует больше промпт инжиниринга. Видимо, пока не тюнили отдельно на instruction following.

Пробуем здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
👍143🔥8026🤯15
Немного о том, как ИИ меняет внутренние рабочие процессы в бигтехе

В последнее время так и сыпятся новости о том, как бигтехи внедряют ИИ в написание кода и автоматизируют разработку. Microsoft хвастается, что у них AI пишет уже 30% кода, стартапы открывают вакансии вайб-кодеров, и даже в OpenAI разработчики делигируют задачи в ChatGPT.

У нас девелоперы тоже не отстают. Даниэль, фронтенд-разработчик из Яндекса рассказал о том, как у них нейросети меняют рабочие процессы. В компании тоже активно внедряют ИИ во всех командах.

Причем очень многие пилят свои пет-проекты и MCP, которые затем распространяются по командам, и на фоне этого образовывается целое сообщество. Сейчас во внутреннем чатике энтузиастов уже более 1000 человек.

О конкретных кейсах и о том, чем именно чаще всего пользуются сотрудники – читайте сами в посте. Очень показательно.

Поделитесь, какой процент строк кода в ваших проектах уже написан сетями?
😁5518👍16🔥8🗿8🤯31
Data Secrets
+900 миллионов долларов на вайб-кодинг: Cursor сообщили о том, что привлекли новый раунд инвестиций Для них это уже серия C. Финансирование дали Thrive, Accel, Andreessen Horowitz и DST (это очень крупные и влиятельные фонды). Кстати, стабильная годовая…
А пока Cursor празднует новый раунд инвестиций, у других провайдеров вайб-кодинга Windsurf что-то пошло не так

Anthropic почти полностью отрубили им доступ к своим моделям, включая так любимые разработчиками Sonnet 3.7 и 3.5.

Все из-за того, что стартап покупает OpenAI (подробности – здесь). Кстати, подтверждения окончательной сделки пока все еще не было, но антропики видимо решили действовать заранее.

Они говорят, что ограничены в вычислениях, и хотели бы тратить их на «более надежное сотрудничество». CSO Anthropic Джаред Каплан сказал, что «было бы странно продавать наши модели OpenAI».

В чем они не правы?
🔥92🤯3420😁13👍86💯2🤓1
На Тех-Френдли Викенд готовят ивент, который позволит по-настоящему примерить на себя роль кибербезопасника

Организаторы фестиваля проведут мастер-класс «Ctrl+Alt+Defend» от ведущего провайдера комплексного кибербеза «Солар». Под руководством опытных экспертов вы будете расследовать инциденты, выявлять уязвимости и даже отражать смоделированные атаки на «Тех-Френдли Викенд» в режиме реального времени.

Идеальная возможность попробовать свои силы и новую специальность.

Мастер-класс пройдет 8 июня в 13:30 в Нижнем Новгороде (молодежный центр «Высота»).

Не забудьте зарегистрироваться и пройти быстрое тестирование, чтобы вас могли распределить в нужную команду: пентест, blue team или CISO.

Ну а если не готовы ехать в Новгород, проходите интерактивные задания у ребят в блоге и выигрывайте мерч "Солара".
13😁4👀2🗿2
Data Secrets
Дилан Патель считает, что у Anthropic есть модели сильнее, чем o3, но они не релизят их из соображений безопасности Патель – очень известный в сети ИИ-аналитик и ведущий эксперт SemiAnalysis, которые как раз специализируются на исследованиях и консалтинге…
Media is too big
VIEW IN TELEGRAM
Дилан Патель говорит что, судя по всему, OpenAI достигли потолка своих вычислительных возможностей

Их последний раунд претрейна (видимо, для GPT-4.5) был насколько масштабным, что они буквально уперлись в потолок и не смогут сделать ничего больше (в плане размера моделей), пока не появится Старгейт.

Поэтому сейчас фокус смещается на новые архитектуры, обучение с подкреплением и работу над эффективностью моделей.

Напоминаем, что Старгейт тем временем уже строится
🤔1303824👍5543😁3🕊2🤨1
Иллюзия рассуждений: Apple выпустили честную статью про ограничения ризонинг-моделей

Мы уже привыкли, что если дать модели возможность "подумать" перед ответом (aka просто погенерировать некоторое количество черновых токенов), то она будет отвечать гораздо лучше по сравнению с моделями без ризонинга.

Но на самом деле ризонинг модели, их способности и масштабируемость изучены очень мало. Все, что мы видели, это графики "чем больше компьюта – тем лучше ответы", но это взгляд только с одной стороны, и, вообще говоря, о самой природе ризонинга мы знаем немного.

Apple решили немного развеять мифы вокруг рассуждений и провели простой эксперимент. Они взяли несколько головоломок, которые можно итерационно усложнять и стали сравнивать на них ризонинг модели с обычными.

Ну, например, Хайнойская башня. Для трех колец она решается довольно легко, для четырех сложнее, для десяти еще сложнее и тд (но вообще-то существует общий алгоритм). Так вот, итог:

На низкой сложности задач немыслящие LLM оказались лучше ризонинг-моделей. На средней сложности CoT действительно начинает давать преимущество, но на высокой и ризонеры, и обычные модели фейлятся полностью, вне зависимости от бюджета компьюта.

При этом на несложных задачах часто происходит overthinking: модель почти сразу доходит до правильного ответа, но не фиксирует его, не останавливается и зачем-то продолжает "думать", просто чтобы потратить бюджет ризонинга.

А на сложных задачах – наоборот. При приближении к критической сложности модели сокращают объём «think» токенов, хотя лимит не исчерпан – они просто устают думать раньше времени.

Даже когда модельке дают готовый общий алгоритм решения, её точность не растёт, и коллапс происходит в тех же точках сложности.

Ну и, плюс, рассуждения почему-то не генерализируются. На более известных головоломках модель еще как-то думает, а на менее известных, даже если они легче, рассуждения не помогают, и точность падает даже на низких уровнях.


Согласитесь, это местами контр-интуитивно и не совпадает с тем, как обычно позиционируют ризонинг-модели поставщики: того самого устойчивого масштабирования и ага-моментов не наблюдается.

И уж тем более такое поведение мало похоже на процесс мышления в привычном человеческом смысле. Видимо, AGI нам все-таки еще долго не видать.

machinelearning.apple.com/research/illusion-of-thinking
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
175👍86🤔20🔥16😁5👏3💯3🤨3🤯2🗿2
Ян Лекун назвал CEO Anthropic Дарио Амодеи аморальным ИИ-думером с комплексом превосходства

Вчера в Threads Лекун выложил мем, в котором поиронизировал над AI-думерами (так, если что, называют людей, которые преувеличивают опасности ИИ). Юмор зацените сами ⬆️

Так вот в комментах к этому посту ученого спросили, считает ли он ИИ-думером Дарио Амодеи. На что Лекун ответил:

«Да, он думер, но при этом продолжает заниматься AGI. Это может означать одно из двух:

1. Он интеллектуально нечестен или морально испорчен.

2. У него огромный комплекс превосходства — он считает, что только он достаточно просвещён, чтобы иметь доступ к ИИ, а «немытые массы» слишком глупы или аморальны, чтобы пользоваться таким мощным инструментом.

На деле он просто очень заблуждается относительно опасностей и возможностей современных ИИ-систем»


Вот так вот создаешь свою компанию, вкладываешь миллиарды в элаймент и исследования по интерпретируемости, а потом «получается», что у тебя просто комплексы
154😁913185🗿4👍2❤‍🔥1🏆1💘1
Media is too big
VIEW IN TELEGRAM
Илья Суцкевер получил степень почетного доктора наук и впервые за долгое время произнес речь на публике

Доктор наук honoris causa – это более высокая степень, чем PhD. Она присуждается не в результате обучения и не за защиту диссертации, а за значительный вклад в науку.

Суцкеверу премию присудил университет Торонто, в котором он раньше был аспирантом и занимался ИИ-исследованиями с Джеффри Хинтоном. Это четвертая степень Ильи от этого университета.

Полная речь ученого в честь получения премии – здесь. Мы выделили несколько значимых цитат:

Как я понимаю, в речи на выпускной церемонии принято давать мудрые советы. Я дам один — всего один. Есть состояние ума, которое, если его принять, делает вещи намного проще: принимать реальность такой, какая она есть, не жалеть о прошлом, а стараться улучшать ситуацию.


Наступит время, когда ИИ сможет делать все, что умеем мы. Я в этом уверен, потому что
наш мозг — это биологический компьютер
. А если биологический компьютер может это делать, то почему цифровой компьютер не сможет?


Есть цитата: «Вы можете не интересоваться политикой, но политика заинтересуется вами»
.
С ИИ это работает
ещё в большей степени
.


В конце концов, никакие статьи или объяснения не заменят того, что мы видим своими глазами. Главное – не отворачивайтесь от ИИ.
Смотрите внимательно, думайте, готовьтесь.
Когда придет время, именно это даст вам силы справиться с колоссальными изменениями.


Вызов ИИ –
величайший в истории человечества
. Но и награда за его преодоление может стать самой большой. Нравится вам это или нет — ИИ повлияет на вашу жизнь в огромной степени.
1🔥30792👍461010🤯7🗿6👌53👏1💯1