Уже в 2026 году на Каннском фестивале будут показывать полностью сгенерированный мультик
Его снимает никто иной, как OpenAI.
Бюджет всей картины – менее 30 миллионов долларов. Это в разы меньше, чем обычно требуют мультипликационные съемки, причем основная часть суммы уйдет на художников (они будут отрисовывать образы персонажей) и актеров озвучки.
После Каннов – а они уже в мае, осталось то всего ничего – мультфильм обещают выпустить в прокат. Кстати, название довольно милое: Critterz, то есть Зверята.
Его снимает никто иной, как OpenAI.
Бюджет всей картины – менее 30 миллионов долларов. Это в разы меньше, чем обычно требуют мультипликационные съемки, причем основная часть суммы уйдет на художников (они будут отрисовывать образы персонажей) и актеров озвучки.
После Каннов – а они уже в мае, осталось то всего ничего – мультфильм обещают выпустить в прокат. Кстати, название довольно милое: Critterz, то есть Зверята.
🔥90❤31🗿30
Сентябрь == настроение поучиться. Собрали для всех желающих подборку из свежих бесплатных курсов по ML/DL от топовых мировых университетов
Сразу скажем: в подборке нет старых курсов. Все перечисленное не старше весны 2025 года, так что и информация, и код – актуальны. Все курсы открытые и бесплатные, с большим количеством практики. Везде доступны записи лекций, слайды и доп.материалы, кое-где еще и домашки.
1️⃣ MIT 6.S191: Introduction to Deep Learning. Интенсивный вводный курс по глубокому обучению. Охватывает: основы нейронных сетей, обучение сверточных и рекуррентных сетей, генеративные модели (включая генерацию музыки), большие языковые модели, RL, файнтюнинг. Много практических примеров применения в компьютерном зрении, NLP, биомедицине, играх и тд. Сайт (записи лекций внутри)
2️⃣ Stanford CS231n: Deep Learning for Computer Vision. Отличный базовый курс по CV. В целом около 20 часов лекций с разбором архитектур (CNN, ResNet, трансформеры и др.), методов оптимизации, детекции объектов, сегментации, генеративных моделей, мульти-модального обучения и обучения с подкреплением для CV. Одна из преподавателей – легендарная Фей-Фей Ли. Сайт (тут лекции и материалы), плейлист с лекциями
3️⃣ Stanford CS336: Language Modeling from Scratch. Собственно, внутренность соответствует названию: это прекрасный практический курс по LLM, в котором вы по порядку пройдете все этапы разработки LLM с нуля. Сбор и очистка данных для предобучения, архитектура трансформеров, обучение моделей на GPU-кластерах и масштабирование, оптимизация производительности, файнтюнинг, методы безопасности и alignment. Ну, в общем, прямо от А до Я. Сайт, плейлист
4️⃣ Harvard CS 2881R: AI Safety. Курс запущен в сотрудничестве с OpenAI. Темы уже для продвинутых: технические аспекты элаймента, предотвращение нежелательного поведения, социальные и философские вопросы влияния ИИ, RLHF, Constitutional AI, ограничения и риски современных систем, и даже анализ возможных сценариев и экзистенциальных рисков. Сайт (записи лекций внутри)
5️⃣ CMU 11-785: Introduction to Deep Learning. Совсем свежий курс от университета Карнеги–Меллона, который еще даже не закончился в самом университете. Хороший охват тем: нейросети, прямое и обратное распространение, CNN, CV, рекуррентные и трансформерные архитектуры, оптимизационные алгоритмы (SGD, Adam и др.), регуляризация и тд. Вполне подробно. Затрагивается даже вопрос обобщающей способности. Доступны домашки и их разборы. Записи лекций (уже выложены 4 лекции и 2 семинара, остальное продолжает выходить), сайт
Сохраняйте (а лучше не просто сохраняйте, но и находите время смотреть)👉
Сразу скажем: в подборке нет старых курсов. Все перечисленное не старше весны 2025 года, так что и информация, и код – актуальны. Все курсы открытые и бесплатные, с большим количеством практики. Везде доступны записи лекций, слайды и доп.материалы, кое-где еще и домашки.
Сохраняйте (а лучше не просто сохраняйте, но и находите время смотреть)
Please open Telegram to view this post
VIEW IN TELEGRAM
12❤111🔥37✍9👍7😁6🤯3⚡1
Google завезли кучу полезных обновлений в NotebookLM. Знаем, как вы любите эту тулзу, так что вам должно быть интересно:
1. Добавился формат флэшкарт и квизов. Флэшкарты объяснят вам тему кратко в формате «вопрос-ответ» (+ есть кнопка «Объснить», если где-то захочется подробнее). Формат идеально подходит для самопроверки или повторения. Квизы – это уже полноценные тесты. Количество вопросов и сложность можно менять (+ также есть кнопка «Объяснить»).
2. Reports прокачались + теперь работают на всех языках.
– Во-первых, добавились рекомендации. Вы загружаете свои источники -> NotebookLM смотрит на них и сразу предлагает форматы овервью. Например, если это статья, то может предложить сделать блогпост или white paper с графиками и сравнениями с другими подходами. Если обучающее видео, то стади-гайд, объяснялку и тд.
– Во-вторых, теперь reports можно кастомизировать и добавлять к ним ваши собственные форматы и системные промпты.
3. Обновились знаменитые ИИ-подкасты (audio overview). Теперь в них можно выбрать, насколько глубоко и с какой стороны вы хотите погрузиться в тему через опции Deep Dive / Brief / Critique / Debate. Также работает на всех языках.
И кстати: видеообзоры, когда по вашей теме модель генерирует целую презентацию с озвучкой, теперь также доступны на русском и еще 80 языках.
Если бы у нас такое было во время учебы… Короче, пользуемся, друзья!
1. Добавился формат флэшкарт и квизов. Флэшкарты объяснят вам тему кратко в формате «вопрос-ответ» (+ есть кнопка «Объснить», если где-то захочется подробнее). Формат идеально подходит для самопроверки или повторения. Квизы – это уже полноценные тесты. Количество вопросов и сложность можно менять (+ также есть кнопка «Объяснить»).
2. Reports прокачались + теперь работают на всех языках.
– Во-первых, добавились рекомендации. Вы загружаете свои источники -> NotebookLM смотрит на них и сразу предлагает форматы овервью. Например, если это статья, то может предложить сделать блогпост или white paper с графиками и сравнениями с другими подходами. Если обучающее видео, то стади-гайд, объяснялку и тд.
– Во-вторых, теперь reports можно кастомизировать и добавлять к ним ваши собственные форматы и системные промпты.
3. Обновились знаменитые ИИ-подкасты (audio overview). Теперь в них можно выбрать, насколько глубоко и с какой стороны вы хотите погрузиться в тему через опции Deep Dive / Brief / Critique / Debate. Также работает на всех языках.
И кстати: видеообзоры, когда по вашей теме модель генерирует целую презентацию с озвучкой, теперь также доступны на русском и еще 80 языках.
Если бы у нас такое было во время учебы… Короче, пользуемся, друзья!
5🔥178❤48👍36🕊2😍1
У OpenAI снова проблемы с переходом в коммерческую организацию
В Калифорнии, где находится компания, разгорается конфликт вокруг её реструктуризации. Законы штата обязывают власти защищать интересы благотворительных фондов и дают им право подавать в суд, если некоммерческая организация действует вразрез со своим уставом. Теперь под проверку попала и OpenAI.
К делу уже подключилось множество игроков: крупнейшие фонды, профсоюзы, Meta и, конечно же, Илон Маск с xAI — они требуют от прокурора вмешаться и не допустить превращения OpenAI в прибыльную компанию.
Для OpenAI это крайне опасный прецедент. Вся её финансовая модель завязана на переходе в for-profit. Инвесторы пообещали около $19 млрд, но только при условии получения акций новой структуры. Без этого будущее IPO и дальнейшее финансирование окажутся под угрозой.
Если сделку заблокируют, OpenAI придётся искать обходные пути — например, перенести штаб-квартиру в штат с более мягкими законами.
https://www.wsj.com/tech/ai/openai-for-profit-conversion-opposition-07ea7e25
В Калифорнии, где находится компания, разгорается конфликт вокруг её реструктуризации. Законы штата обязывают власти защищать интересы благотворительных фондов и дают им право подавать в суд, если некоммерческая организация действует вразрез со своим уставом. Теперь под проверку попала и OpenAI.
К делу уже подключилось множество игроков: крупнейшие фонды, профсоюзы, Meta и, конечно же, Илон Маск с xAI — они требуют от прокурора вмешаться и не допустить превращения OpenAI в прибыльную компанию.
Для OpenAI это крайне опасный прецедент. Вся её финансовая модель завязана на переходе в for-profit. Инвесторы пообещали около $19 млрд, но только при условии получения акций новой структуры. Без этого будущее IPO и дальнейшее финансирование окажутся под угрозой.
Если сделку заблокируют, OpenAI придётся искать обходные пути — например, перенести штаб-квартиру в штат с более мягкими законами.
https://www.wsj.com/tech/ai/openai-for-profit-conversion-opposition-07ea7e25
😁84
Qwen продолжают расширять линейку своих моделей и выложили Qwen-3-ASR: модель распознавания речи с отличными метриками на русском
Особенно в релизе хвастаются универсальностью:
– Модель хорошо работает как с обычной речью, так и с песнями/репом/шумами. Word Error Rate (WER) меньше 8% даже в сложных условиях.
– Работает автораспознавание языка (то есть модель сама понимает, на каком языке говорит человек).
– Интересно, что можно подгрузить кастомный словарь. Загружаете список особенных слов или фраз (имена, терминологию или даже искусственно придуманные слова), и модель будет правильно их распознавать без дообучения.
Поддерживает английский, китайский, русский и ещё девять языков.
Единственный нюанс: весов пока нет, непонятно почему тянут. Доступ сейчас через API.
В общем, если выложат веса, то будет идеальный опенсорс для s2t. В том числе отличный вариант для пет проектов.
Демо | Блогпост | API
Особенно в релизе хвастаются универсальностью:
– Модель хорошо работает как с обычной речью, так и с песнями/репом/шумами. Word Error Rate (WER) меньше 8% даже в сложных условиях.
– Работает автораспознавание языка (то есть модель сама понимает, на каком языке говорит человек).
– Интересно, что можно подгрузить кастомный словарь. Загружаете список особенных слов или фраз (имена, терминологию или даже искусственно придуманные слова), и модель будет правильно их распознавать без дообучения.
Поддерживает английский, китайский, русский и ещё девять языков.
Единственный нюанс: весов пока нет, непонятно почему тянут. Доступ сейчас через API.
В общем, если выложат веса, то будет идеальный опенсорс для s2t. В том числе отличный вариант для пет проектов.
Демо | Блогпост | API
2❤🔥90👍50🔥28❤15
Media is too big
VIEW IN TELEGRAM
Итак, прошла презентация Apple (ну вы наверное уже видели оранжевый iPhone)
Как и ожидалось, в сфере ИИ ничего сверх-интересного. Исключение: синхронный голосовой перевод в AirPods Pro 3 и в айфоне. Это, как говорят разработчики, будет мгновенный перевод, работающий и для звонков, и для чатов, и (в случае с наушниками) для живой речи.
Обещают красиво, но на реальную точность перевода и задержку надо смотреть на практике. Если не будет сильно тормозить и ошибаться – Apple молодцы.
Из остального:
– Для звонков и чатов будет реализована быстрая подсветка истории контакта. То есть у каждого контакта в списке последних вызовов появится краткая автоматическая сводка ваших предыдущих диалогов с этим человеком. Прикольно, но по ощущениям не слишком полезно.
– Для организации галереи и контента на устройстве теперь будут использоваться персонализированные ИИ-фильтры. Фото, например, будут сразу классифицироваться по кастомным коллекциям.
– Мельком упомянули, что ИИ также будет использован для оптимизации батареи во всех аксессуарах (Apple Watch, AirPods), а также для улучшения адаптации звука и шумоподавления в наушниках.
Ну и, по классике, обещают, что вся обработка происходит локально на устройстве без передачи данных на серверы. Верим✨
Как и ожидалось, в сфере ИИ ничего сверх-интересного. Исключение: синхронный голосовой перевод в AirPods Pro 3 и в айфоне. Это, как говорят разработчики, будет мгновенный перевод, работающий и для звонков, и для чатов, и (в случае с наушниками) для живой речи.
Обещают красиво, но на реальную точность перевода и задержку надо смотреть на практике. Если не будет сильно тормозить и ошибаться – Apple молодцы.
Из остального:
– Для звонков и чатов будет реализована быстрая подсветка истории контакта. То есть у каждого контакта в списке последних вызовов появится краткая автоматическая сводка ваших предыдущих диалогов с этим человеком. Прикольно, но по ощущениям не слишком полезно.
– Для организации галереи и контента на устройстве теперь будут использоваться персонализированные ИИ-фильтры. Фото, например, будут сразу классифицироваться по кастомным коллекциям.
– Мельком упомянули, что ИИ также будет использован для оптимизации батареи во всех аксессуарах (Apple Watch, AirPods), а также для улучшения адаптации звука и шумоподавления в наушниках.
Ну и, по классике, обещают, что вся обработка происходит локально на устройстве без передачи данных на серверы. Верим
Please open Telegram to view this post
VIEW IN TELEGRAM
😁125👍36❤20🗿8🔥5
Media is too big
VIEW IN TELEGRAM
Claude теперь умеет генерировать и редактировать pdf-ки, табличные файлы и презентации
Не слишком часто пишем про новые фичи ботов, но это приятная и интересная. Даете промпт – а вам на выход файл. Или вы файл – вам на выход отредактированный вариант.
Работает это так: у Claude есть доступ к частному окружению, в котором он пишет и запускает код для создания файлов, которые затем отправляет пользователю в чат.
Теоретически такая система открывает много возможностей: продвинутый анализ данных, обработка всяких фото/видо/аудио, да и вообще работа со всеми видами файлов. Так что ждем и других агентских фичей от Anthropic, а пока наслаждаемся генерацией таблиц и документов.
www.anthropic.com/news/create-files
Не слишком часто пишем про новые фичи ботов, но это приятная и интересная. Даете промпт – а вам на выход файл. Или вы файл – вам на выход отредактированный вариант.
Работает это так: у Claude есть доступ к частному окружению, в котором он пишет и запускает код для создания файлов, которые затем отправляет пользователю в чат.
Теоретически такая система открывает много возможностей: продвинутый анализ данных, обработка всяких фото/видо/аудио, да и вообще работа со всеми видами файлов. Так что ждем и других агентских фичей от Anthropic, а пока наслаждаемся генерацией таблиц и документов.
www.anthropic.com/news/create-files
👍112❤41🔥17🦄3😁1🫡1
Media is too big
VIEW IN TELEGRAM
Посмотрели интересное интервью Фей-Фей Ли для a16z. Захотелось пересказать здесь то, что она говорит про AGI и развитие LLM:
Ее идеи, кстати, удивительно похожи на идеи Лекуна. Им бы объединиться и в одну лабу…
Язык – это на самом деле искусственный сигнал. В природе языка не существует. Если вы подаете на вход модели язык, то она действительно может его генерализировать и на выходе давать данные с достаточной силой обобщения, но это тоже будет только язык. То есть это language to language модели.
Но мир на самом деле трехмерный и подчиняется законам физики, а не языка. Он имеет собственные структуры благодаря материалам и другим вещам. Извлечь из этого мира информацию, уметь её представлять и генерировать – это по существу совершенно другая задача.
Конечно, можно использовать идеи LLM для ее решения, но просто масштабированием языковых моделей не добиться AGI. Будущее – в появлении моделей пространственного интеллекта (Genie – хороший пример).
Ее идеи, кстати, удивительно похожи на идеи Лекуна. Им бы объединиться и в одну лабу…
🔥220👍76❤32🗿13🤔8💯8
Ни одна презентация Apple не обходится без последующих мемов
В этот раз соцсети заполонили шутки про синхронный перевод в новых AirPods.
Ну в общем, мы поддержали тренд и тоже мемов придумали. Переводим с ML-ного на человеческий🤫
В этот раз соцсети заполонили шутки про синхронный перевод в новых AirPods.
Ну в общем, мы поддержали тренд и тоже мемов придумали. Переводим с ML-ного на человеческий
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁470❤50👍17🔥9
Ларри Эллисон (CEO Oracle) обогнал Илона Маска и стал самым богатым человеком на Земле. Все благодаря OpenAI.
Они заключили с Oracle контракт (внимание!) на 300 миллиардов долларов.
Он вступает в силу в 2027 году, и OpenAI придется платить в среднем 60 миллиардов долларов в год в течение пяти лет, чтобы выплатить всю сумму (интересно, где они столько возьмут).
Это крупнейшая сделка в истории облачных вычислений. На ее фоне акции Oracle подскочили уже на 37%.
Понятно, что со всеми текущими новостями про инвестиции, расходы стартапов и тд эти огромные числа уже немного притерлись. Так что давайте просто вспомним, что на самом деле такое 300 миллиардов долларов:
– Это примерно 1.5 миллиона квартир в Москве
– 6 годовых бюджетов Казахстана
– 2.6 миллиона биткоинов
Сам OpenAI сейчас стоит 500 миллиардов, то есть это 60% цены стартапа.
Ларри, конечно, поздравляем. Маску сочувствуем😐
Они заключили с Oracle контракт (внимание!) на 300 миллиардов долларов.
Он вступает в силу в 2027 году, и OpenAI придется платить в среднем 60 миллиардов долларов в год в течение пяти лет, чтобы выплатить всю сумму (интересно, где они столько возьмут).
Это крупнейшая сделка в истории облачных вычислений. На ее фоне акции Oracle подскочили уже на 37%.
Понятно, что со всеми текущими новостями про инвестиции, расходы стартапов и тд эти огромные числа уже немного притерлись. Так что давайте просто вспомним, что на самом деле такое 300 миллиардов долларов:
– Это примерно 1.5 миллиона квартир в Москве
– 6 годовых бюджетов Казахстана
– 2.6 миллиона биткоинов
Сам OpenAI сейчас стоит 500 миллиардов, то есть это 60% цены стартапа.
Ларри, конечно, поздравляем. Маску сочувствуем
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥124
Стартап Миры Мурати Thinking Machines внезапно анонсировал свой рисерч блог Connectionism, и в нем уже есть первая статья
Статья, кстати, на очень интересную и редкую тему. Но сначала два слова про название Connectionism. Оно выбрано не случайно: в 80-х так называлась отрасль искусственного интеллекта, которая изучала сходство нейронных сетей с биологическим мозгом. Вот такая занятная деталь.
В блоге Thinking Machines обещают постить на довольно разнообразные темы, от промпт-инжинеринга до проектирования ядер. И первая статья как раз посвящена вот такой глубоко технической теме: воспроизводимость (детерминированность) ответов LLM.
Ясно, что ответы LLM – вещь случайная, то есть на один и тот же промпт она может раз из раза отвечать по-разному. Объясняется это тем, что во всех моделях на инференсе на самом деле выбирается не просто самый вероятный токен. Здесь замешана доля случайности, за которую отвечает гиперпараметр "температура".
Если температура ближе к 1, то из распределения вероятностей модель чаще будет выбирать токены с меньшими значениями, и ответы будут разнообразнее и креативнее. Если ближе к 0, то чаще будут выбираться просто самые вероятные токены, и ответы будут стабильнее.
По всей логике, если температура = 0, то ответы на одни и те же запросы не должны отличаться совсем. Но, оказывается, что это не так.
Почему? Принято было считать, что просто из-за параллельных вычислений: порядок сложения чисел на GPU может меняться, давая слегка разные результаты. Но TM разобрались глубже и показали, что это не совсем так, и причина еще менее очевидная:
– Когда модель работает на проде, на сервер одновременно приходят запросы от многих пользователей. В зависимости от нагрузки, фреймворк объединяет их в батчи разного размера: сейчас это может быть 8 последовательностей, через секунду — 32, потом 4. Это нужно, чтобы эффективно загружать GPU.
– Сам по себе матмуль, даже при распараллеливании, дает детерменированные результаты для одинаковых входов. Это называется run-to-run deterministic. Но если меняется размер батча, все тут же ломается. Математически это странно, тк элементы в батче должны обрабатываться независимо, но на практике оптимизации под GPU (другой порядок операций, разбиение на блоки и т.д.) приносят вот такие результаты.
– В итоге из-за постоянных изменений размера батча числа внутри модели чуть-чуть плавают. И даже если температура 0, на каком-то шаге эти крошечные различия могут привести к тому, что модель выберет другой токен, и ответ пойдёт по иному пути.
В статье показали, как такое исправить (по сути, как реализовать batch-invariant ядра). Мы оставим ссылку, там в тексте много выкладок, схем и кода: посмотрите, кому интересно.
Для пользователей такое, конечно, реализовывать никому не нужно, но вот для всяких отладок, элаймент тестов и прочей безопасности – имба.
В общем, Thinking Machines сегодня прямо порадовали. Надеемся, в новом блоге они будут почаще что-нибудь выкладывать.
thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/
Статья, кстати, на очень интересную и редкую тему. Но сначала два слова про название Connectionism. Оно выбрано не случайно: в 80-х так называлась отрасль искусственного интеллекта, которая изучала сходство нейронных сетей с биологическим мозгом. Вот такая занятная деталь.
В блоге Thinking Machines обещают постить на довольно разнообразные темы, от промпт-инжинеринга до проектирования ядер. И первая статья как раз посвящена вот такой глубоко технической теме: воспроизводимость (детерминированность) ответов LLM.
Ясно, что ответы LLM – вещь случайная, то есть на один и тот же промпт она может раз из раза отвечать по-разному. Объясняется это тем, что во всех моделях на инференсе на самом деле выбирается не просто самый вероятный токен. Здесь замешана доля случайности, за которую отвечает гиперпараметр "температура".
Если температура ближе к 1, то из распределения вероятностей модель чаще будет выбирать токены с меньшими значениями, и ответы будут разнообразнее и креативнее. Если ближе к 0, то чаще будут выбираться просто самые вероятные токены, и ответы будут стабильнее.
По всей логике, если температура = 0, то ответы на одни и те же запросы не должны отличаться совсем. Но, оказывается, что это не так.
Почему? Принято было считать, что просто из-за параллельных вычислений: порядок сложения чисел на GPU может меняться, давая слегка разные результаты. Но TM разобрались глубже и показали, что это не совсем так, и причина еще менее очевидная:
– Когда модель работает на проде, на сервер одновременно приходят запросы от многих пользователей. В зависимости от нагрузки, фреймворк объединяет их в батчи разного размера: сейчас это может быть 8 последовательностей, через секунду — 32, потом 4. Это нужно, чтобы эффективно загружать GPU.
– Сам по себе матмуль, даже при распараллеливании, дает детерменированные результаты для одинаковых входов. Это называется run-to-run deterministic. Но если меняется размер батча, все тут же ломается. Математически это странно, тк элементы в батче должны обрабатываться независимо, но на практике оптимизации под GPU (другой порядок операций, разбиение на блоки и т.д.) приносят вот такие результаты.
– В итоге из-за постоянных изменений размера батча числа внутри модели чуть-чуть плавают. И даже если температура 0, на каком-то шаге эти крошечные различия могут привести к тому, что модель выберет другой токен, и ответ пойдёт по иному пути.
В статье показали, как такое исправить (по сути, как реализовать batch-invariant ядра). Мы оставим ссылку, там в тексте много выкладок, схем и кода: посмотрите, кому интересно.
Для пользователей такое, конечно, реализовывать никому не нужно, но вот для всяких отладок, элаймент тестов и прочей безопасности – имба.
В общем, Thinking Machines сегодня прямо порадовали. Надеемся, в новом блоге они будут почаще что-нибудь выкладывать.
thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/
2❤217👍66🏆16😁4🕊4🤨2