У Цукерберга тем временем вышло новое интервью (видимо в честь релиза модельки). Некоторые занятные мысли бизнесмена оттуда:

➡️В будущем у нас будет не один ИИ-бог (то есть сверхмодель), а миллиарды ИИ-агентов, которые будут версиями нас самих

➡️Скорее всего, таких агентов будет даже больше, чем людей: художники, предприниматели и бизнес будут создавать сразу много моделей, которые будут взаимодействовать с миром от их лица

➡️Альтман, конечно, заслуживает огромного уважения за его заслуги, но «немного иронично» иметь компанию под названием OpenAI и выпускать закрытые модели 🔵

➡️ У Meta уже есть настроенный вычислительный кластер, некоторые данные и архитектура, а также прямо сейчас они проводят эксперименты для того, чтобы максимально увеличить время обучения их следующей модели — Llama 4

➡️Мы все еще должны отличать человека от интеллекта, загруженного в облако, ведь личностью нас делают не только мысли, но и такие вещи, как энергия и любовь 🥹

🇫🇷 Mistral разбавляет Llama-повестку дня своей новой моделью

Да-да, еще и дня не прошло с релиза прошлой громкой LLMки, а вот уже и новая подоспела. У свежей Large 2 от французов 123B параметров, контекст как у новой ламы (128к), опенсорс.

Особенно выделяется в математике и программировании. В целом, не SOTA, конечно, но свое почетное место займет. Вот веса на HF.

Видимо, скоро придется вообще из новостей не вылезать, чтобы за всем уследить 😅

OpenAI грозит финансовый крах?

По данным нового отчета The Information, в 2024 компания может потерять до 5 миллиардов долларов. По данным их инсайдеров, по состоянию на март этого года OpenAI уже потратила почти $4 миллиарда на аренду серверов.

Плюсом к этому идут затраты на обучение (по оценкам, $3 млрд). Кстати, в начале года на это планировалось потратить всего $800 млн, но что-то пошло не по плану.

+ Зарплаты, которые составляют примерно $1.5 млрд. Учитывая, что общая выручка оценивается примерно в $4 млрд, несложная математика указывает на огромный дефицит. Похоже, Microsoft опять пора готовиться расчехлять кошелек.

Когда у тебя почти самый быстрорастущий бизнес в истории, а денег все равно нет 🔵

В продолжении утреннего поста о возможном финансовом крахе OpenAI. Мы заинтересовались и собрали по сети еще несколько свежих артефактов о рынке. Оцените сами:

⚪️ Bloomberg отметил в статье, что инвесторы не уверены, что вложения компаний в ИИ смогут быстро окупиться.
⚪️ Материнская компания Google – Alphabet – превзошла ожидания аналитиков по прибыли, но трейдеры все же негативно восприняли рост капиталовложений Alphabet. На фоне общей картины рынок акций США резко обвалился, падение S&P 500 и Nasdaq стало максимальным с 2022г.
⚪️ Многие стартапы уходят с рынка из-за маленькой возможности роста и дороговизны разработки, из недавнего например: сервис бывшего ML-разработчика Google — CreatorML. Из-за высокой стоимости разработки и поддержки сервиса сервис пришлось закрыть.

Верим в рынок или все-таки пузырь? 😭

⚡️ Вышел PyTorch 2.4

▪️ Завезли поддержку Python 3.12 для torch.compile
▪️ AOTInductor Freezing теперь и для простых смертных CPU
▪️ Какие-то новые питоновские кастомы в API
▪️ По дефолту бэкенд теперь на libuv 🦖

Подробности здесь и в Q&A видосе

Breaking! SearchGPT на базе

Майские слухи оказались правдой: OpenAI официально анонсировала поисковик. Но…

Это лишь временный прототип. То есть Google, скорее всего, бояться рано: это просто красивое демо функции, которая станет просто частью функционала ChatGPT.

Видимо, все эти многочисленные контракты с крупными изданиями были направлены именно на этот продукт (чтобы не пришлось втихушку парсить ботами).

Будем ждать новостей 😇

Просто пару дней из жизни AI-индустрии 🥹

😯 Hugging Face обслуживает около 6 петабайт данных В ДЕНЬ. Другими словами, это 6 квадриллионов байт и, в среднем, 1 миллиард запросов.

* Информацией поделился тех.лид компании в соцсетях

🤗 HuggingFace там ворвался со своей моделью для анализа видео

Ладно, «со своей» – это громко сказано. На самом деле они просто взяли открытую Video-LLaVA и зафайнтюнили ее на датасете CinePile.

Несмотря на то, что никаких новых архитектурных трюков не было, прирост в качестве наблюдается неплохой. Все из-за хорошего датасета: он замысловатый и направлен специально на улучшение понимания видео целиком, а не отдельных его кадров.

Вот код. В репе два интересных ноутбука: с файнтюнингом и инференсом. Веса модели здесь.

Разбор T-lite: новой LLM от Т-банка

На конференции Turbo ML Conf исследователи из Т-банк неожиданно представили свою LLM, которая по бенчмаркам показывает себя лучше GPT-3.5, LLama-3, GigaChat и YandexGPT.

Что же под капотом у этой новой российской финтех SOTA? Действительно ли метрики так хороши? Сколько стоила банку разработка? На эти и другие вопрос мы ответили в мини-разборе T-lite у нас на сайте.

Автор статьи – наш приглашенный спецкор Дмитрий Сираков – Data Science Engineer и автор крутого ML-канала @dimension_ai.

Кстати, никакого тех.отчета о модели все еще нет, поэтому разбор написан автором прямиком на базе офлайн-доклада на конференции 🤫

Читать тут: https://datasecrets.ru/news/31