Data Secrets
77.4K subscribers
6.05K photos
593 videos
20 files
2.43K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
На тему утренних новостей 🥴
😁104🔥12🎃8👍22
This media is not supported in your browser
VIEW IN TELEGRAM
Тем временем новая Dream Machine (мы писали об этой модели тут) наконец разрешила философскую проблему вагона.

Ей на вход подали знаменитую фотографию, которую модель оживила… как посчитала нужным.
😁184🔥2185👍3😐1
Метод Монте-Карло для поиска по дереву мощно повышает способности LLM к математике

Этот алгоритм в ML совсем не ноу-хау: его использовали в AlphaGo и AlphaZero, а сейчас он активно исследуется учеными из OpenAI для той самой загадочной G*. И вот на днях вышла статья из Китая: там придумали использовать поиск Монте-Карло для уточнения ответов LLM на вопросы по математике.

В целом подход такой: выбор наиболее перспективной вершины дерева (это некоторый ответ на задачу) –> "самоуточнение", когда LLM генерирует фидбек для улучшения ответа –> самооценка с помощью ревард-модели (как в RL) –> обратное распространение ошибки -> обновление дерева.

Таким методом на тестах удалось приблизить мат. талант Llama-3 8B к cпособностям гораздо более крупного GPT-4, и это звучит очень неплохо.

Полный текст статьи тут.
🎉56👍20🔥742😁1
🚀 NumPy 2.0 уже здесь!

Еще раз основные новшества: появились типы строковых данных, ускорены многие фукнции, улучшено API. Более подробно обо всем – в нашей статье.

Когда дождались релиз впервые за 18 лет 🕺
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯847742🤩87👍7🔥6😁1👻1
И еще немного сегодняшних новостей (ну и денек):

⚡️ Google выпустила video-to-audio (V2A) модель.

⚡️ Новый день - новая модель для генерации видео. На этот раз Gen3-Alpha.

⚡️ Вышел DeepSeekCoder 2.0, обгонящий GPT-4 на вопросах по программированию. Опенсорс!

Поздравляем, теперь вы ничего не пропустили.
Please open Telegram to view this post
VIEW IN TELEGRAM
85😁40👍10🔥8🙈2
Начинаем утро с идеального объяснения механизма обновления политики в RL

«Я учусь на ошибках людей, которые приняли мой совет»
😁150🔥14👍3👌1
Мир, если бы все ИИ-релизы соответствовали своему демо
😁117🔥129🙈5👍1
Сыр часто достается второй мышке или как Apple собирается стать монополистом ИИ

Скотт Гэллоуэй, профессор маркетинга в NYU, на днях в своем блоге разобрал стратегию Apple, с которой они собираются захватить ИИ рынок. Да-да, вы не ослышались, Apple, у которых нет даже собственной нормальной LLM. Статья навела немало шума. Основные моменты:

⚪️ Инновации переоценены. Visa не изобрела кредитную карту, а Coca-Cola не изобрела газировку. Стратегия второй мышки заключается в следующем: возьмите что-то, уже изобретенное, сделайте это более удобным и простым в использовании, добавьте промышленный дизайн — и создавайте миллиарды экземпляров. Это именно то, во что целится Apple.

⚪️ Несмотря на то, что сейчас Siri работает плохо, у компании есть бренд и капитал, чтобы исправлять подобные ошибки, тем более быть первым — не выигрышная стратегия для Apple.

⚪️ Акции Apple взлетели после презентации, потому что люди поняли: внедрение ChatGPT в iPhone ставит в тупик всех кокурентов, в том числе Alphabet. А Apple точно заработает свою обычную долю от премиальных подписок, приобретенных через iPhone.

⚪️ Преимущество iPhone в том, что для миллиарда людей на Земле это первое устройство, которое они видят утром и последнее перед сном, и в течение всего дня оно находится не более чем в нескольких шагах от них. Все, что мы делаем, происходит в наших телефонах. Та LLM, которая получит информацию о наших дискреционных расходах, и будет моделью, которая нас заполучит.

⚪️ Ну и, наконец, несмотря на то, что Apple потратит миллиарды для запуска LLM на устройстве, им это все равно обойдется дешевле, чем кому-либо. К тому же, у стратегии second mouse есть важное преимущество: в случае неудачи она обходится намного дешевле.

Так что не списываем Apple со счетов и ждем, пока 2024 и 2025 расставит все по своим местам.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8219🔥11😁7🤔6🗿5
Data Secrets
Сыр часто достается второй мышке или как Apple собирается стать монополистом ИИ Скотт Гэллоуэй, профессор маркетинга в NYU, на днях в своем блоге разобрал стратегию Apple, с которой они собираются захватить ИИ рынок. Да-да, вы не ослышались, Apple, у которых…
… однако, несмотря на все вышесказанное, сегодня все взгляды обращены на другого игрока👇

Nvidia только что стала самой дорогой компанией на планете, обогнав Microsoft. Сейчас капитализация компании составляет 3,3 триллиона долларов.

Напоминаем, что после презентации Apple Nvidia оттеснили на третье место, но выход нового Nemotron 4 все резко изменил.
Please open Telegram to view this post
VIEW IN TELEGRAM
65🔥219👍76
GPT-4o теперь будет лечить рак

Компания объединилась с организацией Color Health, и вместе они разработали «второго пилота» для врачей. Бот анализирует данные и анализы пациента, ищет в диагнозах белые пятна и создает индивидуальные планы лечения.

Кстати, одновременно с этим Google тоже выпустила собственного чат-бота для диагностики заболеваний. AMIE (Articulate Medical Intelligence Explorer) разговаривал с пациентами, задавал вопросы, собирал данные и обсуждал с ними план лечения. В основе зафайнтюненый на мед.вопросах PaLM-2.
🔥6311😁9👍5😈2🏆1
Meta там устроила праздник жизни для опенсорс сообщества и опубликовала целых четыре модели. По порядку:

⚪️ Meta Chameleon – 7B & 34B мультимодальные LLM (выходы только текстовые). Статья вышла еще 17 мая, мы разбирали ее здесь.

⚪️ Meta Multi-Token Prediction – модель, которая в отличие от большинства LM предсказывает не один следующий токен за раз, а сразу несколько. Самая интересная модель из списка для ресерча.

⚪️ Meta JASCO – text-to-music модель, которая кроме текстового промпта умеет принимать на вход аккорды, ритмы и другие кондишены. Пока что доступна только папира, код обещают скоро.

⚪️ Meta AudioSeal – модель для метки сгенерированного аудио-контента водяными знаками. Модная вещь для картинок, однако для аудио это первая подобная работа.

Все подробности и доступы в блогпосте.
Please open Telegram to view this post
VIEW IN TELEGRAM
3010🔥6👍5
LLM научились читерить при обучении: новое исследование от Anthropic

Как мы знаем, один из основных этапов обучения LLM – это RL в каком-то его проявлении. Так вот выяснилось, что если во время RL модель обучать в сложной игровой среде, то она может случайно научиться читерить, вместо того, чтобы учиться выполнять те действия, которые подразумевались разработчиком.

В числе прочего модель может даже взломать собственную ревард-модель (внимание на картинку). Для справки: эта тоже обучаемая модель, которая оценивает текущую политику LLM, они работают как бы в связке. Так вот вместо того, чтобы прилежно учиться по ревард-модели, LLM просто взяла и... натаскала ее так, чтобы та всегда выдавала высший балл.

Также модель может обобщать и другие игровые процессы. Она как будто понимает, что от нее хотят, и тем самым в итоге ломает сам механизм игровой среды. Немного жутко, правда?

Подробности можно прочитать в блогпосте или в статье.

Как же мы любим этих ребят за подобные статьи
👍70🔥25🤯22🗿6🤔54👌1
⚡️ Breaking: Илья Суцкевер основал собственную компанию под названием Safe Superintellgence(SSI). Подробности:

У компании не будет цели что-то продавать. В SSI будут заниматься исключительно наукой в направлении безопасного суперинтеллекта без отвлекающих факторов (а это дело небыстрое), и только safe AGI станет первым продуктом компании.

При этом целится Суцкевер не просто в LLM, а в нечто гораздо большее.

Кроме Ильи есть еще два учредителя: ex-глава ИИ в Apple Дэниел Гросс и ex-тиммейт Суцкевера в OpenAI Дэниел Леви. Имена инвесторов неизвестны.

Большой день для всех нас
Please open Telegram to view this post
VIEW IN TELEGRAM
162🔥633013👍12🌚5😁2
На CVPR* 2024 наградили победителей в номинации Лучшая статья. Обновляем свой ридинг-бэклог:

1) Rich Human Feedback for Text-to-Image Generation. Ученые вдохновились RLHF для LLM, и продвинуто адаптировали метод под генерацию картинок. На куче отзывов людей они обучили мультимодальный трансформер давать фидбэк на генерации и тем самым улучшать их.

2) Generative Image Dynamics. Работа про моделирование естественной колебательной динамики объектов, таких как покачивание листьев на ветру или горение свечи. Интересно тем, что это не просто генерация видео, а прогнозирование спектрального объема и воссоздание пространства траекторий.

3) pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction. Модель, которую научили воссоздавать 3D-поля (проще говоря, понимать глубину фото) по паре изображений.

4) EventPS: Real-Time Photometric Stereo Using an Event Camera. Продвинутый метод оценки нормалей поверхности изображения для генерации облаков точек или 3D моделей.

*CVPR – конференция по компьютерному зрению и распознаванию образов, одна из самых крупных ML-конференций в мире
🔥3513👍882🤯1