Data Secrets
77.4K subscribers
6.05K photos
593 videos
20 files
2.43K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Мы еще не отошли от IMO, а OpenAI уже выиграли золото на международной олимпиаде по информатике IOI

Система от стартапа официально соревновалась в общем зачете и заняла 6 место среди 330 участников. У нее были все те же условия: 5 часов, максимум 50 отправок и голый терминал без доступа в Интернет.

В этот раз, кстати, OpenAI выставили не единую модель, а ансамбль из нескольких ризонеров. При этом ни одна из моделей специально не обучалась под IOI.

В прошлом году, для сравнения, модель стартапа нарешала только на бронзу. Это был примерно 49-ый персентиль, в этом году же они на уровне 98-го.

Еще, кстати, был неофициальный трек только для ИИ. В нем OpenAI заняли первое место.
1🤯104👍33😁1512🔥9🗿4
У MWS Cloud появилась своя платформа для эксплуатации моделей ИИ - Inference Valve

Она может работать с ML-моделями и большими языковыми моделями, выводя их в продакшн. Платформа позволит подключить их к IT-системам компании даже через стандартные API, масштабировать и обновлять.

Inference Valve помогает автоматизировать рутину: операционная нагрузка на команды снижается до 70%. Затраты на GPU снижаются на 15%.

С помощью платформы CV-модели могут анализировать видео, искать в них объекты, сцены или действия. ML- и LLM-модели - генерировать тексты, анализировать данные и отвечать на часто задаваемые вопросы в HR-порталах.
2👍2810🗿10🔥4😁2🕊1
This media is not supported in your browser
VIEW IN TELEGRAM
Claude получил новую память

Теперь он, как ChatGPT, будет постоянно помнить все прошлые чаты. Можно сослаться на что-нибудь «вручную», или бот найдет нужную информацию сам.

Давно пора
1🔥155👍5914🤔9😁4🤯3🤨1
MetaAI заняли первое место на Algonauts 2025. Это ведущий международный конкурс по моделированию работы человеческого мозга.

Задача была такая: построить модель, предсказывающую fMRI-ответы на просмотр мультимедийных фильмов. То есть буквально смоделировать точную реакцию мозга на сложную совокупность визуала, звука и текста.

Кратко, что сделали Meta:

Обучили модель всего на 1В параметров: TRIBE (Trimodal Brain Encoder). Это, кстати, вообще первая нейросетевая архитектура, разработанная для такого fMRI-моделирования.

Для каждой модальности воткнули отдельный энкодер для получения эмбеддингов. Причем все свое, домашнее: для текста Llama-3.2-3B, для видео Video-JEPA 2, для аудио Wav2Vec2-BERT-2.0. Все эмбеддинги приводятся к частоте 2Гц (2 временных точки в секунду), чтобы синхронизироваться между собой и с fMRI-откликами.

Центральный блок модели – 8-слойный трансформер, обрабатывающий полученные последовательности эмбеддингов. Из его выходов получается последовательность длиной в окно измерения fMRI, которая затем линейно отображается в 1000 парцелл мозга – то есть в полный временной ряд откликов мозга по всем его областям.

На самом деле довольно прозрачно и просто, но результаты рекордные. Корреляция по всем участникам – 0.22, а по отдельным людям превышает 0.3. Обычно на таких соревнованиях сота результат – не больше 0.2.

Пишут также, что TRIBE довольно хорошо генерализируется на out-of-distribution. Плюс по кривым видно, что если бы было больше данных – результаты бы были еще лучше.

За победу, кстати, рисерчеры получат 9000 евро.

Статья | Код
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍9528😁19🤯9🔥77🤔1🍓1
Media is too big
VIEW IN TELEGRAM
Окей, сейчас уже мало кого удивляют новости типа «робота научили перекладывать предметы», но это видео от стартапа Figure выглядит впечатляюще

Да, еще остаются мелкие косяки, но вы посмотрите, какие плавные и точные движения. Все, естественно, полностью автономно. Задача складывания белья вообще достаточно сложная, если подумать: полотенца мягкие, непредсказуемо изгибаются и деформируются.

Нет единого правильного алгоритма, важен высокий уровень гибкости. И тут вот как раз кроется самое интересное: Figure не обучали конкретно под эту задачу новую архитектуру, а просто взяли свою старую универсальную предобученную для работы на заводе модель VLA Helix (мы о ней вот тут частично писали), и затюнили ее на небольшом датасете.

Это на самом деле критически важно, потому что значит, что модель действительно универсальная на деле, а не на словах. Ей не понадобились архитектурные изменения, адаптеры или переобучение с нуля, то есть на объектном уровне в ней уже есть представления о любом типе задач. Следовательно, масштабировать подобное можно так же успешно, как и LLM.

www.figure.ai/news/helix-learns-to-fold-laundry
2👍155🔥724013🤔3😁2🤯2❤‍🔥1
Маленький информативный пост: Сэм Альтман поделился двумя апдейтами для GPT-5

1. Теперь можно выбирать между “Auto”, “Fast” и “Thinking” режимом для GPT-5. Смысл каждого мода, вероятно, понятен. Полезнее всего все равно может оказаться Auto, но как дополнительный элемент управления – норм.

2. Всем платным пользователям вернули старые модели! 4o вернулась в основное меню выбора моделей, а o3, 4.1 и GPT-5-thinking-mini можно найти в подразделе «Show additional models». GPT-4.5 очень прожорливая, поэтому ее оставили только в Pro.

Ну а про обновление лимитов вы уже знаете. Еще Сэм пишет, что они продолжают работать над «личностью» модели (видимо калибруют системный промпт). В скором времени GPT-5 должна стать чуть добродушнее.
178👍30😁9👌4👀4🔥2❤‍🔥1
Как ощущается выбирать o3 в списке «Дополнительных моделей»
5263😎119😁741413💯5👍42
Google продолжают радовать прикладными модельками: они выпустили диагностическую медицинскую ИИ-систему

Особенность guardrailed-AMIE (g-AMIE) в том, что она создана именно как помощник врача, а не его замена. Вместо того, чтобы давать какие-то медицинские рекомендации, модель просто формирует для живого специалиста информационную сводку и гипотезы, которые стоит проверить.

В основе Gemini 2.0 Flash, но тут важнее форма процесса. За все отвечают три агента:

1. Диалоговый. Он опрашивает пациента, запрашивает какие-то необходимые документы и делает краткое заключение с гипотезами и описанием случая.

2. Проверяющий. Чекает, чтобы ничего из того, что написал диалоговый, не представляло из себя медицинскую рекомендацию (такую дать может только врач)

3. SOAP-агент. Генерирует итоговый отчет. Сначала объективные заключения, потом гипотезы и план их проверки, зачем черновик заключения для пациента.

Результаты передаются в руки врачу. Тот в специальном интерфейсе все просматривает, редактирует и решает, какой окончательный диагноз поставить и что делать с пациентом.

Google тут молодцы именно в том, что не пытаются бежать вперед паровоза и заменить врача, а ориентируются на реальную ситуацию в сфере. Понятно, что ставить полностью автономного агента в клинике никто не будет, но вот такая система, которая просто помогает врачу, не снимая с него основную ответственность за принятие решений, вполне может работать в любой больнице уже завтра почти без рисков.

Ну и да: по точности предлагаемых диагнозов и плана лечения (а еще по уровню эмпатии) g-AMIE обошла и врачей, и младший мед.персонал.

research.google/blog/enabling-physician-centered-oversight-for-amie/
2161❤‍🔥34👍34🕊18👏6🗿1
Data Secrets
Пекин вызвал Дженсена Хуанга на ковер из-за проблем с безопасностью в чипах Nvidia Сообщается, что какие-то американские эксперты (кто именно, не уточняется) нашли в видеокартах H20 некие уязвимости (какие именно, также не уточняется), из-за которых можно…
Ну мем: сразу после того, как Хуанг согласился отстегивать правительству США 15% прибыли на лицензию за продажу в Китае, китайское правительство решило, что они больше не хотят покупать видеокарты Nvidia

Они распорядились крупнейшим местным технологическим компаниям – ByteDance, Alibaba и Tencent – приостановить закупки чипов Nvidia, в первую очередь модели H20 (той самой, на которую Дженсен так выбивал лицензию).

Все из-за опасений по поводу национальной безопасности и угроз информационной безопасности. Помните же историю, когда некие американские исследователи распустили сплетню о том, что Nvidia зашивает в свои китайские чипы локаторы и устройства удаленного управления? Так вот хоть это был и фейк, в Китае все-таки не на шутку разволновались по этому поводу.

Сюжет для сериала, и только
1😁13344👍319🔥9🤔3🗿3🤨21
Perplexity в очередной раз сделали маркетинговый ход конем и заявили, что собираются купить Google Chrome

Чтобы вы понимали:
– Perplexity целиком оценивается примерно в 18 миллиардов долларов
– Chrome стоит 34.5 миллиарда

Даже при привлечении огромных денег от инвесторов стартап вряд ли потянет покупку (а там еще огромный штаб разработчиков, которым надо платить зп, и гигантские траты на серверы). На рынке, где есть OpenAI и остальные, такой лакомый кусочек вряд ли достанется Perplexity.

Зато сколько шума они навели и сколько внимания к себе привлекли. Абсолютно все СМИ сегодня пишут об этой новости, а Perplexity, вероятно, только это и надо было: создать себе репутацию сильной богатой компании, которая может себе позволить даже Chrome

Респект
1246😁83👍5319🦄8🔥6🗿66👾3🐳2💯1
Что спрашивают на собеседовании в OpenAI

Мы тут бороздили Интернет и нашли золото: инженер, который только что вышел на работу в OpenAI, написал огромный блог-пост про процесс отбора в стартап. И выглядит это как ультимативный гайд по тому, как прокачаться в прохождении собесов на любую ML-роль.

Итак, пересказываем максимально кратко:

1 этап – Recruiter intro (15–30 мин).
Это просто базовый скрин: вам рассказывают про команду, этапы, сроки, правила прохождения интервью и тд. Вы рассказываете о себе. Обязательно нужно подготовиться, порепетировать с друзьями, быть кратким, задать вопросы и все записать.

2 этап – Hiring Manager chat. Вопросы в духе почему вы подходите этой команде и тд. На этом этапе уже важно понимать цели компании, показать предметный интерес и соблюдать баланс скромности и уверенности.

3 этап – Кодинг.
Начинается самое интересное. Вот что могут спросить, например:
– дебаггинг трансформера (ошибка может быть в механизме внимания, например, или в форме тензоров)
– реализация KV-cache, BPE или обратного распространения с нуля
– классика алгоритмов: Дейкстра, кучи, сортировки, бинарный поиск

Автор пишет, что тут важнее делать быстро, чем идеально качественно. Лучше оставлять #todo и assert, чем путаться и тормозить. Ну а с подготовкой все просто: 100+ часов на LeetCode и столько же на чтение и имплементацию статей.

4 этап – ML.
Проверяют фундамент + какие-то актуальные знания. Например, могут спросить: supervised vs unsupervised, математика линейной регрессии, как обучить модель с контекстом 10М токенов, GRPO vs PPO, методы интерпретируемости. Тут опять же: читаем много статей и базовые книги.

5 этап – Поведенческое интервью.
Проверяют, как вы действуете в сложных ситуациях. К этому интервью тоже не забываем готовиться и отвечаем всегда по методу STAR(I): Situation, Task, Action, Result, Insight. Отдельно готовимся к вопросам про провал и конфликты, они будут обязательно.

Вот так как-то, за деталями – в сам блогпост. Там еще кучу полезного можно найти: инсайты, полезные ресурсы, советы по тому, как выбивать себе зп и так далее.

Уловом с утра – довольны 🍯
2209🔥69👍48🤯97😁6🕊4🤔1💯1
Пошел слух, что скоро выйдет DeepSeek R2

Якобы из внутренних каналов стартапа в сеть просочились упоминания о релизе между 15 и 30 августа и даже некоторые технические детали модели.

Говорят, что это MoE на 1.2 триллиона параметров с новой техникой роутинга, которая будет бегать исключительно на китайских чипах Huawei Ascend 910B (из-за перехода на которые и возникла задержка с выпуском).

Сама компания, по словам инсайдеров, слухи опровергает и не называет точных дат релиза. Такое повторяется уже не первый раз (сначала журналисты обещали 17 марта, потом конец мая, а сейчас вот август).

Но воз и ныне там. А жаль. По DeepSeek мы уже успели соскучиться
1👍110🐳86🔥284😁43😍2
Игорь Бабушкин, сооснователь xAI и один из главных архитекторов команды, объявил об уходе из компании

Бывший инженер DeepMind и OpenAI (а теперь уже и xAI) запускает фонд Babuschkin Ventures 🧖. Задача — инвестировать в проекты по AI-safety и агентные системы, которые, по его словам, «помогут продвигать человечество и раскрывать тайны Вселенной».

В прощальном посте он выделил два принципа, которым научился у Маска: лично вникать в технические задачи и работать с маниакальным чувством срочности.

Для xAI это уже третья заметная потеря топ-кадров за последние месяцы — на фоне жёсткой конкуренции с OpenAI, Google и Anthropic такие новости явно не добавляют спокойствия Илону
Please open Telegram to view this post
VIEW IN TELEGRAM
1193🔥352413👍107😁6🦄54🤔3
Data Secrets
Юра Борисов может сыграть Илью Суцкевера в фильме про увольнение Альтмана Фильм снимает режиссер «Претендентов». В сюжете – события осени 2023, когда Сэма драматически уволили, а потом восстановили на позицию CEO OpenAI. На роль Альтмана, кстати, хотят…
Папарацци сняли Эндрю Гарфилда в образе Альтмана и Юру Борисова в образе Суцкевера на съемках фильма Artificial (про события осени 2023 и увольнение Сэма из OpenAI)

Лучше второй фотографии вы сегодня точно ничего не увидите 🐘
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
3😁32042382120👍16🔥5🐳3🗿3👻2
Google выпустили Gemma 3 270М – одну из самых компактных моделей индустрии

Да, именно 270M, а не B. Совсем кроха, которую запустить действительно можно чуть ли не на утюге. Она и создана специально для этого, и даже оптимизирована с точки зрения энергоэффективности: в INT4 квантизации на Pixel 9 Pro съедает всего 0.75% батареи за 25 диалогов.

И кстати, для такого размера очень неплохие показатели следования инструкциям: на IF-Eval 51.2%. По этому показателю модель обходит даже Qwen 2.5 0.5В, который почти в два раза больше.

Для чего использовать:
1. Конечно, локальный запуск. Для кода не подойдет, но для генерации простого текста сгодится.
2. Быстрое простое дообучение под вашу задачу (например, под entity extraction или какой-нибудь sentiment-анализ подойдет отлично).
3. Edge/Internet of Things. Модельку реально можно встроить в колонку, чайник или холодильник и развлекаться 👉

Отличная штука для экспериментов, в общем

Веса
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥203👍5529🤩4👌4❤‍🔥2😁1🤝1
Media is too big
VIEW IN TELEGRAM
В Китае прошел забег роботов

Там сейчас проходят World Humanoid Robot Games, сегодня первый день. Это буквально олимпийские игры для роботов. 280 команд из 16 стран приехали посоревноваться в 26 дисциплинах. В их числе – бег.

Победил робот от Unitree, модель H1. Он пробежал достаточно бодро: 1500 метров за 6 минут 34 секунды. Человеческий рекорд на такой трассе – 3:26.

Правда, по пути гуманоид успел кого-то сбить, но, как говорится, и так сойдет 😳
Please open Telegram to view this post
VIEW IN TELEGRAM
😁16260🔥2414👾8👍43🤯3🗿3👀1