Data Secrets
77.4K subscribers
6.05K photos
593 videos
20 files
2.43K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Ну все, это кульминация: Nvidia и AMD будут платить Америке за то, чтобы продавать чипы в Китае

Компании пошли на беспрецедентное соглашение с правительством США. Согласно условиям сделки, они обязаны перечислять американским властям 15% своей выручки от продаж в Китае в обмен на получение экспортных лицензий.

Причем даже это – не для любых чипов, а для H20. Они специально были разработаны для китайского рынка и отличаются немного пониженными вычислительной мощностью и коммуникационной способностью.

Их запретили к поставке в апреле, но теперь лицензии снова будут выдавать, но уже за очень жирный процент. Кажется, это и был план Белого дома с самого начала.

За деньги – да 🤑
Please open Telegram to view this post
VIEW IN TELEGRAM
1189😁46🗿4318🔥8👍7🤔54🤯2❤‍🔥1
Исследователи из университета Карнеги-Меллона представили универсальную схему самообучения LLM

Ранее мы уже писали об «Absolute Zero Reasoner» — подходе, где модель сама придумывает себе задачи и решает их, но всё обучение шло только на коде, а проверка ответов была через запуск в интерпретаторе. Там роли Proposer и Solver были симметричны, и награды считались в рамках одного кастомного RL-подхода.

А теперь в свежей работе команда из CMU пошла дальше и предложила метод, который работает не только для кода, но и для задач без автоматической проверки.

Суть простая:
Модель играет две роли — Proposer генерирует задачи, Solver их решает. Оба — это один и тот же LLM, дообучаемый через RL.

В задачах с трудной верификацией (арифметика, алгебра) используется majority vote: модель решает задачу несколько раз, и правильным считается ответ, встречающийся чаще всего.

В задачах с лёгкой автоматической верификацией (код) Proposer сразу генерирует юнит-тесты, а награда Solver определяется долей пройденных тестов.

Proposer получает ревард только за задачи средней сложности — ни слишком лёгкие, ни совсем нерешаемые. Так сложность автоматически подстраивается под текущий уровень Solver'а.

Результат: всего с одной короткой темы в промпте, без единого готового вопроса или ответа, Qwen2.5-3B-Instruct получил +14% на арифметике, +16% на алгебре и +7% на кодинге на независимых тестах.

Сайт | Код | Статья
Please open Telegram to view this post
VIEW IN TELEGRAM
6🔥110👍38361054
xAI подает в суд на Apple

Причина занятная: по мнению Маска, «Apple ведет себя таким образом, что ни одна компания в сфере ИИ, кроме OpenAI, не может занять первое место в App Store, и это нарушает антимонопольное законодательство».

Пруфов, естественно, пока никаких.

Где-то тяжело вздохнул один Тим Кук
1185😁9132👍975🔥2❤‍🔥1🤗1
Сэму Альтману тоже разонравился термин AGI

Это интересно, потому что раньше он употреблял его чаще всех остальных CEO вместе взятых. А теперь внезапно заявил, что это уже не очень полезное обозначение, потому что у него много определений.

«Одно из определений, которое нравится людям: это система, которая выполняет значительную часть работы в мире. Но это постоянно меняется, потому что люди осваивают новые профессии.

Другой вариант, который некоторые используют, — это система, которая может сама по себе проводить действительно качественные исследования в области ИИ.

Суть в том, что это не так уж важно. Людям просто нравится «открывать» какие-то новые определения, но на самом мы будем полагаться лишь на продолжающийся экспоненциальный рост возможностей модели для всё большего и большего числа задач»


Короче, можно считать термин AGI официально отмененным еще до того, как кто-либо его достиг. Немного обидно, конечно
1😁2053117👾7👍3🗿3
Мы еще не отошли от IMO, а OpenAI уже выиграли золото на международной олимпиаде по информатике IOI

Система от стартапа официально соревновалась в общем зачете и заняла 6 место среди 330 участников. У нее были все те же условия: 5 часов, максимум 50 отправок и голый терминал без доступа в Интернет.

В этот раз, кстати, OpenAI выставили не единую модель, а ансамбль из нескольких ризонеров. При этом ни одна из моделей специально не обучалась под IOI.

В прошлом году, для сравнения, модель стартапа нарешала только на бронзу. Это был примерно 49-ый персентиль, в этом году же они на уровне 98-го.

Еще, кстати, был неофициальный трек только для ИИ. В нем OpenAI заняли первое место.
1🤯104👍33😁1512🔥9🗿4
У MWS Cloud появилась своя платформа для эксплуатации моделей ИИ - Inference Valve

Она может работать с ML-моделями и большими языковыми моделями, выводя их в продакшн. Платформа позволит подключить их к IT-системам компании даже через стандартные API, масштабировать и обновлять.

Inference Valve помогает автоматизировать рутину: операционная нагрузка на команды снижается до 70%. Затраты на GPU снижаются на 15%.

С помощью платформы CV-модели могут анализировать видео, искать в них объекты, сцены или действия. ML- и LLM-модели - генерировать тексты, анализировать данные и отвечать на часто задаваемые вопросы в HR-порталах.
2👍2810🗿10🔥4😁2🕊1
This media is not supported in your browser
VIEW IN TELEGRAM
Claude получил новую память

Теперь он, как ChatGPT, будет постоянно помнить все прошлые чаты. Можно сослаться на что-нибудь «вручную», или бот найдет нужную информацию сам.

Давно пора
1🔥155👍5914🤔9😁4🤯3🤨1
MetaAI заняли первое место на Algonauts 2025. Это ведущий международный конкурс по моделированию работы человеческого мозга.

Задача была такая: построить модель, предсказывающую fMRI-ответы на просмотр мультимедийных фильмов. То есть буквально смоделировать точную реакцию мозга на сложную совокупность визуала, звука и текста.

Кратко, что сделали Meta:

Обучили модель всего на 1В параметров: TRIBE (Trimodal Brain Encoder). Это, кстати, вообще первая нейросетевая архитектура, разработанная для такого fMRI-моделирования.

Для каждой модальности воткнули отдельный энкодер для получения эмбеддингов. Причем все свое, домашнее: для текста Llama-3.2-3B, для видео Video-JEPA 2, для аудио Wav2Vec2-BERT-2.0. Все эмбеддинги приводятся к частоте 2Гц (2 временных точки в секунду), чтобы синхронизироваться между собой и с fMRI-откликами.

Центральный блок модели – 8-слойный трансформер, обрабатывающий полученные последовательности эмбеддингов. Из его выходов получается последовательность длиной в окно измерения fMRI, которая затем линейно отображается в 1000 парцелл мозга – то есть в полный временной ряд откликов мозга по всем его областям.

На самом деле довольно прозрачно и просто, но результаты рекордные. Корреляция по всем участникам – 0.22, а по отдельным людям превышает 0.3. Обычно на таких соревнованиях сота результат – не больше 0.2.

Пишут также, что TRIBE довольно хорошо генерализируется на out-of-distribution. Плюс по кривым видно, что если бы было больше данных – результаты бы были еще лучше.

За победу, кстати, рисерчеры получат 9000 евро.

Статья | Код
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍9528😁19🤯9🔥77🤔1🍓1
Media is too big
VIEW IN TELEGRAM
Окей, сейчас уже мало кого удивляют новости типа «робота научили перекладывать предметы», но это видео от стартапа Figure выглядит впечатляюще

Да, еще остаются мелкие косяки, но вы посмотрите, какие плавные и точные движения. Все, естественно, полностью автономно. Задача складывания белья вообще достаточно сложная, если подумать: полотенца мягкие, непредсказуемо изгибаются и деформируются.

Нет единого правильного алгоритма, важен высокий уровень гибкости. И тут вот как раз кроется самое интересное: Figure не обучали конкретно под эту задачу новую архитектуру, а просто взяли свою старую универсальную предобученную для работы на заводе модель VLA Helix (мы о ней вот тут частично писали), и затюнили ее на небольшом датасете.

Это на самом деле критически важно, потому что значит, что модель действительно универсальная на деле, а не на словах. Ей не понадобились архитектурные изменения, адаптеры или переобучение с нуля, то есть на объектном уровне в ней уже есть представления о любом типе задач. Следовательно, масштабировать подобное можно так же успешно, как и LLM.

www.figure.ai/news/helix-learns-to-fold-laundry
2👍155🔥724013🤔3😁2🤯2❤‍🔥1
Маленький информативный пост: Сэм Альтман поделился двумя апдейтами для GPT-5

1. Теперь можно выбирать между “Auto”, “Fast” и “Thinking” режимом для GPT-5. Смысл каждого мода, вероятно, понятен. Полезнее всего все равно может оказаться Auto, но как дополнительный элемент управления – норм.

2. Всем платным пользователям вернули старые модели! 4o вернулась в основное меню выбора моделей, а o3, 4.1 и GPT-5-thinking-mini можно найти в подразделе «Show additional models». GPT-4.5 очень прожорливая, поэтому ее оставили только в Pro.

Ну а про обновление лимитов вы уже знаете. Еще Сэм пишет, что они продолжают работать над «личностью» модели (видимо калибруют системный промпт). В скором времени GPT-5 должна стать чуть добродушнее.
178👍30😁9👌4👀4🔥2❤‍🔥1
Как ощущается выбирать o3 в списке «Дополнительных моделей»
5263😎119😁741413💯5👍42
Google продолжают радовать прикладными модельками: они выпустили диагностическую медицинскую ИИ-систему

Особенность guardrailed-AMIE (g-AMIE) в том, что она создана именно как помощник врача, а не его замена. Вместо того, чтобы давать какие-то медицинские рекомендации, модель просто формирует для живого специалиста информационную сводку и гипотезы, которые стоит проверить.

В основе Gemini 2.0 Flash, но тут важнее форма процесса. За все отвечают три агента:

1. Диалоговый. Он опрашивает пациента, запрашивает какие-то необходимые документы и делает краткое заключение с гипотезами и описанием случая.

2. Проверяющий. Чекает, чтобы ничего из того, что написал диалоговый, не представляло из себя медицинскую рекомендацию (такую дать может только врач)

3. SOAP-агент. Генерирует итоговый отчет. Сначала объективные заключения, потом гипотезы и план их проверки, зачем черновик заключения для пациента.

Результаты передаются в руки врачу. Тот в специальном интерфейсе все просматривает, редактирует и решает, какой окончательный диагноз поставить и что делать с пациентом.

Google тут молодцы именно в том, что не пытаются бежать вперед паровоза и заменить врача, а ориентируются на реальную ситуацию в сфере. Понятно, что ставить полностью автономного агента в клинике никто не будет, но вот такая система, которая просто помогает врачу, не снимая с него основную ответственность за принятие решений, вполне может работать в любой больнице уже завтра почти без рисков.

Ну и да: по точности предлагаемых диагнозов и плана лечения (а еще по уровню эмпатии) g-AMIE обошла и врачей, и младший мед.персонал.

research.google/blog/enabling-physician-centered-oversight-for-amie/
2161❤‍🔥34👍34🕊18👏6🗿1
Data Secrets
Пекин вызвал Дженсена Хуанга на ковер из-за проблем с безопасностью в чипах Nvidia Сообщается, что какие-то американские эксперты (кто именно, не уточняется) нашли в видеокартах H20 некие уязвимости (какие именно, также не уточняется), из-за которых можно…
Ну мем: сразу после того, как Хуанг согласился отстегивать правительству США 15% прибыли на лицензию за продажу в Китае, китайское правительство решило, что они больше не хотят покупать видеокарты Nvidia

Они распорядились крупнейшим местным технологическим компаниям – ByteDance, Alibaba и Tencent – приостановить закупки чипов Nvidia, в первую очередь модели H20 (той самой, на которую Дженсен так выбивал лицензию).

Все из-за опасений по поводу национальной безопасности и угроз информационной безопасности. Помните же историю, когда некие американские исследователи распустили сплетню о том, что Nvidia зашивает в свои китайские чипы локаторы и устройства удаленного управления? Так вот хоть это был и фейк, в Китае все-таки не на шутку разволновались по этому поводу.

Сюжет для сериала, и только
1😁13344👍319🔥9🤔3🗿3🤨21
Perplexity в очередной раз сделали маркетинговый ход конем и заявили, что собираются купить Google Chrome

Чтобы вы понимали:
– Perplexity целиком оценивается примерно в 18 миллиардов долларов
– Chrome стоит 34.5 миллиарда

Даже при привлечении огромных денег от инвесторов стартап вряд ли потянет покупку (а там еще огромный штаб разработчиков, которым надо платить зп, и гигантские траты на серверы). На рынке, где есть OpenAI и остальные, такой лакомый кусочек вряд ли достанется Perplexity.

Зато сколько шума они навели и сколько внимания к себе привлекли. Абсолютно все СМИ сегодня пишут об этой новости, а Perplexity, вероятно, только это и надо было: создать себе репутацию сильной богатой компании, которая может себе позволить даже Chrome

Респект
1246😁83👍5319🦄8🔥6🗿66👾3🐳2💯1
Что спрашивают на собеседовании в OpenAI

Мы тут бороздили Интернет и нашли золото: инженер, который только что вышел на работу в OpenAI, написал огромный блог-пост про процесс отбора в стартап. И выглядит это как ультимативный гайд по тому, как прокачаться в прохождении собесов на любую ML-роль.

Итак, пересказываем максимально кратко:

1 этап – Recruiter intro (15–30 мин).
Это просто базовый скрин: вам рассказывают про команду, этапы, сроки, правила прохождения интервью и тд. Вы рассказываете о себе. Обязательно нужно подготовиться, порепетировать с друзьями, быть кратким, задать вопросы и все записать.

2 этап – Hiring Manager chat. Вопросы в духе почему вы подходите этой команде и тд. На этом этапе уже важно понимать цели компании, показать предметный интерес и соблюдать баланс скромности и уверенности.

3 этап – Кодинг.
Начинается самое интересное. Вот что могут спросить, например:
– дебаггинг трансформера (ошибка может быть в механизме внимания, например, или в форме тензоров)
– реализация KV-cache, BPE или обратного распространения с нуля
– классика алгоритмов: Дейкстра, кучи, сортировки, бинарный поиск

Автор пишет, что тут важнее делать быстро, чем идеально качественно. Лучше оставлять #todo и assert, чем путаться и тормозить. Ну а с подготовкой все просто: 100+ часов на LeetCode и столько же на чтение и имплементацию статей.

4 этап – ML.
Проверяют фундамент + какие-то актуальные знания. Например, могут спросить: supervised vs unsupervised, математика линейной регрессии, как обучить модель с контекстом 10М токенов, GRPO vs PPO, методы интерпретируемости. Тут опять же: читаем много статей и базовые книги.

5 этап – Поведенческое интервью.
Проверяют, как вы действуете в сложных ситуациях. К этому интервью тоже не забываем готовиться и отвечаем всегда по методу STAR(I): Situation, Task, Action, Result, Insight. Отдельно готовимся к вопросам про провал и конфликты, они будут обязательно.

Вот так как-то, за деталями – в сам блогпост. Там еще кучу полезного можно найти: инсайты, полезные ресурсы, советы по тому, как выбивать себе зп и так далее.

Уловом с утра – довольны 🍯
2209🔥69👍48🤯97😁6🕊4🤔1💯1
Пошел слух, что скоро выйдет DeepSeek R2

Якобы из внутренних каналов стартапа в сеть просочились упоминания о релизе между 15 и 30 августа и даже некоторые технические детали модели.

Говорят, что это MoE на 1.2 триллиона параметров с новой техникой роутинга, которая будет бегать исключительно на китайских чипах Huawei Ascend 910B (из-за перехода на которые и возникла задержка с выпуском).

Сама компания, по словам инсайдеров, слухи опровергает и не называет точных дат релиза. Такое повторяется уже не первый раз (сначала журналисты обещали 17 марта, потом конец мая, а сейчас вот август).

Но воз и ныне там. А жаль. По DeepSeek мы уже успели соскучиться
1👍110🐳86🔥284😁43😍2