Data Secrets
77.4K subscribers
6.04K photos
593 videos
20 files
2.43K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Начинаем понедельник с двух хороших новостей

1. Plus юзерам ChatGPT еще раз повысили лимиты. Теперь им доступно 3000 запросов на gpt-5-thinking в неделю. Это значит, что лимиты по разным классам моделей выросли почти в дважды по сравнению с тем, что было до gpt-5. Страшно представить, что там происходит с видеокартами.

2. Grok-4 теперь доступен бесплатным пользователям. Дают буквально несколько запросов в день, но уже что-то.

Теперь ждем повышение лимитов от Google и Anthropic, а то неловко получается 🙃
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥164😁5523👍111
Кстати, занятная статистика от Альтмана: всего 7% пользователей тарифа Plus пользовались ризонинг моделями до появления GPT-5

Сейчас это число выросло до 24% (естественно, потому что новая система сама роутит на ризонеры).

У бесплатных пользователей ситуация еще хуже: раньше <1% юзеров пробовали ризонеры. Теперь 7%.

Интересно, все правда так любили gpt-4o или просто не умеют пользоваться выпадающими списками?
1😁213👍34196🤯5🔥3🤨2❤‍🔥1
Исследователи из Пекина предложили алгоритм поиска кратчайших путей, который обходит Дейкстру

Почти 70 лет ученые пытались сломать барьер сортировки для этой задачи. В данной работе это получилось впервые. Разбираемся ⬇️

Классический Дейкстра устроен так: мы храним вершины в приоритетной очереди и итеративно выбираем ближайшую, проверяя рёбра и обновляя расстояния, если путь через текущее ребро короче. Узкое место тут как раз в необходимости постоянно поддерживать упорядоченность большой очереди вершин.

Из-за этой упорядоченности и возник так называемый «барьер сортировки». Считалось, что перебить его невозможно.

Но вот, что сделали авторы тут:

1. Делим задачу на подзадачи с ограничением по максимальному расстоянию, до которого считаем пути.
2. Сжимаем «фронтир»: из вершин на границе уже найденных путей оставляем только небольшое число ключевых (пивотов).
3. Рекурсивно обрабатываем только пивоты и их ближайшие вершины, избегая полной сортировки.
4. Для остальных вершин добиваем расстояния несколькими шагами по всем рёбрам (метод в духе Беллмана–Форда).
5. Повторяем процесс, постепенно уточняя расстояния до всех вершин.


Итого, сложность Дейкстры – O(m + n log n), а BMSSP – O(m log^(2/3) n). Во втором случае логарифм растет заметно медленнее.

Что это все значит для ML? Может показаться, что ничего. Но на самом деле алгоритм Дейкстры вездесущий. Например:

В графовых нейросетях на основе расстояний между вершинами часто вычисляются самые важные фичи.
– Для всяких ML-алгоритмов для логистики просто незаменимо.
– И даже в RL есть применение. Например, при обучении роботов среда может быть представлена как граф состояний, в котором оптимальная политика – это кратчайший путь.

Вот так как-то. Исторический день, получается.

Статья полностью тут, почитайте обязательно
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥418🤯725430👍15👏6❤‍🔥2😁2🤔2🕊1🗿1
Ну все, это кульминация: Nvidia и AMD будут платить Америке за то, чтобы продавать чипы в Китае

Компании пошли на беспрецедентное соглашение с правительством США. Согласно условиям сделки, они обязаны перечислять американским властям 15% своей выручки от продаж в Китае в обмен на получение экспортных лицензий.

Причем даже это – не для любых чипов, а для H20. Они специально были разработаны для китайского рынка и отличаются немного пониженными вычислительной мощностью и коммуникационной способностью.

Их запретили к поставке в апреле, но теперь лицензии снова будут выдавать, но уже за очень жирный процент. Кажется, это и был план Белого дома с самого начала.

За деньги – да 🤑
Please open Telegram to view this post
VIEW IN TELEGRAM
1189😁46🗿4318🔥8👍7🤔54🤯2❤‍🔥1
Исследователи из университета Карнеги-Меллона представили универсальную схему самообучения LLM

Ранее мы уже писали об «Absolute Zero Reasoner» — подходе, где модель сама придумывает себе задачи и решает их, но всё обучение шло только на коде, а проверка ответов была через запуск в интерпретаторе. Там роли Proposer и Solver были симметричны, и награды считались в рамках одного кастомного RL-подхода.

А теперь в свежей работе команда из CMU пошла дальше и предложила метод, который работает не только для кода, но и для задач без автоматической проверки.

Суть простая:
Модель играет две роли — Proposer генерирует задачи, Solver их решает. Оба — это один и тот же LLM, дообучаемый через RL.

В задачах с трудной верификацией (арифметика, алгебра) используется majority vote: модель решает задачу несколько раз, и правильным считается ответ, встречающийся чаще всего.

В задачах с лёгкой автоматической верификацией (код) Proposer сразу генерирует юнит-тесты, а награда Solver определяется долей пройденных тестов.

Proposer получает ревард только за задачи средней сложности — ни слишком лёгкие, ни совсем нерешаемые. Так сложность автоматически подстраивается под текущий уровень Solver'а.

Результат: всего с одной короткой темы в промпте, без единого готового вопроса или ответа, Qwen2.5-3B-Instruct получил +14% на арифметике, +16% на алгебре и +7% на кодинге на независимых тестах.

Сайт | Код | Статья
Please open Telegram to view this post
VIEW IN TELEGRAM
6🔥110👍38361054
xAI подает в суд на Apple

Причина занятная: по мнению Маска, «Apple ведет себя таким образом, что ни одна компания в сфере ИИ, кроме OpenAI, не может занять первое место в App Store, и это нарушает антимонопольное законодательство».

Пруфов, естественно, пока никаких.

Где-то тяжело вздохнул один Тим Кук
1185😁9132👍975🔥2❤‍🔥1🤗1
Сэму Альтману тоже разонравился термин AGI

Это интересно, потому что раньше он употреблял его чаще всех остальных CEO вместе взятых. А теперь внезапно заявил, что это уже не очень полезное обозначение, потому что у него много определений.

«Одно из определений, которое нравится людям: это система, которая выполняет значительную часть работы в мире. Но это постоянно меняется, потому что люди осваивают новые профессии.

Другой вариант, который некоторые используют, — это система, которая может сама по себе проводить действительно качественные исследования в области ИИ.

Суть в том, что это не так уж важно. Людям просто нравится «открывать» какие-то новые определения, но на самом мы будем полагаться лишь на продолжающийся экспоненциальный рост возможностей модели для всё большего и большего числа задач»


Короче, можно считать термин AGI официально отмененным еще до того, как кто-либо его достиг. Немного обидно, конечно
1😁2053117👾7👍3🗿3
Мы еще не отошли от IMO, а OpenAI уже выиграли золото на международной олимпиаде по информатике IOI

Система от стартапа официально соревновалась в общем зачете и заняла 6 место среди 330 участников. У нее были все те же условия: 5 часов, максимум 50 отправок и голый терминал без доступа в Интернет.

В этот раз, кстати, OpenAI выставили не единую модель, а ансамбль из нескольких ризонеров. При этом ни одна из моделей специально не обучалась под IOI.

В прошлом году, для сравнения, модель стартапа нарешала только на бронзу. Это был примерно 49-ый персентиль, в этом году же они на уровне 98-го.

Еще, кстати, был неофициальный трек только для ИИ. В нем OpenAI заняли первое место.
1🤯104👍33😁1512🔥9🗿4
У MWS Cloud появилась своя платформа для эксплуатации моделей ИИ - Inference Valve

Она может работать с ML-моделями и большими языковыми моделями, выводя их в продакшн. Платформа позволит подключить их к IT-системам компании даже через стандартные API, масштабировать и обновлять.

Inference Valve помогает автоматизировать рутину: операционная нагрузка на команды снижается до 70%. Затраты на GPU снижаются на 15%.

С помощью платформы CV-модели могут анализировать видео, искать в них объекты, сцены или действия. ML- и LLM-модели - генерировать тексты, анализировать данные и отвечать на часто задаваемые вопросы в HR-порталах.
2👍2810🗿10🔥4😁2🕊1
This media is not supported in your browser
VIEW IN TELEGRAM
Claude получил новую память

Теперь он, как ChatGPT, будет постоянно помнить все прошлые чаты. Можно сослаться на что-нибудь «вручную», или бот найдет нужную информацию сам.

Давно пора
1🔥155👍5914🤔9😁4🤯3🤨1
MetaAI заняли первое место на Algonauts 2025. Это ведущий международный конкурс по моделированию работы человеческого мозга.

Задача была такая: построить модель, предсказывающую fMRI-ответы на просмотр мультимедийных фильмов. То есть буквально смоделировать точную реакцию мозга на сложную совокупность визуала, звука и текста.

Кратко, что сделали Meta:

Обучили модель всего на 1В параметров: TRIBE (Trimodal Brain Encoder). Это, кстати, вообще первая нейросетевая архитектура, разработанная для такого fMRI-моделирования.

Для каждой модальности воткнули отдельный энкодер для получения эмбеддингов. Причем все свое, домашнее: для текста Llama-3.2-3B, для видео Video-JEPA 2, для аудио Wav2Vec2-BERT-2.0. Все эмбеддинги приводятся к частоте 2Гц (2 временных точки в секунду), чтобы синхронизироваться между собой и с fMRI-откликами.

Центральный блок модели – 8-слойный трансформер, обрабатывающий полученные последовательности эмбеддингов. Из его выходов получается последовательность длиной в окно измерения fMRI, которая затем линейно отображается в 1000 парцелл мозга – то есть в полный временной ряд откликов мозга по всем его областям.

На самом деле довольно прозрачно и просто, но результаты рекордные. Корреляция по всем участникам – 0.22, а по отдельным людям превышает 0.3. Обычно на таких соревнованиях сота результат – не больше 0.2.

Пишут также, что TRIBE довольно хорошо генерализируется на out-of-distribution. Плюс по кривым видно, что если бы было больше данных – результаты бы были еще лучше.

За победу, кстати, рисерчеры получат 9000 евро.

Статья | Код
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍9528😁19🤯9🔥77🤔1🍓1
Media is too big
VIEW IN TELEGRAM
Окей, сейчас уже мало кого удивляют новости типа «робота научили перекладывать предметы», но это видео от стартапа Figure выглядит впечатляюще

Да, еще остаются мелкие косяки, но вы посмотрите, какие плавные и точные движения. Все, естественно, полностью автономно. Задача складывания белья вообще достаточно сложная, если подумать: полотенца мягкие, непредсказуемо изгибаются и деформируются.

Нет единого правильного алгоритма, важен высокий уровень гибкости. И тут вот как раз кроется самое интересное: Figure не обучали конкретно под эту задачу новую архитектуру, а просто взяли свою старую универсальную предобученную для работы на заводе модель VLA Helix (мы о ней вот тут частично писали), и затюнили ее на небольшом датасете.

Это на самом деле критически важно, потому что значит, что модель действительно универсальная на деле, а не на словах. Ей не понадобились архитектурные изменения, адаптеры или переобучение с нуля, то есть на объектном уровне в ней уже есть представления о любом типе задач. Следовательно, масштабировать подобное можно так же успешно, как и LLM.

www.figure.ai/news/helix-learns-to-fold-laundry
2👍155🔥724013🤔3😁2🤯2❤‍🔥1
Маленький информативный пост: Сэм Альтман поделился двумя апдейтами для GPT-5

1. Теперь можно выбирать между “Auto”, “Fast” и “Thinking” режимом для GPT-5. Смысл каждого мода, вероятно, понятен. Полезнее всего все равно может оказаться Auto, но как дополнительный элемент управления – норм.

2. Всем платным пользователям вернули старые модели! 4o вернулась в основное меню выбора моделей, а o3, 4.1 и GPT-5-thinking-mini можно найти в подразделе «Show additional models». GPT-4.5 очень прожорливая, поэтому ее оставили только в Pro.

Ну а про обновление лимитов вы уже знаете. Еще Сэм пишет, что они продолжают работать над «личностью» модели (видимо калибруют системный промпт). В скором времени GPT-5 должна стать чуть добродушнее.
178👍30😁9👌4👀4🔥2❤‍🔥1
Как ощущается выбирать o3 в списке «Дополнительных моделей»
5263😎119😁741413💯5👍42
Google продолжают радовать прикладными модельками: они выпустили диагностическую медицинскую ИИ-систему

Особенность guardrailed-AMIE (g-AMIE) в том, что она создана именно как помощник врача, а не его замена. Вместо того, чтобы давать какие-то медицинские рекомендации, модель просто формирует для живого специалиста информационную сводку и гипотезы, которые стоит проверить.

В основе Gemini 2.0 Flash, но тут важнее форма процесса. За все отвечают три агента:

1. Диалоговый. Он опрашивает пациента, запрашивает какие-то необходимые документы и делает краткое заключение с гипотезами и описанием случая.

2. Проверяющий. Чекает, чтобы ничего из того, что написал диалоговый, не представляло из себя медицинскую рекомендацию (такую дать может только врач)

3. SOAP-агент. Генерирует итоговый отчет. Сначала объективные заключения, потом гипотезы и план их проверки, зачем черновик заключения для пациента.

Результаты передаются в руки врачу. Тот в специальном интерфейсе все просматривает, редактирует и решает, какой окончательный диагноз поставить и что делать с пациентом.

Google тут молодцы именно в том, что не пытаются бежать вперед паровоза и заменить врача, а ориентируются на реальную ситуацию в сфере. Понятно, что ставить полностью автономного агента в клинике никто не будет, но вот такая система, которая просто помогает врачу, не снимая с него основную ответственность за принятие решений, вполне может работать в любой больнице уже завтра почти без рисков.

Ну и да: по точности предлагаемых диагнозов и плана лечения (а еще по уровню эмпатии) g-AMIE обошла и врачей, и младший мед.персонал.

research.google/blog/enabling-physician-centered-oversight-for-amie/
2161❤‍🔥34👍34🕊18👏6🗿1