Microsoft показали систему медицинского ИИ, которая ставит диагнозы в 4 раза лучше врачей. Разбираемся с нюансами.

Их механизм MAI-DxO имитирует работу команды из 5 врачей: доктор Гипотеза, доктор Отборщик, доктор Челленджер (играет роль критика), доктор Стюард (управляет расходами) и доктор Чеклист (итоговый контроль). Они «обсуждают» между собой, как стоит себя вести и вместе принимают решения.

На вход системе приходит минимальная информация (типа «Мужчина, 25, боли в груди»), как будто человек только что реально пришел в неотложку. Но, в то же время, есть база знаний, которая содержит дополнительную информацию.

Базой управляет отдельный агент. Доктора могут запросить анализы, задавать доп.вопросы про пациента или поставить диагноз. Если доктора принимают решения запросить какую-то инфу у агента хранителя – он ее выдаст, но то, чего они не спрашивали, никогда просто так не расскажет. А еще каждый тест стоит денег (по расценкам больниц США) – поэтому нам и нужен доктор Стюард.

Проверяли систему на наборе реальных кейсов из клинической практики. Живые врачи на этом бенчмарке выбили примерно 20%, а MAI-DxO – аж 85%. При этом живые врачи тратят на анализы даже больше: у них средняя «стоимость» постановки диагноза – 2963$, а у ИИ – 2397.

Впечатляет. Но есть и некоторые НО. Во-первых, в датасете не было ни одного здорового пациента, а врачи сталкиваются с такими постоянно. Плюс, тестировались в основном редкие заболевания. Встает вопрос об ошибке выжившего.

Во-вторых, кроме денег, никак не учитывается время ожидания анализов, осложнения от ненужных тестов и прочее.

В-третьих, врачам, решавшим бенчмарк, было запрещено гуглить, использовать базы медицинских данных и консультироваться с коллегами. На самом деле доктора так не работают.

В общем, это все круто, конечно, но не забываем, что пока что ИИ может выступать только помощником для реальных специалистов. Продолжаем обращаться к врачам 🚑

microsoft.ai/new/the-path-to-medical-superintelligence/

Apple выпустили модель для кодинга, но не простую, а диффузионную

Напоминаем, что фишка диффузионных языковых моделей в том, что, в отличие от классических авторегрессионных трансформеров, в них генерация может происходить не обязательно слева-направо, а в произвольном порядке.

Отсюда и название – потому что модель, как в диффузионных генераторах картинок, как бы расшумляет замаскированную последовательность, а не просто генерирует ее токен за токеном.

Такой подход намного быстрее и порой эффективнее по качеству. Сейчас диффузионные LM мощно набирают популярность, даже Google недавно выпустили Gemini Diffusion (пост). Вот и Apple решили попробовать себя на модном поприще.

Если кратко, они взяли Qwen-2.5-Coder и с помощью марковских представлений научили его работать с масками.

Правда, без доп тюнинга модель все равно в большинстве скатывается в авторегрессию, то есть подсаживается на левосторонние токены. Но это регулируется с помощью RL и настройки температуры.

Прирост по метрикам от базовой модели составил +4,4 % по метрике EvalPlus. При этом генерация стала вдвое быстрее. Как видите, потенциал у подхода есть: особенно в коде, где для модели очень важна как раз эта диффузионная способность видеть наперед и планировать свои генерации.

Да, бывают и у Apple хорошие технические статьи. Модель, кстати, выложили в опенсорс