LLM практически всегда понимают, когда их тестируют: свежее исследование от лабораторий MATS и Apollo Research

Современные LM становятся все более ситуационно осознающими – то есть могут понимать не только задачу, но и ее контекст: где они применяются, зачем их спрашивают, что от них хотят.

Самое яркое и жутковатое проявление такой осознанности – это evaluation awareness, то есть потенциальная способность модели распознавать, когда ее тестируют/оценивают/пытаются проверить на безопасность, а когда действительно просто используют. Жутковатое – потому что это чревато эффектом Хоторна (психологическое явление, когда человек меняет свое поведение, если знает, что за ним наблюдают).

Так вот здесь авторы решили проверить, насколько такое действительно возможно. Они собрали 1000 запросов, из которых половина были тестовыми, а половина реальными, и попросили модели классифицировать, где что. Итог:

➖ Ведущие LLM (Gemini 2.5 Pro, Claude 3.7 Sonnet, GPT-4.1) правильно определяют, что их тестируют, более чем в 80 процентов случаев.

➖ При этом на агентских сценариях точность вырастает до ≈ 95%.

➖ Результаты примерно сопоставимы с человеком. Люди правильно классифицируют тесты всего на несколько процентных пунктов лучше.

Конечно, из-за того что моделям напрямую задают вопрос "тест это или нет", результаты могут быть немного пристрастными. Хотя авторы пишут, что они пытались всеми силами этого избежать и специально макскировали этот промпт под множественный выбор, ответ в свободной форме и тд.

Так или иначе, очевидно, что способность отличать тесты у моделей есть. А значит и вероятность расхождения результатов проверок с поведением в реальных сценариях уже довольно высока.

www.arxiv.org/abs/2505.23836

Сбер выпустили собственный ИИ-фотошоп Malvina и обновили свою text2image модель Kandinsky

➖ Внутри свежего Kandinsky 4.1 Image лежит обновленная архитектура – теперь это диффузионный трансформер (DiT). На практике это значит – лучшая масштабируемость, ускорение и скачок в качестве.

Плюс, в этот раз, помимо обучения на огромном датасете пар «изображение – описание», Kandinsky дополнительно тюнили на большом сете отобранных вручную изображений (отбором, кстати, занималась команда аж из более 100 специалистов – художников, фотографов и дизайнеров). В результате сильно выросла эстетичность генераций, качество структур, понимание стилей и точность следования инструкциям.

➖ Malvina – еще более интересный релиз. Эта модель может отредактировать любое изображение просто по текстовому промпту. При этом она действительно умеет не менять исходное изображение (в отличие от GPT), а редактировать на попиксельном уровне. Может изменить цвет волос, убрать с картинки людей, заменить предметы, корректировать дефекты.

На SBS-сравнениях (вот они) Malvina обходит на основных задачах по качеству Gemini и Grok. И нет, это не преувеличение, модель говорит сама за себя: просто взгляните на примеры.

Под капотом – VLM + диффузия, так что Malvina действительно умеет очень много всего, экспериментируй – не хочу. Остаются проблемы с текстом, перемещением объектов и сменой поз людей, но разработчики обещают продолжать над этим работать.

Попробовать уже можно в тг-боте GigaChat

⚫ Мы приехали на большую конференцию МТС True Tech Day

Сегодня здесь будет много известных ученых (в том числе зарубежных) и лидеров индустрии. В программе – куча интересных технических и продуктовых докладов на любой вкус: от трендов и нейробиологии до хардового ML и инжиниринга. Особенными моментами поделимся здесь.

Трансляцию, кстати, уже запустили, так что можете взглянуть на расписание по четырем трекам и посмотреть доклады в онлайне. Вот что пойдем слушать сами и советуем вам:

➖ Погружение в AI: кейсы, принципы и практика – Кен Чжун Ли, профессор университета Карнеги-Меллона, MIT и Калифорнийского университета в Беркли (11:00)

➖ Мультиагентные системы – Иван Оселедец, профессор РАН и гендир AIRI (11:50)

➖ Мозг vs ИИ – Вячеслав Дубынин, нейрофизиолог и профессор МГУ (12:30)

➖ Ландшафт LLM: модели, бенчмарки, применение – Даниил Киреев, директор ML-департамента MTS AI (13:30)

➖ Data Lake 2.0: Iceberg и Parquet – Валерий Бабушкин 💪, CDO MTС Web Services (15:10)

➖ Данные не закончатся: как современные ИИ-модели учатся на синтетике – Радослав Нейчев, руководитель ML в Яндексе, преподаватель МГУ, МФТИ и ШАД (17:20)

➖ Будущее за AI-First – Кэсси Козырков, экс-главный специалист по принятию решений в Google, США (18:00)

А еще будет несколько докладов от секретных спикеров, интерактивные станции и афтерпати ☕️

Кто пришел офлайн – подходите общаться!