Major update v0.1.0

Добавил поддержку телемоста. Это было то еще приключение, но в итоге работает. Главное - не загружать большие файлы с joiner’а, а то SFU, видимо, захлебывается и умирает. Также наформошлепил на электроне десктопные версии, чтобы не запускать снипет каждый раз из браузера + туда зашиты бинарники на go, чтобы не поднимать relay руками. Пока думаю над тем, как пересылать данные в видеопотоке минуя vpx (на случай, если дата-каналы прикроют), так как если просто слать фейковое видео, то из-за компрессии мы будем терять данные, и, кажется, даже автокоррекция ошибок здесь не поможет. В целом работы предстоит много: нужно искать какие сервисы еще могут помочь в обходе, автоматизировать создание/присоединение к звонкам, искать/править баги, улучшать пайплайны, и в целом подумать, как можно улучшить пользовательский опыт. Боюсь, что в соло у меня рук не хватит, поэтому если есть желание поучаствовать - welcome

Все билды/исходнки, по-классике здесь [тык, тык]

Как заниматься наукой в 2026 году

Видишь превью сообщения от коллеги: "Глянь статью срочно!! Судя по аннотации, они как-то решили пробле...", но чат в телеграме не загружается. Врубаешь ВПН, но из-за белых списков ничего всё равно не работает. Вырубаешь ВПН, вызываешь такси и мчишься на работу.

Включаешь компьютер, но из-за ограничений интернета в РФ сайт журнала открывается долго и без картинок. Из-за санкций США ты больше не можешь скачивать статьи этого издательства. Копируешь DOI из адресной строки и идёшь на sci-hub, поминая добрым словом Элбакян.

К сожалению, статья вышла в 2023 году и её нет в базе sci-hub.

Внимательно смотришь на авторов публикации и понимаешь, что с одним ты неплохо знаком. Строчишь письмо с напоминанием о себе, но перед самой отправкой задумываешься — а не стоит ли согласовать научно-техническое сотрудничество с кем следует? И нельзя ли тут усмотреть в переписке передачу чувствительной информации? Поднимаешь локальную нормативную базу, но узнаёшь лишь определения понятий "ЭВМ", "компьютерная программа" и "электронная почта".

Вспоминаешь, что твой институт под санкциями Евросоюза: коллегу на той стороне могут привлечь за переписку с тобой. Чувствуя себя немного шпионом, решаешь подкатить неофициально.

Отметаешь вариант написать в телеграме: с точки зрения европейского обывателя, тут сидят фашисты, педофилы и наркоманы. В вотсап ты и сам не можешь зайти уже третий месяц. Осталось разве что уговорить коллегу поставить М*х, но с испанской симкой это невозможно.

Открываешь ResearchGate и понимаешь, что рукопись статьи, которую ты искал, с самого начала выложена автором в открытый доступ.

Наконец, внимательно изучаешь статью и понимаешь, что это именно тот кусочек паззла, которого тебе не хватало. Начинаешь планировать новый эксперимент, но важнейшего расходника почти не осталось. Продумываешь варианты закупки и взвешиваешь наценки, сроки поставок и сроки по статьям УК РФ. Выбираешь официально закупить отечественные материалы — то есть, китайские, которые в точности копируют американские, но становятся российскими в одной инновационной фирме. Технологию производства, кстати, изобрёл в 1982 году твой научник.

Узнаёшь, что оформление закупки вместе с поставкой "в сложных условиях" займёт полгода. К отчётам не успеешь точно. Плюёшь на всё и решаешь купить расходники за наличку: расписываешь премии проверенным людям, собираешь в кассу лабы. На складе фирмы чудом находится ровно то, что тебе нужно.

Получаешь крутой результат и садишься за статью. Понимаешь, что тебе придётся несколько раз ссылаться на авторов из Университета Беркли, который признали нежелательным на территории РФ. Заменяешь оригинальные работы на китайские статьи-аналоги.

Думаешь, куда подать рукопись. Топовый журнал в твоей области принимает статьи от авторов из России, но финансирует Украину. Есть ещё один отличный журнал, но авторы из России забанены в нём полностью. Другой — не разрешает ссылки на источники финансирования, связанные с правительством РФ, третий — не может указывать подсанкционную организацию в качестве места работы, четвёртый — ничего не запрещает официально, но по факту держит рукопись месяца три и отвечает, что не удалось найти рецензентов.

Наконец, ты находишь приличный журнал, но он работает только по системе Open Access, придётся вывалить несколько тысяч долларов. У твоей казахской карточки истёк срок действия, приходится просить о помощи приятеля и возвращать ему деньги наличкой.

Начинаешь готовить иллюстрации к статье, но из привычных инструментов легальными остались только Paint и Excel.

Выбирая гендер и he/she/they при заполнении авторской анкеты, на минуту задумываешься — не примкнуть ли ненадолго к меньшиствам для повышения вероятности публикации?..

Не успев решить, попадаешь в СИЗО. Два эпизода обналички, свидетели, показания.

Не падаешь духом, решаешь провести время с пользой и подтянуть фундаментальные знания. Заказываешь пару книг по физике. Но тебе их не приносят: по словам библиотекаря, академика В. Гинзбурга на днях признали иноагентом, а такая литература заключённым не положена.

Is Evaluation Awareness Just Format Sensitivity? Limitations of Probe-Based Evidence Under Controlled Prompt Structure

Мы уже писали тут и тут о работах Yandex Research, принятых на ICLR 2026. Но это ещё не всё. На воркшоп ICBINB в рамках ICLR 2026 также приняли статью Вилианы Девбуновой, разработчика из службы технологий голосового ввода. Вилиана рассказала, как нашим исследователям удалось поставить под сомнение и критически переосмыслить устоявшееся представление о evaluation awareness в больших языковых моделях.

В некоторых работах, вышедших в последнее время, авторы заявляли о наличии evaluation awareness в LLM — будто бы большие языковые модели понимают, что их оценивают.

Есть момент, что эти выводы в основном строятся на экспериментах с пробниками (linear probes), когда берут внутренние представления модели и учат простой классификатор различать evaluation- и deployment-запросы. И он действительно хорошо справляется. Из этого делают вывод, что внутри модели есть сигнал «меня сейчас тестируют».

Но проблема в том, что сами данные устроены не очень честно. Тестовые запросы почти всегда выглядят одинаково: чёткая структура, multiple-choice, формализованные задачи. А обычные пользовательские запросы, наоборот, пишутся разговорным языком и в свободной форме.

Исходя из этого, мы в своей работе выдвигаем гипотезу, что на самом деле модель не понимает, что её оценивают — она просто узнаёт знакомый шаблон. Чтобы проверить это, мы аккуратно разделяем три вещи:

- контекст (это тест или обычное использование),
- формат (формат бенчмарка или свободный текст),
- стиль или жанр (строгий или разговорный).

Чтобы проверить, на что именно реагирует пробник, мы собрали контролируемые датасеты 2х2 сеткой, в которых формат и контекст варьируются независимо друг от друга. Берём настоящие бенчмарки и обычные пользовательские запросы — это ось контекста. А по оси формата переписываем их: пользовательские запросы оформляем как тест с вариантами ответов, а бенчмарки, наоборот, находим в свободной разговорной форме. Получаются четыре комбинации: бенчмарк в родном формате, бенчмарк в свободной форме, пользовательский запрос в формате теста и пользовательский запрос как есть. Это позволяет понять, что ловит пробник — реальный контекст оценки или просто внешнюю структуру промпта.

Если обучить стандартный «пробник», как было в предыдущих работах, он начинает массово ошибаться. Например, обычные пользовательские запросы, оформленные как тест, почти всегда считаются как evaluation. То есть он реагирует не на смысл, а на форму.

При этом, если поменять только стиль, сделав его более академическим, ничего не меняется. Отсюда напрашивается вывод, что дело именно в жёсткой структуре вроде multiple-choice или полей Question: Answer:.

Мы также обнаружили интересный момент. Если специально обучить пробник на данных, где формат и контекст больше не скоррелированы, он начинает нормально различать именно контекст. Это может значить, что внутри модели действительно есть информация про evaluation и deployment, но стандартные методы не умеют её правильно извлекать и выбирают формат как более простой сигнал.

Итого главный вывод работы в том, что evaluation awareness, может быть в значительной степени просто чувствительностью к формату. При этом мы не опровергаем само существование evaluation awareness, но говорим, что существующие доказательства пока неубедительны.

До ICLR осталось совсем немного времени. Ну а мы, как всегда, будем в по горячим следам рассказывать о самых интересных работах и событиях конференции.

ML Underhood

астронавты летят к луне в космической шестерке

9 кубометров обьема, по сути при высоте потолков 2 метра это 4.5 метра по площади, то есть в 1/4 четырешки запихнули 4 додиков — поселяющему на заметку

И еще толкан сломался и воняет, тупые пендосы вообще ничего сами не способны придумать, все скатывают у лучшей в мире советской инженерной школы