нейросети нанесли удар с тыла, мы-то думали, что они будут писать статьи за нас, а они стали искать у нас ошибки!

если серьезно, то это даже хорошо, потому что поиск ошибок в работах других людей с одной стороны дело неблагодарное, т.к. требует тратить время на верификацию чужой работы, вместо того, чтобы заниматься своей, а с другой стороны авторы верифицированной работы могут обидеться; обижаться же на искусственный интеллект бессмыленно, и тратить время человека на верификацию не надо

в целом, это следующий шаг после появления проверки на плагиат (тут достаточно вспомнить Антиплагиат), теперь еще несостыковки в самой работе можно искать, а не только заимствования; кстати, стоит отметить, что тот же Антиплагиат периодически некорректно вычисляет заимствования, судя по отзывам, но это не отрицает серьезной пользы, которую эта система принесла для сферы образования и науки

P.S. за иллюстрацию спасибо нейросети Кандинский

@valuabelai

вот еще одна история про маленькие модели: кто-то придумал, как дообучать маленькую модельку путем того, что задавать вопросы к документу, искать ответы в корпусе (с помощью внешнего инструмента) и оценивать свои ответы, и все это в RL-цикле

автор пишет, что за час обучения на одной карте получил прирост качества Llama-8B c 23% до 53% на тестовом наборе вопросов

причаститься можно тут

тут вышло интересное исследование от Microsoft, как люди выполняют интеллектуальные задачи с помощью генеративного ИИ; там ожидаемо отмечается, что у людей снижается когнитивная нагрузка

но мне показалось интересным другое (раздел 5.2.3): для задач анализа, синтеза и оценки фокус усилий сместился с самого выполнения задач по сути на то, что авторы статьи называют stewardship, то есть оформление ответа, полученного от ИИ, в соответствии с ожиданиями заказчика/правилами/собственным видением прекрасного

это напомнило мне о моей любимой научно-фантастической книге "Ложная слепота"; в контексте сегодняшнего поста нам интересен не синопсис, а конкретная деталь: главный герой Сири Китон там по профессии "переводчик", только не в нашем привычном смысле, а в том, что он может переводить с языка сложных формул и графиков на язык простых людей; особенностью его профессии в книге является то, что он не должен понимать, что он переводит, ему достаточно его навыков для переложения информации из одной формы в другую

прочитал тут у Сергея Николенко про то, что Sakana AI выпустили вторую версию своего AI scientist; суть в том, что коллеги из Sakana AI автоматически сгенерировали 10 статей, отобрали из них 3 хороших, а потом подали на один из воркшопов ICLR; полученные статьями оценки представлены на картинке, можно предположить, что первая из статей была бы принята

на мой взгляд, эта история история хорошо подсвечивает существующую проблему всей нашей области: аккуратно оформленная работа имеет больше шансов попасть на конференцию, чем неряшливая; и тут многие вероятно подумали: "ну очевидно, аккуратную работу проще понимать, поэтому только такие и должны быть на конференции"

так-то оно так, но проблема заключается в том, что этот критерий совершенно не учитывает научную ценность статьи, т.е. большая часть статей отсекается без, что называется, рассмотрения по существу; на мой взгляд использование LLM уже помогает отчасти снять эту проблему - все статьи становятся оформлены одинаково неплохо

продолжение
окончание

начало

Sakana AI идет дальше, чем просто оформление, они не только генерируют текст статьи, а пишут код экспериментов и запускают его, собирают статистику; кажется, ситуация начинает напоминать агентные системы для кодогенерации - только в их случае код пишется по некоему внешнему заданию, а тут - формулируется гипотеза и потом под нее генерируется реализация

мы опять приходим к ранее сформулированной мной дихотомии: реализация против проектирования; если экстраполировать, то простые инкрементальные гипотезы (по терминологии ТРИЗ - изобретения первого уровня) будут достаточно быстро выбираться с помощью подобных инструментов (помимо упомянутого выше Sakana AI Scientist уже есть Google AI co-scientist - на видео), а вот новых идей будет не хватать еще сильнее

окончание

начало
продолжение

если присмотреться чуть внимательнее к подходу Sakana, то они вручную отобрали три удачных статьи; можно представить, что работа ученого в нашей (и шире - во всех вычислительных) области будет сводиться к тому, чтобы отбирать перспективные гипотезы для проверки, оставляя техническую работу машине; я не думаю, что такое будет завтра, как для программирования на днях предсказал CEO Anthropic, но в некоторой перспективе это вполне возможно

P.S. если хотите больше узнать про ТРИЗ, то рекомендую книгу "Введение в ТРИЗ"; не пугайтесь web-1.0 сайта, книга того стоит

P.P.S. пост Сергея

пришла новость о том, что Microsoft сделала ИИ-ассистента для помощи геймерам - Copilot for Gaming, который может давать советы во время прохождения игр

иначе, как отрывком из классического мультфильма, я это прокомментировать не могу

тут вышла новость, в которой говорится, что традиционные сайты теряют посетителей из-за ИИ-агрегаторов, типа ChatGPT и Perplexity; потери доходят до половины посетителей за 3 последних года; на мой взгляд описываемая проблема имеет простое решение - вместо денег за показы рекламы с рекламных платформ, сайты будут брать деньги за показы страниц с ИИ-платформ, как уже делают Associated Press, например

интересно тут другое, одновременно с ковидом появилась книга "Будущее быстрее, чем вы думаете", где авторы предсказывают уход в прошлое рекламы, как таковой из-за того, что ИИ-помощники будут анализировать информацию для пользователей, игнорируя маркетинг; меня это зацепило еще в прошлом году, а теперь появилось наглядное подтверждение

@valuableai

пришла новость, что Meta* тестирует свой чип для искусственного интеллекта и готовится начать его широко использовать в 2026 году; месяц назад была аналогичная новость про OpenAI, они хотят представить свой чип уже в этом году; 4 месяца назад была такая же от Amazon

такие чипы принято называть NPU (нейросетевое вычислительное устройство), и их уже сейчас существует несколько; тут надо оговориться, что существуют встроенные в центральный процессор NPU, но я сейчас только о дискретных

первым был Google со своими TPU, которым скоро исполнился 10 лет и которые некоторым даже доступны в colab; на этом список доступных для использования NPU по ту сторону Тихого океана заканчивается

в Китае существует же, как минимум, два - это Ascend от Huawei, на которых уже работает DeepSeek; а также Sophon, которые тоже пишут о поддержке DeepSeek (кстати, название является отсылкой к нашумевшей н/ф книге "Задача трех тел")

* Meta запрещена на территории РФ

для многих будет открытием, что у нас тоже что-то разрабатывают на эту тему: это LinQ от "Хайтэк" (в прошлом IVA Technologies) и NeuroMatrix от НТЦ Модуль; российские чипы в этом году уже должны пойти в серию и быть доступны на рынке (1, 2); конечно, ожидать чудес от наших процессоров не стоит, Huawei тратит миллиарды на создание стабильного ПО и документации своих решений, и не сказать, что имеет широкое внедрение, но продолжим наблюдать

на днях я узнал, что исследовательский центр Huawei в Москве переименовали в честь Николая Николаевича Лузина; к своему стыду, я узнал, кто это такой только после этого, но от чего становится еще стыднее - это от того, что он мой прямой предок по математической генеалогии

кто не знает, что это - пример на картинке к посту, вашим предком считается ваш научник; например, моим научным отцом является Владимир Львович Арлазаров

моя генеалогия уверенно отслеживается до Николая Васильевича Бугаева; кстати, не только моя, но и многих современных российских математиков; Николай Васильевич в этом смысле оказался плодовит

глубже него не отслеживается, т.к. докторскую диссертацию он писал самостоятельно, прослушав несколько курсов лекций в европейских университетах, а магистерскую* - непонятно под чьим, я даже предпринял целое расследование, оцифровал его диссертацию, но в ней нет указания на научного руководителя, такие дела

я что-то упустил год назад момент, когда NAACL переименовались из North American в Nations of Americas (Chapter of ACL); у них там даже своя конституция есть, на минуточку!

решил начать собирать видео своих выступлений в одном месте

первым будет видео из вот этого поста

мне сказали, что можно приглашать всех на мое выступление для ИТМО по поводу нашей статьи Iterative Self-Training for Code Generation via Reinforced Re-Ranking, которую приняли на ECIR 2025

всем, кому интересно про генерацию кода при помощи обучения с подкреплением - добро пожаловать 26 марта в 18:30 (МСК)

нужна регистрация

новая модель от Tencent - Hunyuan-T1; из интересного можно отметить то, что это - первая на моей памяти большая модель, сравнимая по качеству с топовыми (на картинке), на гибридной архитектуре трансформер-мамба; если я правильно понимаю, то Tranfromer-Mamba MoE уже была предложена год назад коллегами из AI21 Labs под названием Jamba; интересно, какие отличия у Т1? придется дождаться техрепорта

из интересных фактов, модель обучена на данных до июля 2024 года, похоже, что у них действительно свой претрейн