пока я был в отпуске, вышла интересная статья про рассуждения; авторы попробовали посмотреть на рассуждения с точки зрения нескольких простых атрибутов - длины (в токенах и по количеству шагов рассуждения), формата и самой задачи; начнем с последнего (первая картинка), т.к. оно самое непонятное; идея в том, чтобы взять базовые трансформации и просить модель воспроизводить их некоторую комбинацию; длина, я думаю, очевидна из названия; а формат - это стандартная атака на LLM в виде убирания/добавления токена и т.п.

в статье демонстрируется, что модели не устойчивы ни по одному из заявленных параметров; неустойчивость к атакам демонстрировали уже давно, обобщаемость на новые задачи также ожидаемо отсутствует, но на длину рассуждения была надежда; однако же нет (вторая картинка): если изначально учить модель на два шага рассуждений, то она не умеет делать рассуждения в один шаг, а если ее этому учить, то разучивается делать двухшаговые

QED: модели отступать от выученных шаблонов не приспособлены

@valuableai

я эту тему как-то пропустил, хотя началась она еще 10 лет назад, тема эта - электронные татуировки (как на первой картинке), кому что, а мне вспоминается Cyberpunk 2077 (вторая картинка, не так много отличий, правда?); всплыла она в связи с тем, что про нее опять вспомнил Билл Гейтс; причем не просто вспомнил, а заявил, что они заменят смартфоны; мы не так давно обсуждали замену смартфона от Rabbit, iyO; на мой взгляд, такая замена выглядит даже более перспективной, только мне непонятно, как тут происходит вывод информации: у Rabbit есть экранчик, у iyO - динамик, а тут? обещают не имплантировать никаких чипов, только сами чернила; не очень понятно, как происходит ввод, но допустим, оно сможет считывать колебания кожи от звука голоса, а вот вывод я себе не могу представить

@valuableai

почти подряд пришло две новости:
1) Microsoft выпустила сеть для генерации голоса VibeVoice; она позволяет генерировать аудио длиной до 90 минут с 4 участниками; и это моделькой, размером в 1.5B; я попробовал генерировать русский, сильный американский акцент слышно и периодически захлебывается, явно на русский не рассчитано, хотя на странице есть пример с китайским
2) OpenAI буквально сегодня ночью выпустила Realtime API для генерации голоса при общении с ChatGPT, кстати, поддерживает SIP

@valuableai

я уже не раз говорил, что Sakana AI сейчас делают одни из самых интересных вещей в индустрии (1, 2); и вот опять - они представили алгоритм естественных ниш (Natural Niches) - это новый эволюционный алгоритм для "обучения" моделей; обучение в кавычках, т.к. (любой) эволюционный алгоритм ищет наилучшую модель путем смешивания существующих моделей, а не изменения одной исходной модели (упрощенное пояснение на первой картинке)

в подходе Sakana я бы выделил две особенности: 1) они производят смешивание не по слоям, а условно делят модель пополам в произвольном месте и 2) они подбирают пару для скрещивания так, что где одна модель хороша, другая плоха и наоборот

подход демонстрирует, что произвольная инициализация лучше, чем предобученные модели (вторая картинка); но что интересно, их подход демонстрирует эффективность не только на MNIST, но и на современных задачах (третья картинка); кстати, последнее похоже на подход Chat Vector

@valuableai