Finantial Times пишет, что выход DeepSeek R2 задерживается из-за проблем с Huawei Ascend; насколько это правда, это отдельный вопрос, но из этой новости мы узнаем, что DeepSeek действительно тренируют на Ascend, раньше были только слухи; повторю, что именно это - серьезный вызов монополии nVIDIA; остальные игроки - также американские, к слову - Intel и AMD, пока ничего близкого по уровню не представили

@valuableai

спасибо моему подписчику, который попросил разобрать статью про Hierarchical Reasoning Model; на мой взгляд - это очередная попытка переизобрести рекуррентные нейронные сети; берется два трансформерных блока, один из которых работает все время, а другой - только изредка; на первой картинке графическое представление, на второй - упрощенный код

такой подход позволяет при минимуме весов показать хорошие результаты на ARC и других логических задачах (третья картинка); про время исполнения по сравнению с текущими моделями не пишут, что интересно

@valuableai

пока я был в отпуске, вышла интересная статья про рассуждения; авторы попробовали посмотреть на рассуждения с точки зрения нескольких простых атрибутов - длины (в токенах и по количеству шагов рассуждения), формата и самой задачи; начнем с последнего (первая картинка), т.к. оно самое непонятное; идея в том, чтобы взять базовые трансформации и просить модель воспроизводить их некоторую комбинацию; длина, я думаю, очевидна из названия; а формат - это стандартная атака на LLM в виде убирания/добавления токена и т.п.

в статье демонстрируется, что модели не устойчивы ни по одному из заявленных параметров; неустойчивость к атакам демонстрировали уже давно, обобщаемость на новые задачи также ожидаемо отсутствует, но на длину рассуждения была надежда; однако же нет (вторая картинка): если изначально учить модель на два шага рассуждений, то она не умеет делать рассуждения в один шаг, а если ее этому учить, то разучивается делать двухшаговые

QED: модели отступать от выученных шаблонов не приспособлены

@valuableai

я эту тему как-то пропустил, хотя началась она еще 10 лет назад, тема эта - электронные татуировки (как на первой картинке), кому что, а мне вспоминается Cyberpunk 2077 (вторая картинка, не так много отличий, правда?); всплыла она в связи с тем, что про нее опять вспомнил Билл Гейтс; причем не просто вспомнил, а заявил, что они заменят смартфоны; мы не так давно обсуждали замену смартфона от Rabbit, iyO; на мой взгляд, такая замена выглядит даже более перспективной, только мне непонятно, как тут происходит вывод информации: у Rabbit есть экранчик, у iyO - динамик, а тут? обещают не имплантировать никаких чипов, только сами чернила; не очень понятно, как происходит ввод, но допустим, оно сможет считывать колебания кожи от звука голоса, а вот вывод я себе не могу представить

@valuableai

почти подряд пришло две новости:
1) Microsoft выпустила сеть для генерации голоса VibeVoice; она позволяет генерировать аудио длиной до 90 минут с 4 участниками; и это моделькой, размером в 1.5B; я попробовал генерировать русский, сильный американский акцент слышно и периодически захлебывается, явно на русский не рассчитано, хотя на странице есть пример с китайским
2) OpenAI буквально сегодня ночью выпустила Realtime API для генерации голоса при общении с ChatGPT, кстати, поддерживает SIP

@valuableai