как говорится, не можешь победить - возглавь; общеизвестно, что студенты и школьники используют ChatGPT для того, чтобы делать домашнее задание, OpenAI решил с этим не бороться (все-таки это тоже потребители), а найти соломоново решение - теперь ChatGPT будет помогать студентам учиться (видео); чтобы не было, как в тот раз; к слову, количество запросов к ChatGPT упало втрое после того, как школьники ушли на каникулы (картинка)

@valuableai

Finantial Times пишет, что выход DeepSeek R2 задерживается из-за проблем с Huawei Ascend; насколько это правда, это отдельный вопрос, но из этой новости мы узнаем, что DeepSeek действительно тренируют на Ascend, раньше были только слухи; повторю, что именно это - серьезный вызов монополии nVIDIA; остальные игроки - также американские, к слову - Intel и AMD, пока ничего близкого по уровню не представили

@valuableai

спасибо моему подписчику, который попросил разобрать статью про Hierarchical Reasoning Model; на мой взгляд - это очередная попытка переизобрести рекуррентные нейронные сети; берется два трансформерных блока, один из которых работает все время, а другой - только изредка; на первой картинке графическое представление, на второй - упрощенный код

такой подход позволяет при минимуме весов показать хорошие результаты на ARC и других логических задачах (третья картинка); про время исполнения по сравнению с текущими моделями не пишут, что интересно

@valuableai

пока я был в отпуске, вышла интересная статья про рассуждения; авторы попробовали посмотреть на рассуждения с точки зрения нескольких простых атрибутов - длины (в токенах и по количеству шагов рассуждения), формата и самой задачи; начнем с последнего (первая картинка), т.к. оно самое непонятное; идея в том, чтобы взять базовые трансформации и просить модель воспроизводить их некоторую комбинацию; длина, я думаю, очевидна из названия; а формат - это стандартная атака на LLM в виде убирания/добавления токена и т.п.

в статье демонстрируется, что модели не устойчивы ни по одному из заявленных параметров; неустойчивость к атакам демонстрировали уже давно, обобщаемость на новые задачи также ожидаемо отсутствует, но на длину рассуждения была надежда; однако же нет (вторая картинка): если изначально учить модель на два шага рассуждений, то она не умеет делать рассуждения в один шаг, а если ее этому учить, то разучивается делать двухшаговые

QED: модели отступать от выученных шаблонов не приспособлены

@valuableai