я давно говорю, что любая генерация с помощью языковых моделей (включая, конечно, большие языковые модели, т.е. LLM) ненадежна; мы, как сообщество, пока еще не умеем контролировать генерацию моделей так, чтобы она была достоверной https://arstechnica.com/apple/2025/01/ios-18-3-beta-disables-news-notification-summaries-after-high-stakes-errors/

интересно, что первые новости на этот счет были еще в ноябре, но Apple все-таки решила рискнуть https://arstechnica.com/apple/2024/11/apple-intelligence-notification-summaries-are-honestly-pretty-bad/

всем добрый день, в феврале стартует новый запуск моего курса по обработке естественного языка (NLP); в прошлом семестре курс прошел серьезный редизайн, и теперь в нем можно выделить два блока: базовый и продвинутый

базовый блок сосредоточен на том, чтобы дать слушателю представление о базовых задачах и базовых технологиях NLP, от классификации до генерации и от n-грамм до LLM; продвинутый блок посвящен более узким вопросам, например, одна из лекций посвящена специфическим задачам и подходам, характерным для диалоговых систем

на курсе есть семинары для всех тем, квизы (тесты) после каждой лекции базовой части, два задания, на программирование и на машинное обучение, а также - самое важное - проект, индивидуальный или групповой, который слушатели делают в течение всего курса

еще одно отличие от прошлых запусков - в этом семестре чат курса переехал в ODS Mattermost по адресу https://mm.ods.ai/ods/channels/nlp_course

участие в курсе бесплатное, а знания, которые на нем даются, пригодятся потом в карьере

вероятно, во время пандемии я не придал значения тому, что оказывается, был найден оригинальный код ELIZA!

после этого эпохального открытия коллеги из нескольких университетов объединились ради великой цели - запустить ту самую, первую Элизу; к сожалению, это не так просто, т.к. найденный код был нерабочим, это оказалась одна из разработочных версий Элизы; но используя оригинальную публикацию автора ELIZA Вайценбаума (на фото), они смогли ее довести до рабочего состояния; настолько рабочего, что с ней можно даже пообщаться!

если вам непонятны мои восторги по поводу какого-то куска кода 60-летней давности, то приходите на мой курс, который начнется уже в феврале, там мы в частности про нее поговорим на лекции посвященной разговорному ИИ

как я всегда говорю, чтобы сделать нормальное выступление, надо выступить хотя бы пару раз с этой презентацией; ко мне после выступления на ДатаЁлке подошло несколько людей, которые задали один и тот же вопрос - почему я не отметил рассуждающие модели в качестве тренда?

ответ на этот вопрос простой - я не подумал; если оглянуться на 2024 год, что действительно большим событием стало появление рассуждающей GPT o1; а потом это стало трендом настолько, что рассуждениями даже пытаются заменить недостаток данных в интернете для обучения моделей; последнее для меня как-то неубедительно звучит, но может быть я опять чего-то не допонял

в любом случае, решил выложить свою презентацию, пока видео еще обрабатывается

мы объявили о AINL 2025, в этом году будет в Новосибирске, будем рады видеть ваши статьи и вас лично в Новосибирске! https://xn--r1a.website/ainlconf/88

разум когда-нибудь победит

пока я был в отпуске, вышла моя статья в журнале Nature «Природа», если кто-то вдруг хотел прочитать про Хинтона и Хопфилда около литературный текст, то вот

ничего себе заруба пошла, коллеги по обе стороны Тихого океана прямо активизировались; сначала DeepSeek, потом Tülu; отдельно радует, что последняя модель открытая, DeepSeek - очень дешевый (по меркам современной индустрии); интересно, что в США появился второй крупный игрок за команду открытых моделей (мы все еще скорбим, что OpenAI перекрасился), а DeepSeek самую крупную свою модель сделал закрытой; такое ощущение, что индустрия по разные стороны Пасифики идет с разницей в такт: одни открывают, другие закрывают, а потом обратно

Виктор Тарнавский упоминал, что США и Китай заряжены на противостояние в области ИИ, интересно было бы определить, где место России в этом взаимодействии; знаменитая китайская стратагема «третий радующийся» говорит, что мудрая обезьяна сидит на дереве, пока два тигра терзают друг друга; осталось понять, как нам использовать плоды этой схватки

в свежем интервью Сэм Альтман косвенно подтверждает мои мысли по поводу открытости и закрытости https://www.reddit.com/r/OpenAI/comments/1ieonxv/comment/ma9grdt/

я немного пропустил весь хайп, связанный с DeepSeek и Qwen, будучи в отпуске, но на мой взгляд гораздо более важная новость состоит не в том, что последний DeepSeek стоит 6 млн $ (это стоимость одной успешной попытки без учета стоимости всех предыдущих и железа, не говоря про команду инженеров), а то, что DeepSeek теперь успешно работает на ускорителях от компании Huawei; вот это - новость, которая подобна землетрясению, монополию Nvidia на серверные карты до этого времени никто не оспаривал

@valuableai

а вот это интересно: пишут, что ЦРУ использует чатботов-двойников мировых лидеров для анализа их поведения; был такой стартап Replika.ai, который решал аналогичную задачу, но тогда результаты вызывали определенное сомнение в плане достоверности; я посмотрел на современное состояние дел, мои сомнения остались, но сделаем скидку на "секретные разработки ЦРУ"

сама новость: https://www.nytimes.com/2025/01/18/us/politics/cia-chatbot-technology.html

@valuableai

увидел обсуждение поста Андрея Карпатого на картинке, на мой взгляд - это повод еще раз вернуться к определению того, что такое программирование

на мой взгляд программирование можно разделить на два навыка: кодинг - это непосредственно стучание по клавишам, и проектирование - это про продумывание блоков и их связей; если первое нужно делать на компьютере, то второе можно делать, где угодно; не помню, кто из великих информатиков рассказывал, что он программирует, копаясь в саду (может быть, в комментариях подскажут)

так вот кодинг современные модели автоматизируют все лучше и лучше, и именно про это пишет Карпатый, а вот проектирование все равно он делает сам; сейчас много разговоров про то, что люди разучатся писать код - так вот в моем понимании умение кодить вполне себе станет аналогом умения писать перьевой ручкой, а вот проектированию нужно будет учить даже лучше, т.к. с мощным инструментом для написания кода сделать ерунду станет проще

вот это бомба, конечно, по-белому завидую коллегам из Сбера неправильно прочел, просто Сбер планирует коллаборировать с кем-то из Китая, не обязательно с DeepSeek; как говорится, поcпешишь, людей насмешишь

@valuableai

беспощадная суммаризация от YandexGPT

утащил у "Архитектурных излишеств"

Дарио Амодеи, глава Anthropic, заявил, что у DeepSeek нет никаких этических ограничений; однако, мой коллега обнаружил, что ограничения в работе этой модели вполне себе есть; кажется, тут все упирается в то, что люди считают важным, когда обследуют модель; подозреваю, что вопросы про LGBT* в Китае не относятся к чувствительным, а в США никого не интересует внутренняя политика Китая https://techcrunch.com/2025/02/07/anthropic-ceo-says-deepseek-was-the-worst-on-a-critical-bioweapons-data-safety-test/

* Запрещено на территории РФ

коллеги прислали статью с новым подходом к снаряду рекуррентности в контексте архитектуры Transformer; первым на моей памяти таким подходом был Transformer-XL, где применяли принцип Back Propagation Through Time из RNN, т.е. делили последовательность на куски и между кусками перебрасывали состояние (за подробностями отсылаю к самой статье); еще это отчасти напоминает статью Adaptive Computation Time; эта статья вообще из "дотрансформерной" эры, но ее идеи сейчас активно используются в рассуждающих моделях типа той же DeepSeek-R1; там идея заключается в том, что RNN может "решить", как долго ей "думать" над поступившим входом

а про статью я решил упомянуть потому, что мне понравилась использованная музыкальная терминология - прелюдия и кода, сама по себе идея еще не известно, как раскроется

@valuableai

открыли сабмит на AINL 2025, будем рады видеть ваши статьи и вас на конференции в Новосибирске!
https://xn--r1a.website/ainlconf/90

ого, вот это интересно; в свете предыдущих новостей особенно https://tass.ru/ekonomika/23123347

журналисты пытаются раздуть из вот этой статьи очередную жареную сенсацию, что ИИ может выйти из под контроля; надо отдать должное в данном случае ученые не совсем «изнасиловали журналистов», т.к. сами авторы статьи сознательно проверяют сценарии возможности самокопирования моделей

в статье рассмотрено два сценария - копирование перед отключением и копирование в цикле; если второе - это просто вирусное поведение, то первое вызывает большие вопросы: зачем вообще давать команду LLM отключить себя? это картинка из какого-то неблизкого будущего, когда даже у инженера нет доступа к консоли сервера, а только к интерфейсу LLM; в общем оба сценария на мой взгляд сомнительные в плане реализации

в целом, в очередной раз на мой взгляд все упирается в то, что у моделей нет целеполагания, они не являются живыми существами, как бы обратного не хотелось или не опасались

@valuableai