наверняка вы сталкивались с тем, что некоторые научные статьи доступны только за деньги; иногда можно воспользоваться sci-hub для того, чтобы обойти paywall (хотя остается вопрос законности данного мероприятия), но и через него не всегда получается; оказывается, есть альтернативный способ - через Российскую Государственную Библиотеку: они сделали специальное расширение для браузера, которое позволяет пользоваться их подписками на журналы; правда, для этого нужно сделать читательский билет, благо сейчас это можно сделать через госуслуги

вот официальная инструкция: https://www.rsl.ru/_files/sur/myloft/RSL_MyLoft_all.pdf

за наводку спасибо Леониду Синеву

по интернетам ходят слухи, что Amazon и Meta (запрещена в РФ) близки к тому, чтобы распустить свои команды, занимающиеся машинным переводом: sic transit gloria mundi

машинный перевод всегда был передним краем исследований в области обработки текстов, инновации шли именно оттуда, в частности механизм внимания и трансформер были предложены в первую очередь для перевода; как следствие, каждая крупная технологическая компания стремилась иметь такой отдел у себя, среди западных компаний это были (помимо упомянутых) - Google, Microsoft и IBM, среди российских - это, конечно, Яндекс, но и Сбер тоже делал движения в эту сторону

три года назад взорвалась сверхновая ChatGPT 💥, и взоры и мысли сообщества устремились в сторону больших языковых моделей, машинный перевод стал отходить на второй план; на мой взгляд, это - хороший вспомнить про визионера машинного перевода, человека, который предвосхитил развитие области на несколько десятилетий - Петра Петровича Смирова-Троянского

Петр Петрович в 1933 году предложил механическую машину для пословного перевода текстов; о его изобретении в 1959 году была написана книга "Переводная машина П.П. Троянского", которую я и предлагаю вашему вниманию - она короткая (50 страниц) и безумно интересная, заглавная иллюстрация как раз из нее - http://books.iis.nsk.su/book/troyanskiy

коллеги уже успели заметить, что наша модель заняла второе место на MERA; и что она вышла почти сразу после модели от коллег из Т-банка; но самое смешное, что сабмиты и наш, и от коллег сделаны с интервалом меньше минуты, просто наш сабмит открыли несколько позже

как говорят американцы: great minds think alike, если вы понимаете, о чем я

⚡️нашу статью Iterative Self-Training for Code Generation via Reinforced Re-Ranking приняли на ECIR 2025! ссылку на статью дам позже, когда выложат на сайт / выложим на arXiv

я тут узнал, что обучение искусственного интеллекта приравняли к народным промыслам; я ничего не имею против народных промыслов, но в моей голове это все-таки достаточно далеко от программирования

В перечень креативных индустрий входят музыка, исполнительские искусства, кино и сериалы, анимация, видеоигры, разработка программного обеспечения, медиа и СМИ, книжное дело, реклама и pr, арт-индустрия, народные художественные промыслы и ремесла, культурное наследие, дизайн, архитектура и урбанистика, мода, ювелирное дело, гастрономия.

https://issek.hse.ru/mirror/pubs/share/996745056.pdf

интересный пост в блоге HuggingFace про улучшение результатов маленьких моделей; если в двух словах, то можно взять маленькую модель, прогнать ее несколько раз, а потом с помощью какой-то стратегии выбрать лучшее решение; на картинке представлены три базовых: выбор самого частого варианта (Majority), выбор лучшего c помощью модели-оценщика (Best-of-N), а также наш любимый лучевой поиск (Beam Search); на самом деле они представляют свою модификацию лучевого поиска (DVTS), которая состоит в том, что соревнуются поддеревья, которые выращиваются независимо друг от друга; по смыслу близко к MCTS (использовался в частности в AlphaGo), только сэмплирование устроено чуть иначе

в этой связи стоит вспомнить недавнюю новость про OpenAI o3, которая показала троекратное улучшение качества на лидерборде ARC по сравнению с o1; но важно тут не само улучшение, а то что на лидерборде представлено два результата с малыми вычислительными затратами и с большими (в 172 раза); что-то мне подсказывает, что во втором случае использовался подобный подход, т.к. результат получается существенно лучше (76% -> 88%)

ну и, конечно, сам себя не похвалишь, никто не похвалит, наша работа на ECIR - также следует этой парадигме, в терминах поста выше мы используем стратегию Best-of-N, генерируя по 10 вариантов и все равно оставаясь втрое эффективнее, чем модели большего размера

Антропик выпустил огромную статью по поводу того, что модели только притворяются, что следуют алайменту; дают рекомендации, как улучшить следование засчет формулировок промтов

мне, к слову, не нравится слово ни «алаймент» (прямое заимствование, но что называется - не звучит), ни «выравнивание» (калька с английского), т.к. на мой взгляд они не отражают сути процесса; суть процесса состоит в том, чтобы модель правильно отвечала на вопросы, касающиеся каких-то чувствительных тем; я предлагаю использовать вместо этого слово «катехизация», обозначающее ровно тот же процесс, но в рамках приходского обучения

https://assets.anthropic.com/m/983c85a201a962f/original/Alignment-Faking-in-Large-Language-Models-full-paper.pdf

это - заря нового дивного мира, в котором код будет писаться и читаться в основном языковыми моделями; эту ситуацию проэкстраполировал в своем романе iPhuck 10 Виктор Пелевин; там у него был понятие "случайного кода", который генерировался по запросу; фактически полезную функцию выполняла небольшая часть кода, а остальное просто занимало место на диске, но тем не менее, этого уже было достаточно, т.к. работа выполнялась, остальным же никто не интересовался; в целом весь роман можно рекомендовать к прочтению, он интересно ложится на текущую ситуацию с большими языковыми моделями https://www.theregister.com/2024/12/10/ai_slop_bug_reports/

P.S. к сожалению, Виктор Олегович перестал выкладывать романы на свой сайт, так что можно поискать, где купить книгу, тут я никаких рекомендаций давать не готов

довольно странно критиковать OpenAI за коммерциализацию, учитывая, что она произошла 4 года назад; я не читал исковое заявление, но мне неясно, что могут потребовать от OpenAI - прекратить свою деятельность? открыть все наработки?

если первое, то неясно в чем смысл, т.к. остаются те же FAANG (на самом деле как минимум плюс IBM и Microsoft), которые будут продолжать разработки коммерческих моделей, не говоря уже про китайских товарищей; если второе, то обратно вышеупомянутые фирмы получат возможность ускорить свои разработки, не более того; в общем, мне представляется, что это - просто часть политической борьбы внутри США и к развитию области имеет опосредованное отношение

исходная новость: https://www.digitalinformationworld.com/2025/01/top-data-scientist-geoffrey-hinton.html

Instagram* начал показывать сгенерированные рекламные баннеры, где героем рекламы является сам пользователь; это еще один привет из не такого уж солнечного "завтра", где реклама будет гипер-персонализированной; этот шаг совершенно точно не последний, я жду, когда научатся генерировать "внутренний голос", который будет тебе подсказывать, какие кроссовки купить; если кто не знал, человек свой голос слышит не так, как другие люди, поэтому нужно не просто скопировать голос, это уже хорошо умеют, а именно воспроизвести, как голос человека звучит для него самого, перспективная задача для рекламных технологий

https://3dnews.ru/1116378/instagram-nachala-pokazivat-polzovatelyam-ih-izobrageniya-sozdannie-ii


* Запрещена на территории РФ

крупный вендор не планирует целый год нанимать программистов; мне не очень понятно, как они собираются компенсировать текучку кадров - все равно кто-то будет увольняться, т.е. работа на оставшихся членов команды будет увеличиваться, так что это может быть просто своеобразной саморекламой, но все равно сама заявка дорогого стоит

на всякий случай, если кто-то думает, что в России нас ждет что-то подобное, то - не в этом году точно, и не в силу отсталости технологий, а просто потому что у нас нехватка программистов - несколько сотен тысяч человек, ИИ ее пока не в силах компенсировать

https://www.salesforceben.com/salesforce-will-hire-no-more-software-engineers-in-2025-says-marc-benioff/

было бы смешно, если бы не было так грустно: StackOverflow действительно cодержит очень много полезной информации, но теперь проще получать информацию от ChatGPT (и аналогов)

меня смущает, что новые данные перестанут собираться; хотя с учетом способности современных LLM к обобщению, им достаточно накопленных данных, чтобы уметь формулировать ответы на основе документации, которую все еще пишут люди; через какое-то время люди перестанут писать и ее - документировать код будет LLM; а потом и код будет писать LLM; как-то так и выглядит технологическая сингулярность, да

https://www.cnews.ru/news/top/2025-01-10_znamenityj_sajt_dlya_programmistov

теперь еще и Meta* идет в эту сторону; пока еще это можно списать на совпадение, но тенденция уже просматривается - нехватку людей планируют компенсировать ИИ

в случае Salesforce это было объяснимо тем, что они на самом деле планируют продолжить волну увольнений, Meta о таком вроде бы не объявляла (или я все пропустил?)

https://tribune.com.pk/story/2521499/zuckerberg-announces-meta-plans-to-replace-mid-level-engineers-with-ais-this-year

* Запрещена на территории РФ

тут можно высказать теорию заговора: из-за того, что, как сказал Суцкевер, данные для обучения моделей в интернете закончились, для генерации данных для о1 OpenAI использовали китайские модели, тот же Qwen; оставлю вас ненадолго с этой мыслью

если серьезно, то первая Llama и, вероятно, GPT3.5 использовали почти исключительно англоязычные данные, эти данные объективно закончились, их была половина от всех данных интернета; вторая половина - на каких угодно других языках, поэтому неудивительно, что модель их использует; немного странно, что не пишут, про использование моделью русского языка, он на втором месте в интернете с 5%, но может просто стесняются

https://techcrunch.com/2025/01/14/openais-ai-reasoning-model-thinks-in-chinese-sometimes-and-no-one-really-knows-why/

я давно говорю, что любая генерация с помощью языковых моделей (включая, конечно, большие языковые модели, т.е. LLM) ненадежна; мы, как сообщество, пока еще не умеем контролировать генерацию моделей так, чтобы она была достоверной https://arstechnica.com/apple/2025/01/ios-18-3-beta-disables-news-notification-summaries-after-high-stakes-errors/

интересно, что первые новости на этот счет были еще в ноябре, но Apple все-таки решила рискнуть https://arstechnica.com/apple/2024/11/apple-intelligence-notification-summaries-are-honestly-pretty-bad/

всем добрый день, в феврале стартует новый запуск моего курса по обработке естественного языка (NLP); в прошлом семестре курс прошел серьезный редизайн, и теперь в нем можно выделить два блока: базовый и продвинутый

базовый блок сосредоточен на том, чтобы дать слушателю представление о базовых задачах и базовых технологиях NLP, от классификации до генерации и от n-грамм до LLM; продвинутый блок посвящен более узким вопросам, например, одна из лекций посвящена специфическим задачам и подходам, характерным для диалоговых систем

на курсе есть семинары для всех тем, квизы (тесты) после каждой лекции базовой части, два задания, на программирование и на машинное обучение, а также - самое важное - проект, индивидуальный или групповой, который слушатели делают в течение всего курса

еще одно отличие от прошлых запусков - в этом семестре чат курса переехал в ODS Mattermost по адресу https://mm.ods.ai/ods/channels/nlp_course

участие в курсе бесплатное, а знания, которые на нем даются, пригодятся потом в карьере

вероятно, во время пандемии я не придал значения тому, что оказывается, был найден оригинальный код ELIZA!

после этого эпохального открытия коллеги из нескольких университетов объединились ради великой цели - запустить ту самую, первую Элизу; к сожалению, это не так просто, т.к. найденный код был нерабочим, это оказалась одна из разработочных версий Элизы; но используя оригинальную публикацию автора ELIZA Вайценбаума (на фото), они смогли ее довести до рабочего состояния; настолько рабочего, что с ней можно даже пообщаться!

если вам непонятны мои восторги по поводу какого-то куска кода 60-летней давности, то приходите на мой курс, который начнется уже в феврале, там мы в частности про нее поговорим на лекции посвященной разговорному ИИ

как я всегда говорю, чтобы сделать нормальное выступление, надо выступить хотя бы пару раз с этой презентацией; ко мне после выступления на ДатаЁлке подошло несколько людей, которые задали один и тот же вопрос - почему я не отметил рассуждающие модели в качестве тренда?

ответ на этот вопрос простой - я не подумал; если оглянуться на 2024 год, что действительно большим событием стало появление рассуждающей GPT o1; а потом это стало трендом настолько, что рассуждениями даже пытаются заменить недостаток данных в интернете для обучения моделей; последнее для меня как-то неубедительно звучит, но может быть я опять чего-то не допонял

в любом случае, решил выложить свою презентацию, пока видео еще обрабатывается