это - заря нового дивного мира, в котором код будет писаться и читаться в основном языковыми моделями; эту ситуацию проэкстраполировал в своем романе iPhuck 10 Виктор Пелевин; там у него был понятие "случайного кода", который генерировался по запросу; фактически полезную функцию выполняла небольшая часть кода, а остальное просто занимало место на диске, но тем не менее, этого уже было достаточно, т.к. работа выполнялась, остальным же никто не интересовался; в целом весь роман можно рекомендовать к прочтению, он интересно ложится на текущую ситуацию с большими языковыми моделями https://www.theregister.com/2024/12/10/ai_slop_bug_reports/

P.S. к сожалению, Виктор Олегович перестал выкладывать романы на свой сайт, так что можно поискать, где купить книгу, тут я никаких рекомендаций давать не готов

довольно странно критиковать OpenAI за коммерциализацию, учитывая, что она произошла 4 года назад; я не читал исковое заявление, но мне неясно, что могут потребовать от OpenAI - прекратить свою деятельность? открыть все наработки?

если первое, то неясно в чем смысл, т.к. остаются те же FAANG (на самом деле как минимум плюс IBM и Microsoft), которые будут продолжать разработки коммерческих моделей, не говоря уже про китайских товарищей; если второе, то обратно вышеупомянутые фирмы получат возможность ускорить свои разработки, не более того; в общем, мне представляется, что это - просто часть политической борьбы внутри США и к развитию области имеет опосредованное отношение

исходная новость: https://www.digitalinformationworld.com/2025/01/top-data-scientist-geoffrey-hinton.html

Instagram* начал показывать сгенерированные рекламные баннеры, где героем рекламы является сам пользователь; это еще один привет из не такого уж солнечного "завтра", где реклама будет гипер-персонализированной; этот шаг совершенно точно не последний, я жду, когда научатся генерировать "внутренний голос", который будет тебе подсказывать, какие кроссовки купить; если кто не знал, человек свой голос слышит не так, как другие люди, поэтому нужно не просто скопировать голос, это уже хорошо умеют, а именно воспроизвести, как голос человека звучит для него самого, перспективная задача для рекламных технологий

https://3dnews.ru/1116378/instagram-nachala-pokazivat-polzovatelyam-ih-izobrageniya-sozdannie-ii


* Запрещена на территории РФ

крупный вендор не планирует целый год нанимать программистов; мне не очень понятно, как они собираются компенсировать текучку кадров - все равно кто-то будет увольняться, т.е. работа на оставшихся членов команды будет увеличиваться, так что это может быть просто своеобразной саморекламой, но все равно сама заявка дорогого стоит

на всякий случай, если кто-то думает, что в России нас ждет что-то подобное, то - не в этом году точно, и не в силу отсталости технологий, а просто потому что у нас нехватка программистов - несколько сотен тысяч человек, ИИ ее пока не в силах компенсировать

https://www.salesforceben.com/salesforce-will-hire-no-more-software-engineers-in-2025-says-marc-benioff/

было бы смешно, если бы не было так грустно: StackOverflow действительно cодержит очень много полезной информации, но теперь проще получать информацию от ChatGPT (и аналогов)

меня смущает, что новые данные перестанут собираться; хотя с учетом способности современных LLM к обобщению, им достаточно накопленных данных, чтобы уметь формулировать ответы на основе документации, которую все еще пишут люди; через какое-то время люди перестанут писать и ее - документировать код будет LLM; а потом и код будет писать LLM; как-то так и выглядит технологическая сингулярность, да

https://www.cnews.ru/news/top/2025-01-10_znamenityj_sajt_dlya_programmistov

теперь еще и Meta* идет в эту сторону; пока еще это можно списать на совпадение, но тенденция уже просматривается - нехватку людей планируют компенсировать ИИ

в случае Salesforce это было объяснимо тем, что они на самом деле планируют продолжить волну увольнений, Meta о таком вроде бы не объявляла (или я все пропустил?)

https://tribune.com.pk/story/2521499/zuckerberg-announces-meta-plans-to-replace-mid-level-engineers-with-ais-this-year

* Запрещена на территории РФ

тут можно высказать теорию заговора: из-за того, что, как сказал Суцкевер, данные для обучения моделей в интернете закончились, для генерации данных для о1 OpenAI использовали китайские модели, тот же Qwen; оставлю вас ненадолго с этой мыслью

если серьезно, то первая Llama и, вероятно, GPT3.5 использовали почти исключительно англоязычные данные, эти данные объективно закончились, их была половина от всех данных интернета; вторая половина - на каких угодно других языках, поэтому неудивительно, что модель их использует; немного странно, что не пишут, про использование моделью русского языка, он на втором месте в интернете с 5%, но может просто стесняются

https://techcrunch.com/2025/01/14/openais-ai-reasoning-model-thinks-in-chinese-sometimes-and-no-one-really-knows-why/

я давно говорю, что любая генерация с помощью языковых моделей (включая, конечно, большие языковые модели, т.е. LLM) ненадежна; мы, как сообщество, пока еще не умеем контролировать генерацию моделей так, чтобы она была достоверной https://arstechnica.com/apple/2025/01/ios-18-3-beta-disables-news-notification-summaries-after-high-stakes-errors/

интересно, что первые новости на этот счет были еще в ноябре, но Apple все-таки решила рискнуть https://arstechnica.com/apple/2024/11/apple-intelligence-notification-summaries-are-honestly-pretty-bad/

всем добрый день, в феврале стартует новый запуск моего курса по обработке естественного языка (NLP); в прошлом семестре курс прошел серьезный редизайн, и теперь в нем можно выделить два блока: базовый и продвинутый

базовый блок сосредоточен на том, чтобы дать слушателю представление о базовых задачах и базовых технологиях NLP, от классификации до генерации и от n-грамм до LLM; продвинутый блок посвящен более узким вопросам, например, одна из лекций посвящена специфическим задачам и подходам, характерным для диалоговых систем

на курсе есть семинары для всех тем, квизы (тесты) после каждой лекции базовой части, два задания, на программирование и на машинное обучение, а также - самое важное - проект, индивидуальный или групповой, который слушатели делают в течение всего курса

еще одно отличие от прошлых запусков - в этом семестре чат курса переехал в ODS Mattermost по адресу https://mm.ods.ai/ods/channels/nlp_course

участие в курсе бесплатное, а знания, которые на нем даются, пригодятся потом в карьере

вероятно, во время пандемии я не придал значения тому, что оказывается, был найден оригинальный код ELIZA!

после этого эпохального открытия коллеги из нескольких университетов объединились ради великой цели - запустить ту самую, первую Элизу; к сожалению, это не так просто, т.к. найденный код был нерабочим, это оказалась одна из разработочных версий Элизы; но используя оригинальную публикацию автора ELIZA Вайценбаума (на фото), они смогли ее довести до рабочего состояния; настолько рабочего, что с ней можно даже пообщаться!

если вам непонятны мои восторги по поводу какого-то куска кода 60-летней давности, то приходите на мой курс, который начнется уже в феврале, там мы в частности про нее поговорим на лекции посвященной разговорному ИИ

как я всегда говорю, чтобы сделать нормальное выступление, надо выступить хотя бы пару раз с этой презентацией; ко мне после выступления на ДатаЁлке подошло несколько людей, которые задали один и тот же вопрос - почему я не отметил рассуждающие модели в качестве тренда?

ответ на этот вопрос простой - я не подумал; если оглянуться на 2024 год, что действительно большим событием стало появление рассуждающей GPT o1; а потом это стало трендом настолько, что рассуждениями даже пытаются заменить недостаток данных в интернете для обучения моделей; последнее для меня как-то неубедительно звучит, но может быть я опять чего-то не допонял

в любом случае, решил выложить свою презентацию, пока видео еще обрабатывается

мы объявили о AINL 2025, в этом году будет в Новосибирске, будем рады видеть ваши статьи и вас лично в Новосибирске! https://xn--r1a.website/ainlconf/88

разум когда-нибудь победит

пока я был в отпуске, вышла моя статья в журнале Nature «Природа», если кто-то вдруг хотел прочитать про Хинтона и Хопфилда около литературный текст, то вот

ничего себе заруба пошла, коллеги по обе стороны Тихого океана прямо активизировались; сначала DeepSeek, потом Tülu; отдельно радует, что последняя модель открытая, DeepSeek - очень дешевый (по меркам современной индустрии); интересно, что в США появился второй крупный игрок за команду открытых моделей (мы все еще скорбим, что OpenAI перекрасился), а DeepSeek самую крупную свою модель сделал закрытой; такое ощущение, что индустрия по разные стороны Пасифики идет с разницей в такт: одни открывают, другие закрывают, а потом обратно

Виктор Тарнавский упоминал, что США и Китай заряжены на противостояние в области ИИ, интересно было бы определить, где место России в этом взаимодействии; знаменитая китайская стратагема «третий радующийся» говорит, что мудрая обезьяна сидит на дереве, пока два тигра терзают друг друга; осталось понять, как нам использовать плоды этой схватки

в свежем интервью Сэм Альтман косвенно подтверждает мои мысли по поводу открытости и закрытости https://www.reddit.com/r/OpenAI/comments/1ieonxv/comment/ma9grdt/

я немного пропустил весь хайп, связанный с DeepSeek и Qwen, будучи в отпуске, но на мой взгляд гораздо более важная новость состоит не в том, что последний DeepSeek стоит 6 млн $ (это стоимость одной успешной попытки без учета стоимости всех предыдущих и железа, не говоря про команду инженеров), а то, что DeepSeek теперь успешно работает на ускорителях от компании Huawei; вот это - новость, которая подобна землетрясению, монополию Nvidia на серверные карты до этого времени никто не оспаривал

@valuableai

а вот это интересно: пишут, что ЦРУ использует чатботов-двойников мировых лидеров для анализа их поведения; был такой стартап Replika.ai, который решал аналогичную задачу, но тогда результаты вызывали определенное сомнение в плане достоверности; я посмотрел на современное состояние дел, мои сомнения остались, но сделаем скидку на "секретные разработки ЦРУ"

сама новость: https://www.nytimes.com/2025/01/18/us/politics/cia-chatbot-technology.html

@valuableai

увидел обсуждение поста Андрея Карпатого на картинке, на мой взгляд - это повод еще раз вернуться к определению того, что такое программирование

на мой взгляд программирование можно разделить на два навыка: кодинг - это непосредственно стучание по клавишам, и проектирование - это про продумывание блоков и их связей; если первое нужно делать на компьютере, то второе можно делать, где угодно; не помню, кто из великих информатиков рассказывал, что он программирует, копаясь в саду (может быть, в комментариях подскажут)

так вот кодинг современные модели автоматизируют все лучше и лучше, и именно про это пишет Карпатый, а вот проектирование все равно он делает сам; сейчас много разговоров про то, что люди разучатся писать код - так вот в моем понимании умение кодить вполне себе станет аналогом умения писать перьевой ручкой, а вот проектированию нужно будет учить даже лучше, т.к. с мощным инструментом для написания кода сделать ерунду станет проще