крупный вендор не планирует целый год нанимать программистов; мне не очень понятно, как они собираются компенсировать текучку кадров - все равно кто-то будет увольняться, т.е. работа на оставшихся членов команды будет увеличиваться, так что это может быть просто своеобразной саморекламой, но все равно сама заявка дорогого стоит

на всякий случай, если кто-то думает, что в России нас ждет что-то подобное, то - не в этом году точно, и не в силу отсталости технологий, а просто потому что у нас нехватка программистов - несколько сотен тысяч человек, ИИ ее пока не в силах компенсировать

https://www.salesforceben.com/salesforce-will-hire-no-more-software-engineers-in-2025-says-marc-benioff/

было бы смешно, если бы не было так грустно: StackOverflow действительно cодержит очень много полезной информации, но теперь проще получать информацию от ChatGPT (и аналогов)

меня смущает, что новые данные перестанут собираться; хотя с учетом способности современных LLM к обобщению, им достаточно накопленных данных, чтобы уметь формулировать ответы на основе документации, которую все еще пишут люди; через какое-то время люди перестанут писать и ее - документировать код будет LLM; а потом и код будет писать LLM; как-то так и выглядит технологическая сингулярность, да

https://www.cnews.ru/news/top/2025-01-10_znamenityj_sajt_dlya_programmistov

теперь еще и Meta* идет в эту сторону; пока еще это можно списать на совпадение, но тенденция уже просматривается - нехватку людей планируют компенсировать ИИ

в случае Salesforce это было объяснимо тем, что они на самом деле планируют продолжить волну увольнений, Meta о таком вроде бы не объявляла (или я все пропустил?)

https://tribune.com.pk/story/2521499/zuckerberg-announces-meta-plans-to-replace-mid-level-engineers-with-ais-this-year

* Запрещена на территории РФ

тут можно высказать теорию заговора: из-за того, что, как сказал Суцкевер, данные для обучения моделей в интернете закончились, для генерации данных для о1 OpenAI использовали китайские модели, тот же Qwen; оставлю вас ненадолго с этой мыслью

если серьезно, то первая Llama и, вероятно, GPT3.5 использовали почти исключительно англоязычные данные, эти данные объективно закончились, их была половина от всех данных интернета; вторая половина - на каких угодно других языках, поэтому неудивительно, что модель их использует; немного странно, что не пишут, про использование моделью русского языка, он на втором месте в интернете с 5%, но может просто стесняются

https://techcrunch.com/2025/01/14/openais-ai-reasoning-model-thinks-in-chinese-sometimes-and-no-one-really-knows-why/

я давно говорю, что любая генерация с помощью языковых моделей (включая, конечно, большие языковые модели, т.е. LLM) ненадежна; мы, как сообщество, пока еще не умеем контролировать генерацию моделей так, чтобы она была достоверной https://arstechnica.com/apple/2025/01/ios-18-3-beta-disables-news-notification-summaries-after-high-stakes-errors/

интересно, что первые новости на этот счет были еще в ноябре, но Apple все-таки решила рискнуть https://arstechnica.com/apple/2024/11/apple-intelligence-notification-summaries-are-honestly-pretty-bad/

всем добрый день, в феврале стартует новый запуск моего курса по обработке естественного языка (NLP); в прошлом семестре курс прошел серьезный редизайн, и теперь в нем можно выделить два блока: базовый и продвинутый

базовый блок сосредоточен на том, чтобы дать слушателю представление о базовых задачах и базовых технологиях NLP, от классификации до генерации и от n-грамм до LLM; продвинутый блок посвящен более узким вопросам, например, одна из лекций посвящена специфическим задачам и подходам, характерным для диалоговых систем

на курсе есть семинары для всех тем, квизы (тесты) после каждой лекции базовой части, два задания, на программирование и на машинное обучение, а также - самое важное - проект, индивидуальный или групповой, который слушатели делают в течение всего курса

еще одно отличие от прошлых запусков - в этом семестре чат курса переехал в ODS Mattermost по адресу https://mm.ods.ai/ods/channels/nlp_course

участие в курсе бесплатное, а знания, которые на нем даются, пригодятся потом в карьере

вероятно, во время пандемии я не придал значения тому, что оказывается, был найден оригинальный код ELIZA!

после этого эпохального открытия коллеги из нескольких университетов объединились ради великой цели - запустить ту самую, первую Элизу; к сожалению, это не так просто, т.к. найденный код был нерабочим, это оказалась одна из разработочных версий Элизы; но используя оригинальную публикацию автора ELIZA Вайценбаума (на фото), они смогли ее довести до рабочего состояния; настолько рабочего, что с ней можно даже пообщаться!

если вам непонятны мои восторги по поводу какого-то куска кода 60-летней давности, то приходите на мой курс, который начнется уже в феврале, там мы в частности про нее поговорим на лекции посвященной разговорному ИИ

как я всегда говорю, чтобы сделать нормальное выступление, надо выступить хотя бы пару раз с этой презентацией; ко мне после выступления на ДатаЁлке подошло несколько людей, которые задали один и тот же вопрос - почему я не отметил рассуждающие модели в качестве тренда?

ответ на этот вопрос простой - я не подумал; если оглянуться на 2024 год, что действительно большим событием стало появление рассуждающей GPT o1; а потом это стало трендом настолько, что рассуждениями даже пытаются заменить недостаток данных в интернете для обучения моделей; последнее для меня как-то неубедительно звучит, но может быть я опять чего-то не допонял

в любом случае, решил выложить свою презентацию, пока видео еще обрабатывается

мы объявили о AINL 2025, в этом году будет в Новосибирске, будем рады видеть ваши статьи и вас лично в Новосибирске! https://xn--r1a.website/ainlconf/88

разум когда-нибудь победит

пока я был в отпуске, вышла моя статья в журнале Nature «Природа», если кто-то вдруг хотел прочитать про Хинтона и Хопфилда около литературный текст, то вот

ничего себе заруба пошла, коллеги по обе стороны Тихого океана прямо активизировались; сначала DeepSeek, потом Tülu; отдельно радует, что последняя модель открытая, DeepSeek - очень дешевый (по меркам современной индустрии); интересно, что в США появился второй крупный игрок за команду открытых моделей (мы все еще скорбим, что OpenAI перекрасился), а DeepSeek самую крупную свою модель сделал закрытой; такое ощущение, что индустрия по разные стороны Пасифики идет с разницей в такт: одни открывают, другие закрывают, а потом обратно

Виктор Тарнавский упоминал, что США и Китай заряжены на противостояние в области ИИ, интересно было бы определить, где место России в этом взаимодействии; знаменитая китайская стратагема «третий радующийся» говорит, что мудрая обезьяна сидит на дереве, пока два тигра терзают друг друга; осталось понять, как нам использовать плоды этой схватки

в свежем интервью Сэм Альтман косвенно подтверждает мои мысли по поводу открытости и закрытости https://www.reddit.com/r/OpenAI/comments/1ieonxv/comment/ma9grdt/

я немного пропустил весь хайп, связанный с DeepSeek и Qwen, будучи в отпуске, но на мой взгляд гораздо более важная новость состоит не в том, что последний DeepSeek стоит 6 млн $ (это стоимость одной успешной попытки без учета стоимости всех предыдущих и железа, не говоря про команду инженеров), а то, что DeepSeek теперь успешно работает на ускорителях от компании Huawei; вот это - новость, которая подобна землетрясению, монополию Nvidia на серверные карты до этого времени никто не оспаривал

@valuableai

а вот это интересно: пишут, что ЦРУ использует чатботов-двойников мировых лидеров для анализа их поведения; был такой стартап Replika.ai, который решал аналогичную задачу, но тогда результаты вызывали определенное сомнение в плане достоверности; я посмотрел на современное состояние дел, мои сомнения остались, но сделаем скидку на "секретные разработки ЦРУ"

сама новость: https://www.nytimes.com/2025/01/18/us/politics/cia-chatbot-technology.html

@valuableai

увидел обсуждение поста Андрея Карпатого на картинке, на мой взгляд - это повод еще раз вернуться к определению того, что такое программирование

на мой взгляд программирование можно разделить на два навыка: кодинг - это непосредственно стучание по клавишам, и проектирование - это про продумывание блоков и их связей; если первое нужно делать на компьютере, то второе можно делать, где угодно; не помню, кто из великих информатиков рассказывал, что он программирует, копаясь в саду (может быть, в комментариях подскажут)

так вот кодинг современные модели автоматизируют все лучше и лучше, и именно про это пишет Карпатый, а вот проектирование все равно он делает сам; сейчас много разговоров про то, что люди разучатся писать код - так вот в моем понимании умение кодить вполне себе станет аналогом умения писать перьевой ручкой, а вот проектированию нужно будет учить даже лучше, т.к. с мощным инструментом для написания кода сделать ерунду станет проще

вот это бомба, конечно, по-белому завидую коллегам из Сбера неправильно прочел, просто Сбер планирует коллаборировать с кем-то из Китая, не обязательно с DeepSeek; как говорится, поcпешишь, людей насмешишь

@valuableai

беспощадная суммаризация от YandexGPT

утащил у "Архитектурных излишеств"

Дарио Амодеи, глава Anthropic, заявил, что у DeepSeek нет никаких этических ограничений; однако, мой коллега обнаружил, что ограничения в работе этой модели вполне себе есть; кажется, тут все упирается в то, что люди считают важным, когда обследуют модель; подозреваю, что вопросы про LGBT* в Китае не относятся к чувствительным, а в США никого не интересует внутренняя политика Китая https://techcrunch.com/2025/02/07/anthropic-ceo-says-deepseek-was-the-worst-on-a-critical-bioweapons-data-safety-test/

* Запрещено на территории РФ