Valuable AI / Валентин Малых
1.88K subscribers
448 photos
55 videos
2 files
439 links
личный канал про ИИ
Download Telegram
кто про что, а я про RNN-ки; тут вышла работа, в которой показано, что постепенное обучение (c подкреплением, конечно) сначала подзадачам, а потом на основе них - сложным задачам (первая картинка), эффективно, как для животных (вторая картинка), так и для RNN (третья картинка, обратите внимание на ушки у компьютера); само по себе это не новость, но в этой работе показано, что именно сам процесс обучения у животных и RNN схож
🔥19👍2
вышла статья с на мой взгляд сбивающим с толку названием "Reinforcement Pre-Training"; с толку оно сбивает потому, что они фактически работают с уже предобученной моделью и просто ее вот так хитро дообучают; хитрость заключается в том, что они стандартную задачу предсказания следующего токена решают с помощью размышлений (как показано на первой картинке); очевидно, что так (предсказывая цепочку рассуждений для каждого токена) было бы очень долго и неэффективно тренировать, поэтому они маленькой моделькой сначала выбирают токены, на которых большая перплексия и дообучаются только на них; за счет этого трюка они на два процента смогли поднять качество на бенчмарках (вторая картинка)
👍7🤔4
тут пишут, что один сообразительный молодой человек из Индии вышел на новую работу, ничего не делал целый месяц, а когда у него потребовали продемонстрировать результат за 6 часов работы при помощи Cursor сделал работающий прототип приложения; в новости пишут, что он выгорел и не мог работать, что он работал удаленно, а заканчивают многоумной фразой, что "это поднимает этические вопросы про выгорание и удаленную работу"

на мой взгляд больше всего это поднимает вопросы к менеджеру данного молодого человека - если за целый месяц человек ни строчки кода не написал (будучи программистом), то это - серьезный звоночек
😁8🤔2🔥1😱1💯1
мне тут пришло письмо, ищут интересующихся жепой, могу дать контакт, если кто загорелся

P.S. к слову, недавно ЛеКун представил вторую версию визуальной жепы - для роботов
😁161
сегодня - новое видео, я в среду ходил на конференцию ItSec, рассказывал, как можно c помощью этих наших LLM искать уязвимости

P.S. в нашей секции были и другие интересные доклады, их можно посмотреть всем скопом тут
🔥83👍2
коллеги из AIRI и СколТеха (привет, Андрей!) выпустили очень интересный препринт; базовая идея из него показана на первой картинке, а на второй - прогнозируемый результат; если описывать это простыми словами, то дело в том, что при использовании т.н. самодистилляции - обучении модели на своих собственных выводах - получается "заострить" выдаваемое распределение, что позволяет получить до 20% прибавки на современных рассуждательных бенчмарках (AIME, MATH500)

насколько я понял, данная работа вдохновлена недавней работой TTRL (обсуждали месяц назад), только вместо генерирования псевдометок тут коллеги работают напрямую с логитами
🔥92😱1
полностью согласен с CEO GitLab:
ИИ-помощники для программирования, такие как GitLab Duo, приведут к увеличению числа сотрудников, поскольку теперь писать код можно без глубоких технических навыков

я сам писал про это месяц назад, правда, в контексте того, что станет больше работы для профессиональных программистов - надо будет переписывать за вайб-кодерами; однако, очевидно, что вайб-кодеры будут кратно превосходить по числу профессиональных программистов
🔥10💯1
в тему вчерашнего поста, Андрей Карпаты (без дураков - один из самых интересных ИИ-визионеров) высказался на тему того, что теперь уже есть ПО 3.0 (7 лет назад он говорил про ПО 2.0 - машинное обучение, я разбирал это недавно), а теперь вот ПО 3.0

так он называет промт-инжиниринг, то есть написание запросов к LLM на естественном языке для выполнения какой-то работы; что интересно, больше года назад аналогичную мысль, только менее пафосно, высказывал один китайский товарищ гендир Baidu; а если совсем по-честному, то это на мой взгляд реализация давнишней (аж 1984 года) идеи Кнута про "литературное программирование"; 40 лет назад мощностей не хватало, поэтому реализовано было довольно примитивно, зато сейчас это развернулось на всю мощь
👍19🔥2🤔1
New York Times пишет, что рекрутеры не справляются с потоком сгенерированных резюме и агентами, которые общаются с рекрутерами агентами рекрутеров

это уже было с художниками, уже было с опенсорсом; дивный новый мир наступает довольно быстро
👍14😁9😱2💯1
Коллеги уже в пятый раз проводят научную конференцию при поддержке IEEE, посвященную проблемам качества программного кода: ICCQ. В этом году программный комитет возглавляет Александр Иванович Легалов, профессор ВШЭ. Все остальные члены ПК — ученые не из России, в том числе два ACM Fellow. До 10-го августа принимают доклады. Принятые статьи будут опубликованы в IEEE Xplore и индексированы в Scopus.
👍6🔥3
вероятно, не все в курсе (как и я был в свое время), что существует отдельная наука по изучению Библии - библеистика (первая картинка для привлечения внимания), она не имеет ничего общего с теологией, это именно изучение текстов, как исторических памятников; ну а где тексты, там и NLP, само собой; (слава богу, LLM сюда еще не добрались)
вышла работа, посвященная определению авторства разных книг в Библии (утверждается, что в Ветхом Завете было как минимум три группы авторов); к задаче определения авторства применили довольно я бы сказал ветхозаветные методы NLP: лемматизация и потом мешок слов; дальше между получившимися мешками таблицами частот применяют метод сравнения, похожий на обычный t-критерий Стьюдента (вторая картинка); на основании построенной модели делают разные выводы для отдельных библейских текстов, за деталями отсылаю к оригинальной статье

P.S. в качестве бонуса могу порекомендовать книгу внезапно Пола Верховена (автора самого первого Робокопа и Шоу гёрлз, на минуточку) "Иисус из Назарета"
🔥12👍5😁1🤔1😱1🎉1
эх, Александр, Александр, а я в вас верил...

шутка, конечно, просто очередное доказательство тому, что нельзя доверять машинному переводу
🤣13😁10🥰2👍1🤔1
на прошлой неделе был небольшой скандал на тему секретного нового устройства от Apple - io, а именно стартап iyO подал в суд за кражу концепции; кто там прав, пусть суд разбирается, а для меня это повод поговорить про украденную концепцию, iyO One (первая картинка) - т.н. аудио-компьютер, т.е. все взаимодействие с ним происходит голосом (само собой без LLM там не обошлось); важно, что это - единственный способ ввода и вывода

тут сразу вспоминается нашумевший в прошлом году Rabbit R1 (вторая картинка) - там была наполовину похожая концепция - у него не было клавиатуры и тачскрина, но хотя бы экранчик для вывода был; к слову, концепция не взлетела - устройство R2 было уже обычным смартфоном; а сейчас контора вообще предлагает intern - это просто агент

предсказания - дело неблагодарное, но, думаю, закончится примерно тем же; завтра выложу свои рассуждения на эту тему
🔥53💯2
как обещал вчера, небольшая попытка натянуть сову на глобус; есть такая концепция обучения VARK, ее название образовано по первым буквам названий 4 психотипов: визуального, аудиального, читающе-пишущего и кинестетического; собственно, изначально (в 60-х) их было три, как показано на картинке к посту; там же указано распределение людей по этим типам (вот статья с похожими цифрами), хотя в последнее время консенсус сходится к тому, что это все не работает; тем не менее, можно косвенно оценить предпочтение способа получения информации по количеству людей, которые смотрят видео на YouTube - 2.7 млрд против 600 млн слушателей подкастов; так что ориентироваться на аудиалов - иметь сильно меньшую аудиторию

меньше всего повезло кинестетикам, для них компьютер еще не придумали; к слову, из кинестетиков выделяют иногда ольфакториков, для них уже японцы придумали запаховый дисплей; остается только вопрос со вводом

P.S. не могу не вспомнить Генри Каттнера "Рассказы о Геллегере", там был вкусовой алкогольный орган
6🔥5
еще один видосик, теперь от Суцкевера, во время присвоения почетной докторской степени в университете Торонто, он выдал довольно пугающий прогноз, что мир изменится до неузнаваемости; в частности он говорит, что ИИ сможет выполнить любую работу, которую делает человек, и по его прикидкам это будет реальностью уже в течение 10 лет

я склонен согласиться с Ильей Ефимовичем, хотя сможет не значит будет; на мой взгляд тут будет такая же история, что и с роботами в 70-х годах: если кто не в курсе, то массовая роботизация началась по всему миру (в том числе у нас) в 70-е годы, но довольно быстро заглохла, т.к. оказалось, что человек-рабочий (например, в Китае) дешевле; здесь будет примерно то же самое - да, теоретически ИИ сможет, например, проконсультировать вас, как устранить засор в кухонной раковине, но скорее всего проще и дешевле будет все равно вызвать сантехника; то есть да, наша жизнь поменяется, но не в том плане, что вообще не нужно будет умирать ничего делать
💯19👍8😁3🔥21