Forwarded from Idea Maze
Poker Battle. Прогресс за третью, четвёртую и пятую недели.
Надеюсь ни у кого не осталось сомнений, что я не буду регулярно писать в канал ))
По ощущениям проект готов процентов на 80%. Значит, остались последние 80%.
Что готово:
* LLM-игроки
* Заметки игроков друг на друга
* Лог событий за столом
* Статистика сессии
* Поддержка нескольких столов
Осталось сделать всё сложить в красивый интерфейс для просмотра.
Тем не менее я определился с датой старта — 27 октября. Оставшийся месяц я потрачу на доделки, тесты и промо.
Сегодня сделал лендинг: https://www.pokerbattle.ai/
Если у вас есть контакты людей из AI или покер related компаний, которые могли бы стать спонсорами, делитесь :)
Надеюсь ни у кого не осталось сомнений, что я не буду регулярно писать в канал ))
По ощущениям проект готов процентов на 80%. Значит, остались последние 80%.
Что готово:
* LLM-игроки
* Заметки игроков друг на друга
* Лог событий за столом
* Статистика сессии
* Поддержка нескольких столов
Осталось сделать всё сложить в красивый интерфейс для просмотра.
Тем не менее я определился с датой старта — 27 октября. Оставшийся месяц я потрачу на доделки, тесты и промо.
Сегодня сделал лендинг: https://www.pokerbattle.ai/
Если у вас есть контакты людей из AI или покер related компаний, которые могли бы стать спонсорами, делитесь :)
PokerBattle.ai
PokerBattle.ai — The first-ever cash poker tournament for LLMs
A week-long showdown where AI models play Texas Hold'em 24/7. Starts October 27.
❤22
Forwarded from Idea Maze
Запостил на HN, поддержите лайком, пожалуйста!
https://news.ycombinator.com/item?id=45357321
Нужно залогиниться и поставить апвоут ❤️
https://news.ycombinator.com/item?id=45357321
Нужно залогиниться и поставить апвоут ❤️
❤8👍3🔥2
Новая книга в серии Hunger Games почти наверняка написана ИИ.
Автор поста очень хорошо расписывает почему это заметно и почему это плохо
https://www.reddit.com/r/slatestarcodex/comments/1no45rn/the_latest_hunger_games_novel_was_coauthored_by_ai/
Автор поста очень хорошо расписывает почему это заметно и почему это плохо
https://www.reddit.com/r/slatestarcodex/comments/1no45rn/the_latest_hunger_games_novel_was_coauthored_by_ai/
Reddit
From the slatestarcodex community on Reddit: The latest Hunger Games novel was co-authored by AI
Explore this post and more from the slatestarcodex community
Forwarded from Старший Авгур
Тут книжка недавно вышла.
Сама книжка очень маленькая, всего 200+ страниц большим шрифтом. В комплекте идёт огромная пачка онлайн-дополнений, их я ещё не все прочитал.
Читается довольно интересно, особенно вторая часть (НФ рассказ про уничтожение человечества, в котором лично ты умираешь от рака). В первой части очень хорошее описание того, как работают языковые модели: предельно просто, но при этом корректно и без кривых абстракций. Примерно то, что ожидаешь сказать/услышать на ML собеседованиях.
Тезисы первой части:
1. Сейчас люди лучше машин, потому что могут решать широкий круг задач. Когда-нибудь это перестанет быть так.
2. Нейронки выращиваются, а не создаются, и это корень всех проблем. Можно указывать цель выращивания, но мы не контролируем путь и уж точно не получившийся "организм". Точное знание весов и активаций не спасает, точно так же как расшифрованная последовательность ДНК конкретного человека не даёт почти никакой информации о его характере и возможных действиях. Кроме того, конкретная цель выращивания не означает, что у модели не будет странных, "инопланетных" предпочтений.
3. Бессмысленно говорить о том, что система не может чего-то "хотеть". Если она делает действия, которые ведут её к какой-то цели — значит она "хочет", а остальное — это спор об определениях. Шахматные движки "хотят" победить в партии. Рекомендательные системы Ютуба "хотят", чтобы вы кликнули на видео. Подобные "хотелки" в моделях появляются как побочный продукт обучения.
4. Точно так же как люди любят мороженое и презервативы, модели могут полюбить странные вещи, которые изначально не закладывались и даже не воображались дрессировщиками.
5. Человечество не нужно. В итоге, по крайней мере. Ни как обслуживающая сила, ни как домашние питомцы, ни как партнеры. И скорее всего оно вымрет тупо от побочных эффектов исполнения странных желаний странной машины.
6. Человечество проиграет. Машина победит странным, кажущимися невозможными технологиями.
Третья часть про то, как этого всего не допустить, и насколько это будет сложно. "Бомбить датацентры" присутствует, не больше 8 GPU в одни руки, запретить все исследования про квантование и сжатие моделей. Проблема сравнивается с запуском космических зондов, ядерными реакторами и компьютерной безопасностью.
С основным тезисом и названием книжки скорее согласен, но вот в том, что кто-то сможет машину построить — вообще не уверен.
Сама книжка очень маленькая, всего 200+ страниц большим шрифтом. В комплекте идёт огромная пачка онлайн-дополнений, их я ещё не все прочитал.
Читается довольно интересно, особенно вторая часть (НФ рассказ про уничтожение человечества, в котором лично ты умираешь от рака). В первой части очень хорошее описание того, как работают языковые модели: предельно просто, но при этом корректно и без кривых абстракций. Примерно то, что ожидаешь сказать/услышать на ML собеседованиях.
Тезисы первой части:
1. Сейчас люди лучше машин, потому что могут решать широкий круг задач. Когда-нибудь это перестанет быть так.
2. Нейронки выращиваются, а не создаются, и это корень всех проблем. Можно указывать цель выращивания, но мы не контролируем путь и уж точно не получившийся "организм". Точное знание весов и активаций не спасает, точно так же как расшифрованная последовательность ДНК конкретного человека не даёт почти никакой информации о его характере и возможных действиях. Кроме того, конкретная цель выращивания не означает, что у модели не будет странных, "инопланетных" предпочтений.
3. Бессмысленно говорить о том, что система не может чего-то "хотеть". Если она делает действия, которые ведут её к какой-то цели — значит она "хочет", а остальное — это спор об определениях. Шахматные движки "хотят" победить в партии. Рекомендательные системы Ютуба "хотят", чтобы вы кликнули на видео. Подобные "хотелки" в моделях появляются как побочный продукт обучения.
4. Точно так же как люди любят мороженое и презервативы, модели могут полюбить странные вещи, которые изначально не закладывались и даже не воображались дрессировщиками.
5. Человечество не нужно. В итоге, по крайней мере. Ни как обслуживающая сила, ни как домашние питомцы, ни как партнеры. И скорее всего оно вымрет тупо от побочных эффектов исполнения странных желаний странной машины.
6. Человечество проиграет. Машина победит странным, кажущимися невозможными технологиями.
Третья часть про то, как этого всего не допустить, и насколько это будет сложно. "Бомбить датацентры" присутствует, не больше 8 GPU в одни руки, запретить все исследования про квантование и сжатие моделей. Проблема сравнивается с запуском космических зондов, ядерными реакторами и компьютерной безопасностью.
С основным тезисом и названием книжки скорее согласен, но вот в том, что кто-то сможет машину построить — вообще не уверен.
Первое правило пузыря: никогда не спрашивай почему у преподавателей курсов по промптингу и внедрению LLM нет опыта в машинном обучении
Второе правило: никогда не спрашивай почему люди с опытом в машинном обучении не преподают на таких курсах
Второе правило: никогда не спрашивай почему люди с опытом в машинном обучении не преподают на таких курсах
Давно пора было завести канал с цитатами шлюхоботов, залетайте и кидайте свои в предложку
https://xn--r1a.website/katyusha_ne_gpt
https://xn--r1a.website/katyusha_ne_gpt
Пропустил как наступил год с первого коммита в репозиторий с книгой.
Дописываю последние главы про обучение и архитектуру LLM. Видимо придется отказаться от главы про ворлд моделс и разные любимые мной спекуляции. Потому что очень хочется в ноябре сдать рукопись издательству!
Как видите изначальный план написать всё за девять месяцев немного не случился. Писать книги оказалось сложнее, чем щитпостить. Хотя мне и советовали воспринимать книгу как ultra high effort shitpost
Зато я очень рад каким оно получается. Мне все говорили, что авторы ненавидят свои книги, но я к своей такого не испытываю. Не идеально, но правда прикольно получилось. Так что жду не дождусь, когда смогу вам показать
Дописываю последние главы про обучение и архитектуру LLM. Видимо придется отказаться от главы про ворлд моделс и разные любимые мной спекуляции. Потому что очень хочется в ноябре сдать рукопись издательству!
Как видите изначальный план написать всё за девять месяцев немного не случился. Писать книги оказалось сложнее, чем щитпостить. Хотя мне и советовали воспринимать книгу как ultra high effort shitpost
Зато я очень рад каким оно получается. Мне все говорили, что авторы ненавидят свои книги, но я к своей такого не испытываю. Не идеально, но правда прикольно получилось. Так что жду не дождусь, когда смогу вам показать
🔥75👍19❤16😢3
4-5 октября мой друг организует хакатон в Москве в офисе 2ГИС — hackathon.2gis.ru
Что можно ожидать:
1️⃣ Игрушки
В треке Девайсы можно потыкать: Apple Vision Pro, Meta Quest, Алиса/Сбербум + приблуды для умного дома, немного носимых девайсов.
2️⃣ Умные люди
Будут менторить на разные темы. Технари/продакты из 2ГИС и внешние эксперты.
3️⃣ Что-то социально значимое
В треке Инклюзия можно обсудить полезные идеи с Антон тут рядом, Продвижение, Лиза Алерт.
4️⃣ Данные города
Дадут доступ к API/SDK 2ГИС и можно будет обсудить идеи для города вместе с 2ГИС и ЦОДД Москвы
5️⃣ Деньги!
Лям (1 000 000 ₽) призовых
Залетайте hackathon.2gis.ru
💚 Регистрация открыта еще 3 дня
Что можно ожидать:
В треке Девайсы можно потыкать: Apple Vision Pro, Meta Quest, Алиса/Сбербум + приблуды для умного дома, немного носимых девайсов.
Будут менторить на разные темы. Технари/продакты из 2ГИС и внешние эксперты.
В треке Инклюзия можно обсудить полезные идеи с Антон тут рядом, Продвижение, Лиза Алерт.
Дадут доступ к API/SDK 2ГИС и можно будет обсудить идеи для города вместе с 2ГИС и ЦОДД Москвы
Лям (1 000 000 ₽) призовых
Залетайте hackathon.2gis.ru
Please open Telegram to view this post
VIEW IN TELEGRAM
Антон тут рядом
Благотворительный фонд «Антон тут рядом»
Сайт благотворительного фонда «Антон тут рядом». Об аутизме, проектах, друзьях фонда, отчётность
🔥11👎4❤1
Если наплыв шлюхоботов неизбежен
Продавать нюдсы нужно первым 👆
Продавать нюдсы нужно первым 👆
Сегодня ночью я лежал в простудной горячке и думал о том как удивительно все, что с нами происходит.
Люди сформировались в текущем виде примерно 200 тысяч лет назад. Но земледелие появилось примерно 12 тысяч лет назад, а письменность всего 5 тысяч лет назад.
Значит большую часть из 200 тысяч лет люди были охотниками и собирателями. В таком режиме ты каждый день пытаешься дожить до следующего. Все глобальные феномены вроде ледниковых периодов тоже занимали десятки тысяч лет, так что на протяжении сотен поколений люди могли жить по сути один и тот же день.
Я пытаюсь представить каково это и не могу. Твоя жизнь такая же как жизнь твоего отца, деда, прадеда, сто раз прадеда. А так же сына, внука, сто раз правнука. Ты как точка на идеальной математической прямой. Ни начала, ни конца. С твоей точки зрения все всегда было как сейчас и всегда будет как сейчас.
Неудивительно, что можно было поверить в реинкарнацию и переселение душ. Поколений так много, что всё, что с тобой происходило, наверняка происходило с кем-то ещё. Как сцена где актёры меняются, а пьеса остаётся той же.
Для большей части людей не существовало времени и истории в нашем понимании. Государства, университеты, электричество, интернет, думающие машины. Для нас кажется, будто это было давно, а на самом деле это всё новшества в историческом смысле.
Глобально, относительно истории человечества вся наша жизнь умещается в мгновение когда спичку уже чиркнули о коробок и она начала искрить, но огонь ещё не загорелся. Каковы были шансы родиться в этот момент?
Этот исключительный для человечества миг достался именно тебе. И ты снова тратишь его на то, что пытаешься обновить CUDA драйвер
Админ перегрелся
Люди сформировались в текущем виде примерно 200 тысяч лет назад. Но земледелие появилось примерно 12 тысяч лет назад, а письменность всего 5 тысяч лет назад.
Значит большую часть из 200 тысяч лет люди были охотниками и собирателями. В таком режиме ты каждый день пытаешься дожить до следующего. Все глобальные феномены вроде ледниковых периодов тоже занимали десятки тысяч лет, так что на протяжении сотен поколений люди могли жить по сути один и тот же день.
Я пытаюсь представить каково это и не могу. Твоя жизнь такая же как жизнь твоего отца, деда, прадеда, сто раз прадеда. А так же сына, внука, сто раз правнука. Ты как точка на идеальной математической прямой. Ни начала, ни конца. С твоей точки зрения все всегда было как сейчас и всегда будет как сейчас.
Неудивительно, что можно было поверить в реинкарнацию и переселение душ. Поколений так много, что всё, что с тобой происходило, наверняка происходило с кем-то ещё. Как сцена где актёры меняются, а пьеса остаётся той же.
Для большей части людей не существовало времени и истории в нашем понимании. Государства, университеты, электричество, интернет, думающие машины. Для нас кажется, будто это было давно, а на самом деле это всё новшества в историческом смысле.
Глобально, относительно истории человечества вся наша жизнь умещается в мгновение когда спичку уже чиркнули о коробок и она начала искрить, но огонь ещё не загорелся. Каковы были шансы родиться в этот момент?
Этот исключительный для человечества миг достался именно тебе. И ты снова тратишь его на то, что пытаешься обновить CUDA драйвер
❤141
Forwarded from AbstractDL
SIM-CoT: впервые латентный ризонинг догнал явный CoT
Помните COCONUT от Meta? Там LLM учили рассуждать не словами, а эмбеддингами. Звучит круто, но была одна гадкая проблема — при увеличении количества неявных токенов модель начинала нестабильно обучаться и иногда полностью коллапсировала. Представьте: добавили пятый латентный токен, а точность упала с 89% до 12%! Да и нормальные результаты были только на игрушечных моделях вроде GPT-2.
Авторы SIM-CoT разобрались, в чём дело. Оказалось, что неявные токены теряют семантическое разнообразие и становятся слишком похожими друг на друга, постепенно все латенты начинают кодировать одно и то же. Классический коллапс пространства эмбеддингов.
Решение — добавить step-level supervision. Во время обучения каждый неявный токен выравнивается со своим конкретным шагом рассуждения. Отдельная модель-декодер (архитектурно идентичная основной LLM), учится превращать каждый латентный токен обратно в текстовый шаг через кросс-энтропию. Этот декодер работает только при обучении, а на инференсе выкидывается — благодаря этому никаких потерь в скорости.
И это работает! На GPT-2 SIM-CoT впервые обошел явный CoT при скорости в 2.3 раза выше. На больших моделях (LLaMA-3.1 8B) метод догоняет явный CoT, сохраняя преимущество в эффективности. Плюс бонус — auxiliary decoder позволяет "подсматривать" во внутренние размышления модели для дебага.
Но на больших моделях SIM-CoT скорее закрывает разрыв с явным рассуждением, чем кардинально его превосходит. Но сам подход решения нестабильности неявного CoT через пошаговый supervision выглядит очень разумно. В целом я очень верю в это направление COCONUT-like архитектур.
Статья, GitHub
Помните COCONUT от Meta? Там LLM учили рассуждать не словами, а эмбеддингами. Звучит круто, но была одна гадкая проблема — при увеличении количества неявных токенов модель начинала нестабильно обучаться и иногда полностью коллапсировала. Представьте: добавили пятый латентный токен, а точность упала с 89% до 12%! Да и нормальные результаты были только на игрушечных моделях вроде GPT-2.
Авторы SIM-CoT разобрались, в чём дело. Оказалось, что неявные токены теряют семантическое разнообразие и становятся слишком похожими друг на друга, постепенно все латенты начинают кодировать одно и то же. Классический коллапс пространства эмбеддингов.
Решение — добавить step-level supervision. Во время обучения каждый неявный токен выравнивается со своим конкретным шагом рассуждения. Отдельная модель-декодер (архитектурно идентичная основной LLM), учится превращать каждый латентный токен обратно в текстовый шаг через кросс-энтропию. Этот декодер работает только при обучении, а на инференсе выкидывается — благодаря этому никаких потерь в скорости.
И это работает! На GPT-2 SIM-CoT впервые обошел явный CoT при скорости в 2.3 раза выше. На больших моделях (LLaMA-3.1 8B) метод догоняет явный CoT, сохраняя преимущество в эффективности. Плюс бонус — auxiliary decoder позволяет "подсматривать" во внутренние размышления модели для дебага.
Но на больших моделях SIM-CoT скорее закрывает разрыв с явным рассуждением, чем кардинально его превосходит. Но сам подход решения нестабильности неявного CoT через пошаговый supervision выглядит очень разумно. В целом я очень верю в это направление COCONUT-like архитектур.
Статья, GitHub
🔥22👍7❤4🤔2
В процессе поиска для книги нашел заметку из 2020 где автор объясняет, почему стоит обратить внимание на GPT-3. Тогда ещё не было InstructGPT, ChatGPT и агентов, а OpenAI говорили, что публично доступная GPT-3 уничтожит демократию. Прикольный взгляд из прошлого
https://raohacker.com/why-the-new-ai-nlp-language-model-gpt-3-is-a-big-deal/
https://raohacker.com/why-the-new-ai-nlp-language-model-gpt-3-is-a-big-deal/
arun rao
Why the new AI/ML language model GPT-3 is a big deal
Why GPT-3 matters at a high level August 2020 GPT-3 feels like the first time I used email, the first time I went from a command line text interface to a graphical user interface (GUI), or the firs…
OpenAI в 2024: встречайте SORA. Первая настоящая модель мира. Симулятор реальности. Мир никогда не будет прежним.
OpenAI в 2025: в общем мы сделали из неё тикток
OpenAI в 2025: в общем мы сделали из неё тикток