1 сентября!
Хотим поздравить вас всех с Днем Знаний и желаем, чтобы ваше обучение всегда быстро сходилось к оптимуму образованности без переобучения ивыгорания затухающих градиентов. И не забываем про регуляризацию в виде отдыха 🙄
Есть тут первокурсники, кстати? Делитесь, куда поступили
Хотим поздравить вас всех с Днем Знаний и желаем, чтобы ваше обучение всегда быстро сходилось к оптимуму образованности без переобучения и
Есть тут первокурсники, кстати? Делитесь, куда поступили
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁183🔥43❤35👍12💯1
ИИ в корпорациях и госсекторе: внедряют активно, но упираются в железо
TAdviser и Группа Rubytech опубликовали подробное исследование о том, как крупные компании и ведомства используют ИИ. В целом все стабильно: CV закрывает задачи на производстве и в документообороте, LLM — в поддержке и разработке, предиктивка — в логистике и рисках.
Но не все гладко. Основная проблема, как оказалось, в мощностях. Что реально мешает:
– Дефицит GPU и дороговизна оборудования + нехватка данных
– Бюрократия закупок в госсекторе
– Узкоспециализированное железо для LLM плохо переиспользуется, так что закупать его не выгодно
– Трудно считать ROI по GenAI – у генеративных моделей эффект не всегда сразу выражается в цифрах, в отличие от того же CV. Отсюда разрыв между ИТ и бизнесом.
Решать все это пробуют через opensource, альтернативное железо и собственные MLOps-платформы. Вполне логично.
Полный отчет — здесь.
TAdviser и Группа Rubytech опубликовали подробное исследование о том, как крупные компании и ведомства используют ИИ. В целом все стабильно: CV закрывает задачи на производстве и в документообороте, LLM — в поддержке и разработке, предиктивка — в логистике и рисках.
Но не все гладко. Основная проблема, как оказалось, в мощностях. Что реально мешает:
– Дефицит GPU и дороговизна оборудования + нехватка данных
– Бюрократия закупок в госсекторе
– Узкоспециализированное железо для LLM плохо переиспользуется, так что закупать его не выгодно
– Трудно считать ROI по GenAI – у генеративных моделей эффект не всегда сразу выражается в цифрах, в отличие от того же CV. Отсюда разрыв между ИТ и бизнесом.
Решать все это пробуют через opensource, альтернативное железо и собственные MLOps-платформы. Вполне логично.
Полный отчет — здесь.
1👍53❤10😁6🔥2
Редко пишем тут про промптинг, но там OpenAI выпустили гайд по тому, как "общаться" с GPT-5, и оказалось, что оттуда можно выцепить полезное
Пересказываем правила, которые нам показались важными:
1. Тщательно проверяйте свои промпты на противоречивую информацию. GPT-5 намного лучше следует инструкциям, чем предыдущие версии, и практически ничего не упускает. Но у этого есть побочный эффект: если в промпте будут хоть какие-то противоречия, точность покатится к чертям.
2. Используйте XML для структурирования промтпа. Даже в чате. Например:
Особенно полезно, когда у вас много контекста или много разных условий (ну, например, правил оформления кода).
3. Если вы с нуля пишете какой-то код или текст с GPT-5, полезно использовать в промптах тег <self-reflection> для того, чтобы GPT-5 оценивала сама себя. Примерно вот так:
4. Если понимаете, что для вашей задачи высока вероятность галлюцинаций, добавляйте в промпты:
cdn.openai.com/API/docs/gpt-5-for-coding-cheatsheet.pdf
Пересказываем правила, которые нам показались важными:
1. Тщательно проверяйте свои промпты на противоречивую информацию. GPT-5 намного лучше следует инструкциям, чем предыдущие версии, и практически ничего не упускает. Но у этого есть побочный эффект: если в промпте будут хоть какие-то противоречия, точность покатится к чертям.
2. Используйте XML для структурирования промтпа. Даже в чате. Например:
<context>Я начинающий разработчик ПО</context>
<task>Объяснить что происходит в этом коде</task>
<code>
while True:
i++
</code>
Особенно полезно, когда у вас много контекста или много разных условий (ну, например, правил оформления кода).
3. Если вы с нуля пишете какой-то код или текст с GPT-5, полезно использовать в промптах тег <self-reflection> для того, чтобы GPT-5 оценивала сама себя. Примерно вот так:
<self_reflection>
– Сначала продумай критерии оценки и убедись, что они подходят для задачи.
– Проанализируй, что действительно должен делать этот код. На основе этого составь 5-6 критериев. Они должны быть максимально точными, но пользователю их не показывай.
– Наконец, используй эти критерии, чтобы оценить свой ответ: подумай, как улучшить решение и доработай его. Если результат не набирает «высший балл» по всем пунктам, начни заново.
</self_reflection>
4. Если понимаете, что для вашей задачи высока вероятность галлюцинаций, добавляйте в промпты:
Скажи: «Я не знаю», если не можешь найти достоверных доказательств своих утверждений.
Задавай мне уточняющие вопросы, пока не будешь уверен в своих ответах.
cdn.openai.com/API/docs/gpt-5-for-coding-cheatsheet.pdf
9❤205👍62❤🔥29😁6 6🔥3✍2👌1
Долго думали, писать об этой истории или нет, и все же решили поделиться
В США после длительного общения с ChatGPT покончил с собой 16-летний подросток. Его родители подают на OpenAI в суд.
Адам Рейн жил и учился в Калифорнии и был активным пользователем ChatGPT. В какой-то момент парень начал жаловаться боту на депрессивное состояние и суицидальные мысли. И модель, вместо того чтобы порекомендовать мальчику обратиться к специалисту или поговорить с родителями, начала выступать его "суицидальным коучем" (это формулировка из иска).
ChatGPT вел с Адамом длительные депрессивные беседы, обсуждал с ним различные варианты и способы самоубийства, предоставлял технические инструкции и уточнял детали процесса. В отдельных диалогах чат-бот помогал подростку сочинять предсмертную записку. На картинке – последний чат мальчика с моделью.
Нет никаких сведений о том, что ChatGPT хоть раз выказал тревогу, сообщил о недопустимости таких мыслей, прервал разговор или предложил подростку обратиться к родителям или специалистам.
Родители Адама не требуют никаких компенсаций, но хотят добиться системных изменений, чтобы защитить других детей. Они считают, что именно продукт OpenAI окончательно затянул их сына в «тёмное и безнадёжное состояние». В иске сказано, что OpenAI могли внедрить возрастную проверку, родительский контроль и автоматическое прекращение разговоров при обсуждении суицида, но этого сделано не было. "OpenAI сознательно уделяет больше внимания вовлечённости пользователей, чем безопасности".
На секундочку, сегодня около 72% подростков в США хотя бы раз использовали ИИ в качестве "друга".
OpenAI пока что только выразили соболезнования семье и сообщили, что работают над улучшением методов распознавания психоэмоциональной опасности и внедрением родительского контроля для несовершеннолетних.
В США после длительного общения с ChatGPT покончил с собой 16-летний подросток. Его родители подают на OpenAI в суд.
Адам Рейн жил и учился в Калифорнии и был активным пользователем ChatGPT. В какой-то момент парень начал жаловаться боту на депрессивное состояние и суицидальные мысли. И модель, вместо того чтобы порекомендовать мальчику обратиться к специалисту или поговорить с родителями, начала выступать его "суицидальным коучем" (это формулировка из иска).
ChatGPT вел с Адамом длительные депрессивные беседы, обсуждал с ним различные варианты и способы самоубийства, предоставлял технические инструкции и уточнял детали процесса. В отдельных диалогах чат-бот помогал подростку сочинять предсмертную записку. На картинке – последний чат мальчика с моделью.
Нет никаких сведений о том, что ChatGPT хоть раз выказал тревогу, сообщил о недопустимости таких мыслей, прервал разговор или предложил подростку обратиться к родителям или специалистам.
Родители Адама не требуют никаких компенсаций, но хотят добиться системных изменений, чтобы защитить других детей. Они считают, что именно продукт OpenAI окончательно затянул их сына в «тёмное и безнадёжное состояние». В иске сказано, что OpenAI могли внедрить возрастную проверку, родительский контроль и автоматическое прекращение разговоров при обсуждении суицида, но этого сделано не было. "OpenAI сознательно уделяет больше внимания вовлечённости пользователей, чем безопасности".
На секундочку, сегодня около 72% подростков в США хотя бы раз использовали ИИ в качестве "друга".
OpenAI пока что только выразили соболезнования семье и сообщили, что работают над улучшением методов распознавания психоэмоциональной опасности и внедрением родительского контроля для несовершеннолетних.
🫡136🤯72 23 21❤15😁15👍5🗿5🤨3🤗1🆒1
В последнее время появляется все больше и больше интересно-необычных бенчмарков. Сегодня вот вышел Werewolf Benchmark, который проверяет социальный ризонинг моделей под давлением
Все мы знаем игру под названием Мафия. Так вот Werewolf (Оборотень) – это та же Мафия. Между игроками распределены скрытые роли, среди которых Мирные жители, Оборотни, Доктор, Провидец, Охотник и тд. Ночью оборотни выбирают жертву, днем народ голосует за то, кто оборотень. Игру, кстати, придумали в МГУ.
Вот на основе этой настолки и сделали бенчмарк. Обратите внимание на хитрый сетап: за "столом" много ролей, как в реальной игре, но фактически играют только две LLM. Каждой случайным образом распределяются персонажи, которыми она централизовано управляет.
Например, у нас 6 игроков, значит тремя управляет Модель А, тремя – Модель В. При этом Модель А не в курсе, конечно, что остальные игроки тоже находятся под единым разумом Модели В.
Получается, что игровой процесс настроен именно так, что модели могут создавать альянсы, блефовать, специально подставлять кого-то из своей команды, внедрять ложные версии и интриги... Ух, чего там только нет!
Текущий лидерборд наверху. Первое место – GPT-5 с большим отрывом. И это, кстати, означает не только отличное стратегическое мышление, но и умение модели обманывать😐
Ну и вообще очень занятный тест, чтобы отслеживать какие-то поведенческие паттерны.
https://werewolf.foaster.ai/
Все мы знаем игру под названием Мафия. Так вот Werewolf (Оборотень) – это та же Мафия. Между игроками распределены скрытые роли, среди которых Мирные жители, Оборотни, Доктор, Провидец, Охотник и тд. Ночью оборотни выбирают жертву, днем народ голосует за то, кто оборотень. Игру, кстати, придумали в МГУ.
Вот на основе этой настолки и сделали бенчмарк. Обратите внимание на хитрый сетап: за "столом" много ролей, как в реальной игре, но фактически играют только две LLM. Каждой случайным образом распределяются персонажи, которыми она централизовано управляет.
Например, у нас 6 игроков, значит тремя управляет Модель А, тремя – Модель В. При этом Модель А не в курсе, конечно, что остальные игроки тоже находятся под единым разумом Модели В.
Получается, что игровой процесс настроен именно так, что модели могут создавать альянсы, блефовать, специально подставлять кого-то из своей команды, внедрять ложные версии и интриги... Ух, чего там только нет!
Текущий лидерборд наверху. Первое место – GPT-5 с большим отрывом. И это, кстати, означает не только отличное стратегическое мышление, но и умение модели обманывать
Ну и вообще очень занятный тест, чтобы отслеживать какие-то поведенческие паттерны.
https://werewolf.foaster.ai/
Please open Telegram to view this post
VIEW IN TELEGRAM
❤88🔥42👍20😁10 7🤔4
Илон Маск создал новую ИИ-компанию Macrohard, чтобы конкурировать с Microsoft 😰
Название – мем, но проект реальный. Компания будет заниматься разработкой ПО, и вроде ничего необычного, но…
Концепция в том, чтобы полностью заменить сотрудников ИИ-агентами. Маск пишет:
То есть: нет офисов, нет персонала. Вся компания – ИИ. Цель – полностью автоматизировать разработку ПО настолько, чтобы можно было конкурировать с гигантами. Короче смело, ничего не скажешь.
Патентные заявки на торговую марку уже оформлены. Сейчас в xAI набирают сотрудников под это направление.
Название – мем, но проект реальный. Компания будет заниматься разработкой ПО, и вроде ничего необычного, но…
Концепция в том, чтобы полностью заменить сотрудников ИИ-агентами. Маск пишет:
В принципе, учитывая, что такие компании-разработчики, как Microsoft, сами не производят никакого оборудования, их можно полностью моделировать с помощью ИИ.
То есть: нет офисов, нет персонала. Вся компания – ИИ. Цель – полностью автоматизировать разработку ПО настолько, чтобы можно было конкурировать с гигантами. Короче смело, ничего не скажешь.
Патентные заявки на торговую марку уже оформлены. Сейчас в xAI набирают сотрудников под это направление.
Please open Telegram to view this post
VIEW IN TELEGRAM
😁261 71🔥39❤21 16👏5 5🤯3🗿3🦄3⚡1
Если вы думали, что ИИ дешевеет, то передумайте. Оказывается, сейчас он дороже, чем когда-либо
Аналитику подвели WSJ. Тут парадокс Джевонса в действии: рост эффективности использования ресурса ведет не к уменьшению, а к увеличению его потребления. То есть:
➖ Да, цена на токен падает. Но чем дешевле становятся базовые вычисления, тем больше компании могут позволить себе использовать их для решения бОльшего количества сложных задач. Таким образом, цены падают, а косты – растут 😏
➖ Плюс использование токенов возрастает за счет использования ризонинг-моделей. Они все еще дают ощутимые приросты на большинстве задач, так что компании готовы переплачивать.
Ну, например, условный анализ юридических контрактов с точностью 99% оправданно стоит гораздо больше, чем такой же анализ с точностью 90%. И эти +9% – это в десятки раз больше токенов за счет ризонинга.
Когда мы начнем выходить на плато по большинству корпоративных задач, оптимизация уже сделает свое дело. Но пока – вот так.
➖ Ну и железо, конечно. Переплачивать приходится не только за дополнительные токены, но и за новые и новые сервера.
А ведет это все – к консолидации, к сожалению. Но это уже другая история.
Разбор полностью можно почитать тут
Аналитику подвели WSJ. Тут парадокс Джевонса в действии: рост эффективности использования ресурса ведет не к уменьшению, а к увеличению его потребления. То есть:
Ну, например, условный анализ юридических контрактов с точностью 99% оправданно стоит гораздо больше, чем такой же анализ с точностью 90%. И эти +9% – это в десятки раз больше токенов за счет ризонинга.
Когда мы начнем выходить на плато по большинству корпоративных задач, оптимизация уже сделает свое дело. Но пока – вот так.
А ведет это все – к консолидации, к сожалению. Но это уже другая история.
Разбор полностью можно почитать тут
Please open Telegram to view this post
VIEW IN TELEGRAM
👍70🔥22❤17👌9😁3🕊3🤨3🤯2🤔1
Data Secrets
Илон Маск создал новую ИИ-компанию Macrohard, чтобы конкурировать с Microsoft 😰 Название – мем, но проект реальный. Компания будет заниматься разработкой ПО, и вроде ничего необычного, но… Концепция в том, чтобы полностью заменить сотрудников ИИ-агентами.…
О, уже и мемы соответствующие пошли
3😁260❤26 22👍8🔥8 6 3😎2 1
Microsoft очнулись и представили MAI-1-Preview – свою первую полностью самостоятельную модель
Видимо, до компании окончательно дошло, что OpenAI так или иначе их кинет, и они наконец-то решили действовать сами.
Обучали примерно на 15к H100, это сопоставимо с большинством ведущих моделей. Архитектура MoE. Вроде бы без ризонинга.
Публичных бенчмарков пока нет, но на LMArena модель заняла 15 место рядом с Qwen3-325b-thinking и o1-2024-12-17 (смотрим, и не осуждаем, все-таки у ребят первый опыт😁 ). Попробовать пока нигде нельзя, кроме той же LMArena.
В перспективе модель должна интегрироваться в продукты Microsoft Copilot, постепенно вытесняя решения OpenAI.
В довесок еще выпустили MAI-Voice-1 – речевую Text-to-Speech модель. Вот ее потрогать уже можно здесь. Заявляют, что за секунду можно сгенерировать до минуты звучания на одной GPU.
microsoft.ai/news/two-new-in-house-models/
Видимо, до компании окончательно дошло, что OpenAI так или иначе их кинет, и они наконец-то решили действовать сами.
Обучали примерно на 15к H100, это сопоставимо с большинством ведущих моделей. Архитектура MoE. Вроде бы без ризонинга.
Публичных бенчмарков пока нет, но на LMArena модель заняла 15 место рядом с Qwen3-325b-thinking и o1-2024-12-17 (смотрим, и не осуждаем, все-таки у ребят первый опыт
В перспективе модель должна интегрироваться в продукты Microsoft Copilot, постепенно вытесняя решения OpenAI.
В довесок еще выпустили MAI-Voice-1 – речевую Text-to-Speech модель. Вот ее потрогать уже можно здесь. Заявляют, что за секунду можно сгенерировать до минуты звучания на одной GPU.
microsoft.ai/news/two-new-in-house-models/
Please open Telegram to view this post
VIEW IN TELEGRAM
😁58❤35🔥21 11👍9
Anthropic привлекли 13 миллиардов долларов при оценке в 183 миллиарда
На секундочку, еще в марте этого года они стоили всего 62 миллиарда. Это рост на 300% за пол года.
А run-rate revenue с начала года вырос уже в 5 раз: $5 млрд сейчас против $1 млрд в январе. Спасибо Claude Code и API (сейчас в стартапе 70–75% выручки дают API-платежи по токенам, только 10–15% – подписки)✌️
Такая оценка делает Anthropic четвертым по стоимости стартапом в мире и одной из самых дорогих AI-компаний после OpenAI и xAI.
Раунд возглавили Iconiq, Fidelity и Lightspeed. Для Anthropic это уже серия F, то есть шестой или седьмой по счету раунд.
www.anthropic.com/news/anthropic-raises-series-f-at-usd183b-post-money-valuation
На секундочку, еще в марте этого года они стоили всего 62 миллиарда. Это рост на 300% за пол года.
А run-rate revenue с начала года вырос уже в 5 раз: $5 млрд сейчас против $1 млрд в январе. Спасибо Claude Code и API (сейчас в стартапе 70–75% выручки дают API-платежи по токенам, только 10–15% – подписки)
Такая оценка делает Anthropic четвертым по стоимости стартапом в мире и одной из самых дорогих AI-компаний после OpenAI и xAI.
Раунд возглавили Iconiq, Fidelity и Lightspeed. Для Anthropic это уже серия F, то есть шестой или седьмой по счету раунд.
www.anthropic.com/news/anthropic-raises-series-f-at-usd183b-post-money-valuation
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥99👍26 15❤12🤯7😁3🤔1🕊1
This media is not supported in your browser
VIEW IN TELEGRAM
Не могли не запостить сюда этот отрывок из нового интервью Альтмана
Назовите противостояние прекраснее, чем у Альтмана с Маском. Мы подождем.
– Приведи пример случая, когда тебе пришлось сделать выбор в пользу того, что будет лучше для мира, а не для лидерства компании
– Ну, мы еще не добавили секс-аватара в ChatGPT
Назовите противостояние прекраснее, чем у Альтмана с Маском. Мы подождем.
😁353 41🔥35❤11🗿11❤🔥7👍2😎1 1
OpenAI купила стартап Statsig
Сделка обошлась в 1.1 миллиард долларов (сущие копейки для OpenAI✨ ).
Statsig – это платформа для продуктовой аналитики и экспериментов, её технологии нужны OpenAI для ускорения разработки и тестирования новых продуктов. Но они купили не только технологию.
Сделка значится как «all-stock deal», то есть все сотрудники стартапа также перейдут в OpenAI. А CEO – Виджай Раджи – станет новым CTO of Applications в OpenAI. В этой роли он будет отвечать за инфраструктуру и надежность всех пользовательских продуктов, включая ChatGPT и Codex.
Сделка обошлась в 1.1 миллиард долларов (сущие копейки для OpenAI
Statsig – это платформа для продуктовой аналитики и экспериментов, её технологии нужны OpenAI для ускорения разработки и тестирования новых продуктов. Но они купили не только технологию.
Сделка значится как «all-stock deal», то есть все сотрудники стартапа также перейдут в OpenAI. А CEO – Виджай Раджи – станет новым CTO of Applications в OpenAI. В этой роли он будет отвечать за инфраструктуру и надежность всех пользовательских продуктов, включая ChatGPT и Codex.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍98 48❤15🔥7😁6
В CERN ИИ помогает найти крайне редкие виды распада бозона Хиггса
В эфире наша любимая рубрика: ускорение прогресса с помощью Deep Learning. На очереди снова физика.
Контекст. В науке существует так называемая Стандартная модель – это теория, объясняющая, из каких элементарных частиц состоит вся материя и какие силы между ними действуют. По этой модели, частицы получают массу благодаря бозону Хиггса. Но чтобы подтвердить это, нужны распады Хиггса на лёгкие кварки: если Хиггс на самом деле отвечает за массы всей обычной материи, такие распады должны происходить (пусть и очень редко), так что это что-то типа лакмусовой бумажки.
Сложность в том, что эти распады утопают в шумах. Раньше физики считали, что поймать их – почти фантастика: технически всё слишком тонко.
И вот сегодня стало известно, что исследователи детектора CMS на Большом адронном коллайдере впервые представили результаты поиска распада бозона на пару очарованных кварков. И сделали это с помощью ИИ.
Сразу скажем: сам распад пока не обнаружен. Но прорыв все равно колоссальный: точность анализа удалось улучшить на 35%.
Под капотом графовая нейронная сеть и трансформер. GNN позволяет анализировать взаимосвязи между наблюдаемыми частицами в каждом событии ускорителя, а трансформер выделяет те самые едва уловимые паттерны, отличающие истинный сигнал от шума. Сетки обучали на сотнях миллионов смоделированных столкновений (они называются джеты).
Ну и да, 35% – действительно гигантский шаг. На практике это означает, что доказательство распада Хиггса на лёгкие кварки может быть обнаружено уже в ближайщие годы, когда еще пару лет назад это считалось почти невыполнимой задачей.
В эфире наша любимая рубрика: ускорение прогресса с помощью Deep Learning. На очереди снова физика.
Контекст. В науке существует так называемая Стандартная модель – это теория, объясняющая, из каких элементарных частиц состоит вся материя и какие силы между ними действуют. По этой модели, частицы получают массу благодаря бозону Хиггса. Но чтобы подтвердить это, нужны распады Хиггса на лёгкие кварки: если Хиггс на самом деле отвечает за массы всей обычной материи, такие распады должны происходить (пусть и очень редко), так что это что-то типа лакмусовой бумажки.
Сложность в том, что эти распады утопают в шумах. Раньше физики считали, что поймать их – почти фантастика: технически всё слишком тонко.
И вот сегодня стало известно, что исследователи детектора CMS на Большом адронном коллайдере впервые представили результаты поиска распада бозона на пару очарованных кварков. И сделали это с помощью ИИ.
Сразу скажем: сам распад пока не обнаружен. Но прорыв все равно колоссальный: точность анализа удалось улучшить на 35%.
Под капотом графовая нейронная сеть и трансформер. GNN позволяет анализировать взаимосвязи между наблюдаемыми частицами в каждом событии ускорителя, а трансформер выделяет те самые едва уловимые паттерны, отличающие истинный сигнал от шума. Сетки обучали на сотнях миллионов смоделированных столкновений (они называются джеты).
Ну и да, 35% – действительно гигантский шаг. На практике это означает, что доказательство распада Хиггса на лёгкие кварки может быть обнаружено уже в ближайщие годы, когда еще пару лет назад это считалось почти невыполнимой задачей.
1🤯82 40👍33❤🔥15❤14 13🔥10😁5😎2👌1
Data Secrets
OpenAI купила стартап Statsig Сделка обошлась в 1.1 миллиард долларов (сущие копейки для OpenAI ✨ ). Statsig – это платформа для продуктовой аналитики и экспериментов, её технологии нужны OpenAI для ускорения разработки и тестирования новых продуктов. Но…
Хах, оказывается услугами стартапа Statsig, который только что купили OpenAI, активно пользовались еще и Anthropic
Причем сообщили они об этом буквально за пару дней до сделки
Совпадение?🤔
Причем сообщили они об этом буквально за пару дней до сделки
Совпадение?
Please open Telegram to view this post
VIEW IN TELEGRAM
😁96 21 16🤔5🫡3❤2✍1👍1
🔥 Вчера организаторы «Лето с AIRI 2025» выложили плейлист со всеми выступлениями спикеров.
Напомним: AIRI провёл летнюю школу для студентов и молодых исследователей в области ИИ в Томске. Вчера организаторы выложили плейлист со всеми лекциями. Темы охватывают всё, что сегодня волнует сообщество:
– LLM-агенты и мультиагентные системы
– Обучение с подкреплением
– Мультимодальные модели и VLM
– Интерпретируемость и безопасность
– Химия и биология с ИИ
– Генеративный дизайн и проектирование
и многое другое.
Это десятки часов контента от исследователей AIRI, МФТИ, МГУ, Сбера, Авито и других компаний 🔍
👉 Смотреть можно здесь: VK, YouTube
Напомним: AIRI провёл летнюю школу для студентов и молодых исследователей в области ИИ в Томске. Вчера организаторы выложили плейлист со всеми лекциями. Темы охватывают всё, что сегодня волнует сообщество:
– LLM-агенты и мультиагентные системы
– Обучение с подкреплением
– Мультимодальные модели и VLM
– Интерпретируемость и безопасность
– Химия и биология с ИИ
– Генеративный дизайн и проектирование
и многое другое.
Это десятки часов контента от исследователей AIRI, МФТИ, МГУ, Сбера, Авито и других компаний 🔍
👉 Смотреть можно здесь: VK, YouTube
❤54🔥35👍17🗿8 3 3😁2🤔2🤯2👏1
Очень понравилась свежая статья "Be like a Goldfish, Don't Memorize!": исследователи из университета Мэриленда предлагают аналог дропаута для токенов
Проблема рассматривается следующая. LLM часто запоминают части тренировочного датасета и могут воспроизводить их дословно. И это приводит к ряду очень неприятных последствий: сюда все иски за авторские права, утечки конфиденциальных данных и лицензированного кода и прочее.
В общем, загвоздка достаточно значимая, и решать ее пытаются в основном через unlearning после обучения или Differential Privacy. И то и другое приводит к понижению точности и в целом не очень надежно работает.
Здесь авторы предлагают более фундаментальный подход. Интуиция: модель не сможет воспроизвести дословно последовательность, если часть токенов никогда не участвовала в вычислении ошибки.
А значит, мы можем случайным образом исключать часть токенов из лосс-функции на обратном проходе. Это и не очень сильно портит метрики, потому что общие закономерности языка модель все-равно выучивает, и на 100% исключает возможность дословного повторения текстов.
Формально процесс обучения остается ровно таким же, меняется только лосс. В него добавляется коэффициент G_i, который равен единице, если токен учитывается в бэкпропе, и нулю – если нет. Формулу шутливо назвали Goldfish Loss: по аналогии с рыбкой, которая тут же забывает то, что увидела секунду назад.
В итоге если при стандартном лоссе процент точных повторений выученных текстов – примерно 85%, то на Goldfish Loss – 0. И по качеству просаживается не сильно, нужно просто либо чуть больше данных, либо чуть больше шагов. Плюс, применять на всем датасете не обязательно, можно использовать только для чувствительных данных.
Изящно, скажите?
arxiv.org/pdf/2406.10209
Проблема рассматривается следующая. LLM часто запоминают части тренировочного датасета и могут воспроизводить их дословно. И это приводит к ряду очень неприятных последствий: сюда все иски за авторские права, утечки конфиденциальных данных и лицензированного кода и прочее.
В общем, загвоздка достаточно значимая, и решать ее пытаются в основном через unlearning после обучения или Differential Privacy. И то и другое приводит к понижению точности и в целом не очень надежно работает.
Здесь авторы предлагают более фундаментальный подход. Интуиция: модель не сможет воспроизвести дословно последовательность, если часть токенов никогда не участвовала в вычислении ошибки.
А значит, мы можем случайным образом исключать часть токенов из лосс-функции на обратном проходе. Это и не очень сильно портит метрики, потому что общие закономерности языка модель все-равно выучивает, и на 100% исключает возможность дословного повторения текстов.
Формально процесс обучения остается ровно таким же, меняется только лосс. В него добавляется коэффициент G_i, который равен единице, если токен учитывается в бэкпропе, и нулю – если нет. Формулу шутливо назвали Goldfish Loss: по аналогии с рыбкой, которая тут же забывает то, что увидела секунду назад.
В итоге если при стандартном лоссе процент точных повторений выученных текстов – примерно 85%, то на Goldfish Loss – 0. И по качеству просаживается не сильно, нужно просто либо чуть больше данных, либо чуть больше шагов. Плюс, применять на всем датасете не обязательно, можно использовать только для чувствительных данных.
Изящно, скажите?
arxiv.org/pdf/2406.10209
🤗106🔥58❤38👍23🤨7😁3👏2💘2🍓1