This media is not supported in your browser
VIEW IN TELEGRAM
Без математики в мире искусственного интеллекта никуда.
Однако стандартные учебные программы часто не дают никакой интуиции и визуального смысла.
В итоге остается использовать калькулятор и бежать, едва завидев формулы...
Проект Popmath решил исправить ситуацию и подготовил наполненные 2D и 3D анимациями 4-х месячные онлайн-курсы через Zoom, которые позволяют ознакомиться с предметом намного проще и побороть математическую тревожность:
🟧 [Математика для взрослых] — для желающих получить прочную математическую базу с полного нуля. Предварительные знания не требуются.
🟥 [Линейная алгебра] — для тех, кто хочет разобраться в предмете поглубже и выйти за рамки базовых знаний математики.
Старт групп: середина марта
Вопросы ➡️ @popmath_support
#реклама
Однако стандартные учебные программы часто не дают никакой интуиции и визуального смысла.
В итоге остается использовать калькулятор и бежать, едва завидев формулы...
Проект Popmath решил исправить ситуацию и подготовил наполненные 2D и 3D анимациями 4-х месячные онлайн-курсы через Zoom, которые позволяют ознакомиться с предметом намного проще и побороть математическую тревожность:
🟧 [Математика для взрослых] — для желающих получить прочную математическую базу с полного нуля. Предварительные знания не требуются.
🟥 [Линейная алгебра] — для тех, кто хочет разобраться в предмете поглубже и выйти за рамки базовых знаний математики.
Старт групп: середина марта
Вопросы ➡️ @popmath_support
#реклама
😐11👍6❤3
🚀💰 AI-революция в глобальной экономике: анализ годового письма Stripe 2024
Привет, друзья! Сегодня мы погрузимся в анализ свежего годового письма Stripe за 2024 год и убедимся, что AI трансформирует мировую экономику прямо у нас на глазах.
Эпоха AI-экономики наступила!
Stripe не стесняется называть происходящее настоящим "AI-бумом" — и неспроста! Всё больше компаний перестраивают свои бизнес-модели вокруг больших языковых моделей (LLM) и других прорывных технологий машинного обучения. Это касается не только гигантов уровня OpenAI или Anthropic, но и стартапов, которые буквально за считанные месяцы выходят на выручку в миллионы долларов.
Реальные примеры взрывного роста:
- Perplexity: AI-поисковик, обрабатывающий сотни миллионов запросов ежемесячно (основан в 2022 году)
- Cursor: интегрированная с AI-инструментами платформа для разработчиков (заработали $100M меньше чем за 3 года существования)
- Lovable и Bolt: стартапы, $17M за 3 месяца и $20М за 2 месяца соответственно
- Специализированные решения: AI-помощники в медицине (Abridge, Nabla), недвижимости (Studeo), дизайне (SketchPro) и других областях
AI-агенты: новый рубеж финансовых технологий
Одна из самых, на мой взгляд, взрывных разработок Stripe — создание инфраструктуры для "агентных" платежных систем. AI-системы уже самостоятельно проводят транзакции (Perplexity и Payman) в рамках заданных лимитов и правил — без непосредственного участия человека!
Это открывает захватывающие возможности:
- Автоматическое пополнение складских запасов
- "Умное" продление подписок
- Оптимизация регулярных бизнес-расходов
- Мгновенная оплата услуг от имени пользователя (с его разрешения)
AI как двигатель традиционного бизнеса
Искусственный интеллект помогает не только в сфере технологий. Stripe годами использует вполне себе классические ML-модели для:
- Борьбы с мошенничеством (например, Radar, который автоматически выявляет подозрительные транзакции)
- Повышения конверсии платежей (умные алгоритмы снижают количество отказов при оплате)
- Оптимизации финансовых потоков
Даже старейшие и консервативные организации присоединяются к цифровой трансформации! Университет Оксфорда, Англиканская церковь, гиганты вроде Hershey и PepsiCo внедряют интеллектуальные платежные системы и видят результаты: выше уровень авторизаций, меньше отказов, больше выручка.
Другие ключевые тренды из письма Stripe
Stablecoins: будущее глобальных финансов
Stripe уверен, что стабильные криптовалюты станут следующей ступенью эволюции денег:
- Ускорят и удешевят международные переводы
- Обеспечат доступ к доллару в странах с нестабильной экономикой
- Создадут фундамент для новых финансовых операций в глобальном масштабе
Вертикальные SaaS-платформы для малого бизнеса
Растет популярность узкоспециализированных решений:
- Интегрированные платформы для ресторанов, клиник, салонов красоты, пиццерий и тп
- Комбинация платежей, CRM, логистики и AI в едином интерфейсе
- Возможность запустить бизнес буквально за недели, а не месяцы
Экономические вызовы Европы 🇪🇺
Письмо затрагивает разрыв в продуктивности между США и Европой:
- Необходимость снижения бюрократических барьеров
- Создание более благоприятной среды для стартапов
- Реформы для привлечения венчурного капитала
Взгляд в будущее: AI меняет всё прямо сейчас
Stripe прогнозирует, что 2025 год станет переломным для AI-экономики. Мы увидим:
- Еще больше предпринимателей, делающих ставку на AI-решения
- Прорыв в повседневных сервисах с интеллектуальными помощниками
- Формирование принципиально новых бизнес-моделей и рынков
Очень рекомендую прочитать письмо целиком!
Привет, друзья! Сегодня мы погрузимся в анализ свежего годового письма Stripe за 2024 год и убедимся, что AI трансформирует мировую экономику прямо у нас на глазах.
Эпоха AI-экономики наступила!
Stripe не стесняется называть происходящее настоящим "AI-бумом" — и неспроста! Всё больше компаний перестраивают свои бизнес-модели вокруг больших языковых моделей (LLM) и других прорывных технологий машинного обучения. Это касается не только гигантов уровня OpenAI или Anthropic, но и стартапов, которые буквально за считанные месяцы выходят на выручку в миллионы долларов.
Реальные примеры взрывного роста:
- Perplexity: AI-поисковик, обрабатывающий сотни миллионов запросов ежемесячно (основан в 2022 году)
- Cursor: интегрированная с AI-инструментами платформа для разработчиков (заработали $100M меньше чем за 3 года существования)
- Lovable и Bolt: стартапы, $17M за 3 месяца и $20М за 2 месяца соответственно
- Специализированные решения: AI-помощники в медицине (Abridge, Nabla), недвижимости (Studeo), дизайне (SketchPro) и других областях
AI-агенты: новый рубеж финансовых технологий
Одна из самых, на мой взгляд, взрывных разработок Stripe — создание инфраструктуры для "агентных" платежных систем. AI-системы уже самостоятельно проводят транзакции (Perplexity и Payman) в рамках заданных лимитов и правил — без непосредственного участия человека!
Это открывает захватывающие возможности:
- Автоматическое пополнение складских запасов
- "Умное" продление подписок
- Оптимизация регулярных бизнес-расходов
- Мгновенная оплата услуг от имени пользователя (с его разрешения)
AI как двигатель традиционного бизнеса
Искусственный интеллект помогает не только в сфере технологий. Stripe годами использует вполне себе классические ML-модели для:
- Борьбы с мошенничеством (например, Radar, который автоматически выявляет подозрительные транзакции)
- Повышения конверсии платежей (умные алгоритмы снижают количество отказов при оплате)
- Оптимизации финансовых потоков
Даже старейшие и консервативные организации присоединяются к цифровой трансформации! Университет Оксфорда, Англиканская церковь, гиганты вроде Hershey и PepsiCo внедряют интеллектуальные платежные системы и видят результаты: выше уровень авторизаций, меньше отказов, больше выручка.
Другие ключевые тренды из письма Stripe
Stablecoins: будущее глобальных финансов
Stripe уверен, что стабильные криптовалюты станут следующей ступенью эволюции денег:
- Ускорят и удешевят международные переводы
- Обеспечат доступ к доллару в странах с нестабильной экономикой
- Создадут фундамент для новых финансовых операций в глобальном масштабе
Вертикальные SaaS-платформы для малого бизнеса
Растет популярность узкоспециализированных решений:
- Интегрированные платформы для ресторанов, клиник, салонов красоты, пиццерий и тп
- Комбинация платежей, CRM, логистики и AI в едином интерфейсе
- Возможность запустить бизнес буквально за недели, а не месяцы
Экономические вызовы Европы 🇪🇺
Письмо затрагивает разрыв в продуктивности между США и Европой:
- Необходимость снижения бюрократических барьеров
- Создание более благоприятной среды для стартапов
- Реформы для привлечения венчурного капитала
Взгляд в будущее: AI меняет всё прямо сейчас
Stripe прогнозирует, что 2025 год станет переломным для AI-экономики. Мы увидим:
- Еще больше предпринимателей, делающих ставку на AI-решения
- Прорыв в повседневных сервисах с интеллектуальными помощниками
- Формирование принципиально новых бизнес-моделей и рынков
Очень рекомендую прочитать письмо целиком!
🔥16😐5😁3😱3❤2👍2
AI для Всех
Прогнозирование будущего с помощью языковых моделей 🤖📈 Друзья, сегодня поговорим о прогнозировании будущего с помощью больших языковых моделей (LLM). Исследователи показали как можно скомбинировать силу чисел и контекста! 🔍 Ключевой прорыв До недавнего…
This media is not supported in your browser
VIEW IN TELEGRAM
🔮LLM для предсказания будущего
Наконец-то история получила публичное продолжение!
Исследователи создали метод LLM Processes (LLMP), который позволяет языковым моделям делать числовые прогнозы с оценкой неопределённости.
Как это работает простыми словами:
1. Берём обычную языковую модель (Claude, GPT, Llama) без дополнительного обучения
2. Показываем ей известные данные в виде пар "координата, значение"
3. Задаем контекст, например
4. Просим предсказать следующие значения и собираем множество ответов
5. Получаем распределение вероятностей так:
- Просим модель сгенерировать ~50 различных предсказаний для одной точки
- Из полученных значений вычисляем медиану (вероятный результат)
- Определяем 10% и 90% перцентили (границы неопределенности)
- Строим график, где показываем не только линию прогноза, но и "облако" возможных значений
Удивительно, но такой простой подход работает на уровне специализированных алгоритмов для прогнозирования, демонстрирует scaling laws (это когда объем вычислений соответствует финальной ошибке, я проверял), а добавление текста реально влияет на предсказания - модель "понимает", что если компания обанкротится, график должен идти вниз!
Это открывает новые возможности для всех, кому нужны числовые прогнозы, но кто не хочет углубляться в сложную математику.
Еще демо
Наконец-то история получила публичное продолжение!
Исследователи создали метод LLM Processes (LLMP), который позволяет языковым моделям делать числовые прогнозы с оценкой неопределённости.
Как это работает простыми словами:
1. Берём обычную языковую модель (Claude, GPT, Llama) без дополнительного обучения
2. Показываем ей известные данные в виде пар "координата, значение"
1, 5.4
2, 6.2
3, 7.1
3. Задаем контекст, например
это цены акций компании, которая скоро обанкротится
4. Просим предсказать следующие значения и собираем множество ответов
5. Получаем распределение вероятностей так:
- Просим модель сгенерировать ~50 различных предсказаний для одной точки
- Из полученных значений вычисляем медиану (вероятный результат)
- Определяем 10% и 90% перцентили (границы неопределенности)
- Строим график, где показываем не только линию прогноза, но и "облако" возможных значений
Удивительно, но такой простой подход работает на уровне специализированных алгоритмов для прогнозирования, демонстрирует scaling laws (это когда объем вычислений соответствует финальной ошибке, я проверял), а добавление текста реально влияет на предсказания - модель "понимает", что если компания обанкротится, график должен идти вниз!
Это открывает новые возможности для всех, кому нужны числовые прогнозы, но кто не хочет углубляться в сложную математику.
Еще демо
😐43👍22❤9😁2🔥1
🎧🏛️ ИИ-экскурсия в Азиатском художественном музее
Сегодня я открыл для себя будущее музейных экскурсий, и теперь просто обязан этим поделиться! 🔥
Я посетил Азиатский художественный музей в Сан-Франциско, но вместо стандартного аудиогида или экскурсовода использовал голосовой и видеорежим ChatGPT. Результат? Уникальный, полностью персонализированный тур, который превзошел все ожидания!
💬 Как это работало?
• Я надел свои AirPods Max и задал контекст:
📍 «Я на третьем этаже Азиатского художественного музея в Сан-Франциско»
• Включил видеорежим и просто направил камеру телефона на экспонаты.
• ИИ мгновенно определял артефакты и рассказывал их историю, как настоящий эксперт:
✅ «Расскажи про эту статую Будды» – мгновенный ответ с деталями о стиле и эпохе!
✅ «Чем японские хранители-львы отличаются от китайских?» – глубокий разбор культурных различий!
✅ «Почему эти древние бронзовые сосуды такие массивные?» – исторический контекст и символика!
🔥 Почему это было так круто?
Полная интерактивность – никаких скучных, шаблонных лекций! Я спрашивал все, что мне хотелось и углублялся в темы, которые мне действительно интересны (например, мы с ChatGPT зарубились минут на 10 в обсуждение того, откуда появились драконы в китайской мифологии 🐉).
Абсолютная свобода передвижения – не нужно отвлекаться на поиск информации или печатание вопросов. Просто гуляешь и разговариваешь с ИИ, как с персональным экскурсоводом!
🚀 Будущее экскурсий уже здесь!
Получается, что теперь в каждом музее мира можно получить персонального гида, который понимает ваши интересы, отвечает на вопросы и адаптируется под ваш темп осмотра.
💰 Цена вопроса? Всего $20 в месяц – и у вас в кармане умный помощник, заменяющий дорогостоящие экскурсии.
🎭 Лувр, Эрмитаж, Британский музей – с таким ИИ-ассистентом посещение музеев превращается в настоящее вдохновляющее приключение, а не просто просмотр табличек с датами.
📢 А вы бы попробовали ИИ-гид в музее? Делитесь в комментариях! Какой музей мечтаете посетить с такой технологией? Как бы вы развили эту тему дальше?
Сегодня я открыл для себя будущее музейных экскурсий, и теперь просто обязан этим поделиться! 🔥
Я посетил Азиатский художественный музей в Сан-Франциско, но вместо стандартного аудиогида или экскурсовода использовал голосовой и видеорежим ChatGPT. Результат? Уникальный, полностью персонализированный тур, который превзошел все ожидания!
💬 Как это работало?
• Я надел свои AirPods Max и задал контекст:
📍 «Я на третьем этаже Азиатского художественного музея в Сан-Франциско»
• Включил видеорежим и просто направил камеру телефона на экспонаты.
• ИИ мгновенно определял артефакты и рассказывал их историю, как настоящий эксперт:
✅ «Расскажи про эту статую Будды» – мгновенный ответ с деталями о стиле и эпохе!
✅ «Чем японские хранители-львы отличаются от китайских?» – глубокий разбор культурных различий!
✅ «Почему эти древние бронзовые сосуды такие массивные?» – исторический контекст и символика!
🔥 Почему это было так круто?
Полная интерактивность – никаких скучных, шаблонных лекций! Я спрашивал все, что мне хотелось и углублялся в темы, которые мне действительно интересны (например, мы с ChatGPT зарубились минут на 10 в обсуждение того, откуда появились драконы в китайской мифологии 🐉).
Абсолютная свобода передвижения – не нужно отвлекаться на поиск информации или печатание вопросов. Просто гуляешь и разговариваешь с ИИ, как с персональным экскурсоводом!
🚀 Будущее экскурсий уже здесь!
Получается, что теперь в каждом музее мира можно получить персонального гида, который понимает ваши интересы, отвечает на вопросы и адаптируется под ваш темп осмотра.
💰 Цена вопроса? Всего $20 в месяц – и у вас в кармане умный помощник, заменяющий дорогостоящие экскурсии.
🎭 Лувр, Эрмитаж, Британский музей – с таким ИИ-ассистентом посещение музеев превращается в настоящее вдохновляющее приключение, а не просто просмотр табличек с датами.
📢 А вы бы попробовали ИИ-гид в музее? Делитесь в комментариях! Какой музей мечтаете посетить с такой технологией? Как бы вы развили эту тему дальше?
👍47🔥33❤16😐4
Forwarded from Нейросети и Блендер
Media is too big
VIEW IN TELEGRAM
Офигенный workflow от аниматора Cuco
Это как раз идеальный пример, как художник может использовать AI для упрощения процессов не особо теряя в качестве.
-- Тут обучение Лоры на своих артах, особенно когда их мало.
-- Создание всего окружения в своём стиле + создание простых сцен. Я делал что-то похожее здесь.
-- Создание простых анимаций использую только линии и затем Lineart на своей Лоре чтобы сделать финальную картинку.
-- Далее AnimateDiff с Lineart ControlNet для сцен + Лора. И вот уже у нас офигенные слои, которые можно будем потом композить.
Автор: LINK
Это как раз идеальный пример, как художник может использовать AI для упрощения процессов не особо теряя в качестве.
-- Тут обучение Лоры на своих артах, особенно когда их мало.
-- Создание всего окружения в своём стиле + создание простых сцен. Я делал что-то похожее здесь.
-- Создание простых анимаций использую только линии и затем Lineart на своей Лоре чтобы сделать финальную картинку.
-- Далее AnimateDiff с Lineart ControlNet для сцен + Лора. И вот уже у нас офигенные слои, которые можно будем потом композить.
Автор: LINK
👍19🔥16❤5😐2
ChatGPT кушает поиск?
Интересная статистика от Vercel: ChatGPT уже генерирует 4.8% всех новых регистраций и этот показатель растёт крайне быстро (менее полугода назад было всего около 1%). Но важно понимать, что это не значит, будто ChatGPT напрямую вытесняет Google. Скорее, люди начали искать и спрашивать о таких вещах, о которых без ChatGPT они бы просто не подумали или поленились бы сформулировать вопрос в Google.
Таким образом, ChatGPT скорее дополняет привычный поиск, расширяя границы (и market size) того, что мы вообще готовы спрашивать и узнавать.
Кстати, SEO-оптимизация специально для генеративного поиска — это сейчас крутая и практически незанятая ниша. Кто первый её освоит, получит огромное преимущественное место на рынке.
X
Интересная статистика от Vercel: ChatGPT уже генерирует 4.8% всех новых регистраций и этот показатель растёт крайне быстро (менее полугода назад было всего около 1%). Но важно понимать, что это не значит, будто ChatGPT напрямую вытесняет Google. Скорее, люди начали искать и спрашивать о таких вещах, о которых без ChatGPT они бы просто не подумали или поленились бы сформулировать вопрос в Google.
Таким образом, ChatGPT скорее дополняет привычный поиск, расширяя границы (и market size) того, что мы вообще готовы спрашивать и узнавать.
Кстати, SEO-оптимизация специально для генеративного поиска — это сейчас крутая и практически незанятая ниша. Кто первый её освоит, получит огромное преимущественное место на рынке.
X
❤18🎉8👍4😐3
AI для Всех
ChatGPT кушает поиск? Интересная статистика от Vercel: ChatGPT уже генерирует 4.8% всех новых регистраций и этот показатель растёт крайне быстро (менее полугода назад было всего около 1%). Но важно понимать, что это не значит, будто ChatGPT напрямую вытесняет…
SEO для генеративного поиска — что важно знать прямо сейчас
В догонку к предыдущему посту я заинтересовался, как оптимизировать сайты под AI-поиск и провел небольшой рисерч с помощью Grok. Вот ключевые рекомендации:
1. Разрешите AI-краулерам доступ — убедитесь, что ваш сайт индексируется ботами, такими как OAI-SearchBot (ChatGPT). Это увеличит шанс попадания вашего контента в ответы AI.
2. Высококачественный и релевантный контент — AI модели предпочитают чёткий, структурированный контент, отвечающий на запросы пользователей максимально полно и точно.
3. Структурируйте контент ясно — используйте заголовки, списки и логичную подачу, чтобы облегчить AI извлечение информации и представление её пользователю.
4. Используйте структурированные данные (schema markup) — это помогает AI лучше распознавать и ранжировать ваш контент.
5. Отслеживайте AI-рефералы — применяйте аналитику для отслеживания трафика от AI-сервисов, таких как ChatGPT, чтобы понимать эффективность ваших действий.
Кто знает еще какие то важные нюансы - делитесь!
Полное исследование тут
В догонку к предыдущему посту я заинтересовался, как оптимизировать сайты под AI-поиск и провел небольшой рисерч с помощью Grok. Вот ключевые рекомендации:
1. Разрешите AI-краулерам доступ — убедитесь, что ваш сайт индексируется ботами, такими как OAI-SearchBot (ChatGPT). Это увеличит шанс попадания вашего контента в ответы AI.
2. Высококачественный и релевантный контент — AI модели предпочитают чёткий, структурированный контент, отвечающий на запросы пользователей максимально полно и точно.
3. Структурируйте контент ясно — используйте заголовки, списки и логичную подачу, чтобы облегчить AI извлечение информации и представление её пользователю.
4. Используйте структурированные данные (schema markup) — это помогает AI лучше распознавать и ранжировать ваш контент.
5. Отслеживайте AI-рефералы — применяйте аналитику для отслеживания трафика от AI-сервисов, таких как ChatGPT, чтобы понимать эффективность ваших действий.
Кто знает еще какие то важные нюансы - делитесь!
Полное исследование тут
🔥22😐10👍4❤2
Вечер в Сиэтле
Вечером 17ого марта буду в Сиэтле, готов организовать пиво 🍻
Если есть кто-то, добавляйтесь!
https://partiful.com/e/gAwx8xRvwgw8myZ2So0r
Вечером 17ого марта буду в Сиэтле, готов организовать пиво 🍻
Если есть кто-то, добавляйтесь!
https://partiful.com/e/gAwx8xRvwgw8myZ2So0r
Partiful
St Patrick’s in Seattle | Partiful
Пиво с ИИ для всех
🔥6👍3😐3❤1😱1
AI + Наука: как 1500 учёных использовали искусственный интеллект, чтобы ускорить исследования 🧪🤖
Вернёмся к истокам нашего канала: что происходит, когда ведущие учёные получают доступ к новейшему искусственному интеллекту?
Первая в истории AI-сессия для учёных 🔬💻
28 февраля 2025 года OpenAI и Министерство энергетики США организовали беспрецедентное мероприятие: около 1500 ведущих учёных из 9 национальных лабораторий собрались вместе, чтобы проверить, насколько AI может ускорить научные исследования.
Учёные использовали передовые модели OpenAI (включая новую модель o3-mini), задав за один день более 4000 научных вопросов и написав свыше 20 000 AI-промптов!
Что конкретно изучали учёные? 🔍🧠
Исследователи не тратили время зря и сразу взялись за реальные задачи, имеющие огромное значение для общества:
• Определение бактерий для разработки новых лекарств и натуральных пестицидов 🦠
• Повышение кибербезопасности энергетических сетей 🔐
• Усовершенствование исследований в области ядерной энергии ⚛️
• Развитие квантовой механики для улучшения МРТ и лазерной хирургии 🔬
• Повышение точности прогнозов погоды и ядерной криминалистики 🌦️
Учёные отметили, что применение искусственного интеллекта значительно ускорило решение задач, с которыми ранее они сталкивались месяцами.
Реальные выводы и результаты 📊✨
Президент OpenAI Грег Брокман и министр энергетики США Крис Райт подчеркнули, что развитие AI сейчас напоминает «Манхэттенский проект» по масштабу и важности. По их мнению, такая коллаборация — залог технологического лидерства США.
Главный экономист OpenAI Ронни Чаттерджи добавил важную мысль: «AI максимально повлияет на продуктивность, когда даст учёным возможность делать открытия, которых раньше не было, и успешно применять их на практике».
Что дальше? 🚀🔭
Это событие — только начало масштабного сотрудничества между OpenAI и национальными лабораториями.
Главная цель этих усилий — не просто развитие технологий, а значительное улучшение жизни людей благодаря новым научным открытиям, улучшению медицины, образованию и безопасности (ну и гос контракты конечно).
Ссылка 1
Ссылка 2
А как вы считаете, какие научные открытия стоит ускорить с помощью AI? Делитесь мнениями в комментариях! 💬👇
Вернёмся к истокам нашего канала: что происходит, когда ведущие учёные получают доступ к новейшему искусственному интеллекту?
Первая в истории AI-сессия для учёных 🔬💻
28 февраля 2025 года OpenAI и Министерство энергетики США организовали беспрецедентное мероприятие: около 1500 ведущих учёных из 9 национальных лабораторий собрались вместе, чтобы проверить, насколько AI может ускорить научные исследования.
Учёные использовали передовые модели OpenAI (включая новую модель o3-mini), задав за один день более 4000 научных вопросов и написав свыше 20 000 AI-промптов!
Что конкретно изучали учёные? 🔍🧠
Исследователи не тратили время зря и сразу взялись за реальные задачи, имеющие огромное значение для общества:
• Определение бактерий для разработки новых лекарств и натуральных пестицидов 🦠
• Повышение кибербезопасности энергетических сетей 🔐
• Усовершенствование исследований в области ядерной энергии ⚛️
• Развитие квантовой механики для улучшения МРТ и лазерной хирургии 🔬
• Повышение точности прогнозов погоды и ядерной криминалистики 🌦️
Учёные отметили, что применение искусственного интеллекта значительно ускорило решение задач, с которыми ранее они сталкивались месяцами.
Реальные выводы и результаты 📊✨
Президент OpenAI Грег Брокман и министр энергетики США Крис Райт подчеркнули, что развитие AI сейчас напоминает «Манхэттенский проект» по масштабу и важности. По их мнению, такая коллаборация — залог технологического лидерства США.
Главный экономист OpenAI Ронни Чаттерджи добавил важную мысль: «AI максимально повлияет на продуктивность, когда даст учёным возможность делать открытия, которых раньше не было, и успешно применять их на практике».
Что дальше? 🚀🔭
Это событие — только начало масштабного сотрудничества между OpenAI и национальными лабораториями.
Главная цель этих усилий — не просто развитие технологий, а значительное улучшение жизни людей благодаря новым научным открытиям, улучшению медицины, образованию и безопасности (ну и гос контракты конечно).
Ссылка 1
Ссылка 2
А как вы считаете, какие научные открытия стоит ускорить с помощью AI? Делитесь мнениями в комментариях! 💬👇
🔥22👍10❤4😐3
ИИ-учёный на ведущей МЛ конференции: статья прошла слепое рецензирование на воркшоп ICLR 2025
Японская компания Sakana AI продолжает совершенствовать своего AI Scientist, о котором мы писали раньше, способного полностью автоматизировать научные исследования. Недавно одна из статей, от и до созданная AI Scientist v2, прошла процесс слепого рецензирования на воркшопе ICLR 2025 — одной из трёх ведущих конференций в области машинного обучения.
Как это произошло?
The AI Scientist самостоятельно сгенерировал научную гипотезу, предложил эксперименты для её проверки, написал и отладил код, провёл эксперименты, проанализировал данные, визуализировал результаты и полностью написал научную статью — от заголовка до списка литературы. Человеческое вмешательство ограничивалось лишь выбором общей темы исследования и отбором трёх лучших статей для подачи.
Результаты рецензирования
Из трёх поданных статей одна получила среднюю оценку 6,33, что превышает порог для принятия на воркшопе ICLR 2025. Оценки рецензентов были следующими:
• 6: Немного выше порога принятия
• 7: Хорошая статья, принять
Это означает, что статья, созданная ИИ, была оценена на уровне или выше многих статей, написанных людьми.
Этические аспекты
Не волнуйтесь, рецензенты были уведомлены, что 3 из 43 статей могут быть сгенерированы ИИ, но не знали, какие именно работы они рецензируют. В рамках эксперимента было заранее решено, что даже в случае принятия статьи, она будет отозвана до публикации, учитывая, что она полностью создана ИИ. Это потому что в научном сообществе ещё нет консенсуса о правилах публикации подобных работ.
Что дальше?
Sakana AI продолжает совершенствовать The AI Scientist и планирует расширять его применение в различных областях науки. Этот эксперимент, безусловно, ставит перед нами важные вопросы о будущем научных исследований и роли ИИ в них. Возможно, настало время пересмотреть наши критерии публикаций, сосредоточившись на их полезности для человечества.
🌐 Repo
🐯 Статья
Японская компания Sakana AI продолжает совершенствовать своего AI Scientist, о котором мы писали раньше, способного полностью автоматизировать научные исследования. Недавно одна из статей, от и до созданная AI Scientist v2, прошла процесс слепого рецензирования на воркшопе ICLR 2025 — одной из трёх ведущих конференций в области машинного обучения.
Как это произошло?
The AI Scientist самостоятельно сгенерировал научную гипотезу, предложил эксперименты для её проверки, написал и отладил код, провёл эксперименты, проанализировал данные, визуализировал результаты и полностью написал научную статью — от заголовка до списка литературы. Человеческое вмешательство ограничивалось лишь выбором общей темы исследования и отбором трёх лучших статей для подачи.
Результаты рецензирования
Из трёх поданных статей одна получила среднюю оценку 6,33, что превышает порог для принятия на воркшопе ICLR 2025. Оценки рецензентов были следующими:
• 6: Немного выше порога принятия
• 7: Хорошая статья, принять
Это означает, что статья, созданная ИИ, была оценена на уровне или выше многих статей, написанных людьми.
Этические аспекты
Не волнуйтесь, рецензенты были уведомлены, что 3 из 43 статей могут быть сгенерированы ИИ, но не знали, какие именно работы они рецензируют. В рамках эксперимента было заранее решено, что даже в случае принятия статьи, она будет отозвана до публикации, учитывая, что она полностью создана ИИ. Это потому что в научном сообществе ещё нет консенсуса о правилах публикации подобных работ.
Что дальше?
Sakana AI продолжает совершенствовать The AI Scientist и планирует расширять его применение в различных областях науки. Этот эксперимент, безусловно, ставит перед нами важные вопросы о будущем научных исследований и роли ИИ в них. Возможно, настало время пересмотреть наши критерии публикаций, сосредоточившись на их полезности для человечества.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25🔥12❤6🤯6😐1
Трансформеры без нормализации
В свежей статье от марта 2025 года исследователи из Meta, MIT, NYU и Принстона предложили простой способ сделать трансформеры эффективнее, отказавшись от классических слоев нормализации.
Вместо привычных LayerNorm авторы предлагают использовать Dynamic Tanh (DyT): tanh(αx), где α — обучаемый параметр.
Почему это интересно
Обычно нормализация необходима, чтобы стабилизировать обучение нейросетей, однако она требует дополнительных вычислений. Оказалось, что DyT не только сохраняет качество трансформеров, но и немного ускоряет их инференс и обучение, примерно на 7%.
Что заметили авторы
Внимательно изучив работу слоев нормализации, исследователи увидели, что они ведут себя как S-образные (сигмоидные) функции, похожие на tanh. Оказывается, что важнее всего в нормализации оказалось именно нелинейное подавление экстремальных значений активаций (squashing).
Что это даёт на практике
DyT успешно заменяет нормализацию во многих типах трансформеров:
• Vision Transformers
• Языковые модели (включая модели с 70 млрд параметров)
• Диффузионные модели
• Распознавание речи
• Геномные модели
Исследование с кодом доступно на странице проекта и в статье
В свежей статье от марта 2025 года исследователи из Meta, MIT, NYU и Принстона предложили простой способ сделать трансформеры эффективнее, отказавшись от классических слоев нормализации.
Вместо привычных LayerNorm авторы предлагают использовать Dynamic Tanh (DyT): tanh(αx), где α — обучаемый параметр.
Почему это интересно
Обычно нормализация необходима, чтобы стабилизировать обучение нейросетей, однако она требует дополнительных вычислений. Оказалось, что DyT не только сохраняет качество трансформеров, но и немного ускоряет их инференс и обучение, примерно на 7%.
Что заметили авторы
Внимательно изучив работу слоев нормализации, исследователи увидели, что они ведут себя как S-образные (сигмоидные) функции, похожие на tanh. Оказывается, что важнее всего в нормализации оказалось именно нелинейное подавление экстремальных значений активаций (squashing).
Что это даёт на практике
DyT успешно заменяет нормализацию во многих типах трансформеров:
• Vision Transformers
• Языковые модели (включая модели с 70 млрд параметров)
• Диффузионные модели
• Распознавание речи
• Геномные модели
Исследование с кодом доступно на странице проекта и в статье
🔥44👍8❤1😐1
Как обучить диффузионную модель с нуля за $1890?
Законы масштабирования в генеративном ИИ повышают производительность, но есть ньюанс: разработка моделей концентрируется среди игроков с большими вычислительными ресурсами.
Поскольку стоимость обучения text-to-image трансформера растет с количеством участков в каждом изображении, исследователи из Sony AI предложили случайным образом маскировать до 75% участков изображения во время обучения.
Применяется стратегия отложенного маскирования, которая предварительно обрабатывает все участки с помощью
микшера участков перед маскированием, тем самым значительно снижая ухудшение производительности процесса. Для оптимизации вычислительных затрат данный подход со работает лучше, чем уменьшение масштаба модели.
В исследование также включили последние
улучшения в архитектуре трансформеров, такие как использование слоев с mixture of experts (MoE),чтобы улучшить производительность и убедиться в важности использования синтетических изображений для уменьшения затрат на обучение.
Какие результаты?
Используя только 37 млн изображений (22 млн реальных + 15 млн синтетических), была обучена модель типа "sparse transformer" с 1,16 млрд параметров.
На обучение было потрачено всего 1890$ !
Была достигнута производительность 12,7 FID при zero shot learning на наборе данных COCO.
Примечательно, что модель достигает конкурентоспособного FID и высококачественных генераций, при этом требуя в 118 раз меньших затрат, чем стабильные диффузионные модели, и в 14 раз меньших затрат, чем текущий современный подход, который стоит 28400$
🔍 Технические детали:
• Архитектура: sparse DiT-XL/2 трансформер
• Вычисления: 8×H100 GPU на 2,6 дня тренировки
• VAE: использование как SDXL-VAE (4 канала), так и Ostris-VAE (16 каналов)
• Патч-миксер перед трансформером + маскирование 75% патчей
• Обучение: 280K шагов на 256×256, затем 55K шагов на 512×512
• Размер батча: 2048, с применением центрального кропа
📊 Доступные предобученные модели:
1. MicroDiT_XL_2 на 22 млн реальных изображениях (FID 12.72)
2. MicroDiT_XL_2 на 37 млн изображениях (FID 12.66) с SDXL-VAE
3. MicroDiT_XL_2 на 37 млн изображениях (FID 13.04) с Ostris-VAE
4. MicroDiT_XL_2 на 490 млн синтетических изображениях (FID 13.26)
💻 Репозиторий содержит полный код, включая обработку датасетов и тренировочные конфиги для каждого этапа
🔗 Статья
4️⃣ GitHub
Законы масштабирования в генеративном ИИ повышают производительность, но есть ньюанс: разработка моделей концентрируется среди игроков с большими вычислительными ресурсами.
Поскольку стоимость обучения text-to-image трансформера растет с количеством участков в каждом изображении, исследователи из Sony AI предложили случайным образом маскировать до 75% участков изображения во время обучения.
Применяется стратегия отложенного маскирования, которая предварительно обрабатывает все участки с помощью
микшера участков перед маскированием, тем самым значительно снижая ухудшение производительности процесса. Для оптимизации вычислительных затрат данный подход со работает лучше, чем уменьшение масштаба модели.
В исследование также включили последние
улучшения в архитектуре трансформеров, такие как использование слоев с mixture of experts (MoE),чтобы улучшить производительность и убедиться в важности использования синтетических изображений для уменьшения затрат на обучение.
Какие результаты?
Используя только 37 млн изображений (22 млн реальных + 15 млн синтетических), была обучена модель типа "sparse transformer" с 1,16 млрд параметров.
На обучение было потрачено всего 1890$ !
Была достигнута производительность 12,7 FID при zero shot learning на наборе данных COCO.
Примечательно, что модель достигает конкурентоспособного FID и высококачественных генераций, при этом требуя в 118 раз меньших затрат, чем стабильные диффузионные модели, и в 14 раз меньших затрат, чем текущий современный подход, который стоит 28400$
🔍 Технические детали:
• Архитектура: sparse DiT-XL/2 трансформер
• Вычисления: 8×H100 GPU на 2,6 дня тренировки
• VAE: использование как SDXL-VAE (4 канала), так и Ostris-VAE (16 каналов)
• Патч-миксер перед трансформером + маскирование 75% патчей
• Обучение: 280K шагов на 256×256, затем 55K шагов на 512×512
• Размер батча: 2048, с применением центрального кропа
📊 Доступные предобученные модели:
1. MicroDiT_XL_2 на 22 млн реальных изображениях (FID 12.72)
2. MicroDiT_XL_2 на 37 млн изображениях (FID 12.66) с SDXL-VAE
3. MicroDiT_XL_2 на 37 млн изображениях (FID 13.04) с Ostris-VAE
4. MicroDiT_XL_2 на 490 млн синтетических изображениях (FID 13.26)
💻 Репозиторий содержит полный код, включая обработку датасетов и тренировочные конфиги для каждого этапа
🔗 Статья
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥21👍4😐1
🤗 HuggingFace model atlas
ИИследователи из Израиля создали Model Atlas — инструмент, с помощью которого они изучили миллионы нейросетей на Hugging Face.
Зачем?
Сегодня в открытом доступе миллионы моделей нейросетей, и выбрать подходящую — целая задача. Новый атлас решает её, показывая все связи между моделями в виде понятного графа: узлы — это нейросети, а ребра — отношения (например, файнтюнинг, квантование, слияние).
Самое интересное из атласа:
• NLP-модели (языковые нейросети) активно файнтюнятся и объединяются в сложные цепочки, постоянно эволюционируя.
• Модели для компьютерного зрения в основном остаются простыми и «прямыми наследниками» базовых моделей.
• Квантование (уменьшение размера модели) очень популярно у языковых нейросетей и почти не используется для компьютерного зрения.
• Генеративные нейросети активно применяют адаптеры (например, LoRA), дискриминативные же чаще полностью переобучают.
• Более половины моделей на Hugging Face плохо описаны или не документированы совсем. Атлас умеет эффективно заполнять такие пробелы.
И что?
Атлас в его текущем виде - это произведение искусства. Можно часами залипать в связи между моделями! В будущем авторы хотят дополнить его новыми типами связей (дистилляция, интеллектуальная собственность) и расширить на другие платформы.
🌐 Интерактивный атлас
📄 Оригинальная статья на arXiv
ИИследователи из Израиля создали Model Atlas — инструмент, с помощью которого они изучили миллионы нейросетей на Hugging Face.
Зачем?
Сегодня в открытом доступе миллионы моделей нейросетей, и выбрать подходящую — целая задача. Новый атлас решает её, показывая все связи между моделями в виде понятного графа: узлы — это нейросети, а ребра — отношения (например, файнтюнинг, квантование, слияние).
Самое интересное из атласа:
• NLP-модели (языковые нейросети) активно файнтюнятся и объединяются в сложные цепочки, постоянно эволюционируя.
• Модели для компьютерного зрения в основном остаются простыми и «прямыми наследниками» базовых моделей.
• Квантование (уменьшение размера модели) очень популярно у языковых нейросетей и почти не используется для компьютерного зрения.
• Генеративные нейросети активно применяют адаптеры (например, LoRA), дискриминативные же чаще полностью переобучают.
• Более половины моделей на Hugging Face плохо описаны или не документированы совсем. Атлас умеет эффективно заполнять такие пробелы.
И что?
Атлас в его текущем виде - это произведение искусства. Можно часами залипать в связи между моделями! В будущем авторы хотят дополнить его новыми типами связей (дистилляция, интеллектуальная собственность) и расширить на другие платформы.
🌐 Интерактивный атлас
📄 Оригинальная статья на arXiv
🔥46❤12👍8😐2
This media is not supported in your browser
VIEW IN TELEGRAM
🪰 FlyWire — ИИ-карта мозга мушки-дрозофилы
Нейробиологи и ИИ-исследователи из Принстона, Allen Institute, Google и других ведущих институтов создали самую подробную карту мозга взрослой мушки-дрозофилы. Проект FlyWire объединил силу нейросетей и тысячи часов работы ученых-добровольцев, чтобы построить полноценный коннектом (карту нейронных связей).
Зачем это нужно?
Дрозофилы просты, но их мозг работает по похожим принципам, что и у человека. Изучая эту нейронную сеть, можно понять базовые механизмы восприятия, принятия решений и поведения.
Чем крут FlyWire:
• 🧠 140 тысяч нейронов и 50+ миллионов синапсов уже картированы и размечены вручную экспертами и волонтерами.
• 🧬 Впервые доступна информация о типах нейромедиаторов для почти всех нейронов.
• 🔎 Более 100 тысяч аннотаций сделаны сотнями нейробиологов и краудсорсеров со всего мира.
• 🌐 Данные полностью открыты — любой может изучать и использовать карту с помощью интерактивного инструмента Codex.
И что дальше?
FlyWire — это не просто карта мозга, это платформа для новых исследований, которая уже помогла понять, как дрозофилы видят, чувствуют вкус, принимают решения и двигаются.
🕹️ Попробовать FlyWire Connectome можно тут: FlyWire.ai
Нейробиологи и ИИ-исследователи из Принстона, Allen Institute, Google и других ведущих институтов создали самую подробную карту мозга взрослой мушки-дрозофилы. Проект FlyWire объединил силу нейросетей и тысячи часов работы ученых-добровольцев, чтобы построить полноценный коннектом (карту нейронных связей).
Зачем это нужно?
Дрозофилы просты, но их мозг работает по похожим принципам, что и у человека. Изучая эту нейронную сеть, можно понять базовые механизмы восприятия, принятия решений и поведения.
Чем крут FlyWire:
• 🧠 140 тысяч нейронов и 50+ миллионов синапсов уже картированы и размечены вручную экспертами и волонтерами.
• 🧬 Впервые доступна информация о типах нейромедиаторов для почти всех нейронов.
• 🔎 Более 100 тысяч аннотаций сделаны сотнями нейробиологов и краудсорсеров со всего мира.
• 🌐 Данные полностью открыты — любой может изучать и использовать карту с помощью интерактивного инструмента Codex.
И что дальше?
FlyWire — это не просто карта мозга, это платформа для новых исследований, которая уже помогла понять, как дрозофилы видят, чувствуют вкус, принимают решения и двигаются.
🕹️ Попробовать FlyWire Connectome можно тут: FlyWire.ai
🔥36👍10❤3😐2
Media is too big
VIEW IN TELEGRAM
Зиппи: робот-шеф, меняющий кулинарию 🍳
Встречайте Зиппи - робота-шефа, который может перевернуть высокую кухню с ног на голову.
- Уже впечатляет шеф-поваров со звездами Мишлен
- ИИ обучен на более чем 5 миллионах рецептов
- Осваивает ЛЮБОЕ новое блюдо всего по ОДНОЙ демонстрации эксперта
- Легко интегрируется в любую профессиональную кухню
Представьте: блюда от лучших шеф-поваров со звездами Мишлен — идеально воспроизведенные Зиппи, каждый раз!
Внутри "мозга" Зиппи:
↳ Продвинутое мультимодальное восприятие
↳ Активное моделирование теплопередачи (как у мастеров!)
↳ Самоадаптация к ЛЮБОЙ кухонной среде
↳ 91% автономности и постоянное обучение
Приятного AIпетита! 🤖🍽️
▶️ Видео
🍽️ Блог
Встречайте Зиппи - робота-шефа, который может перевернуть высокую кухню с ног на голову.
- Уже впечатляет шеф-поваров со звездами Мишлен
- ИИ обучен на более чем 5 миллионах рецептов
- Осваивает ЛЮБОЕ новое блюдо всего по ОДНОЙ демонстрации эксперта
- Легко интегрируется в любую профессиональную кухню
Представьте: блюда от лучших шеф-поваров со звездами Мишлен — идеально воспроизведенные Зиппи, каждый раз!
Внутри "мозга" Зиппи:
↳ Продвинутое мультимодальное восприятие
↳ Активное моделирование теплопередачи (как у мастеров!)
↳ Самоадаптация к ЛЮБОЙ кухонной среде
↳ 91% автономности и постоянное обучение
Приятного AIпетита! 🤖🍽️
🍽️ Блог
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥19👍14😁7😐6
AI для Всех
Вечер в Сиэтле Вечером 17ого марта буду в Сиэтле, готов организовать пиво 🍻 Если есть кто-то, добавляйтесь! https://partiful.com/e/gAwx8xRvwgw8myZ2So0r
🍻 Напоминаю про завтрашний вечер в Сиэтле!
Уже завтра (17 марта) встретимся на пиво, пообщаться и отлично провести время. Если кто-то ещё хочет присоединиться, сейчас самое время отметить себя по ссылке ниже 👇
📍Ссылка на встречу
До встречи завтра!
Уже завтра (17 марта) встретимся на пиво, пообщаться и отлично провести время. Если кто-то ещё хочет присоединиться, сейчас самое время отметить себя по ссылке ниже 👇
📍Ссылка на встречу
До встречи завтра!
Partiful
St Patrick’s in Seattle | Partiful
Пиво с ИИ для всех
👍8😁2❤1🔥1
Чат: расскажите все что знаете про ELO. Его только для выявления лучших игроков используют? Преимущества перед другими методами? Значимые модификации? Что лучше придумали? Подводные камни? Вообщем все что знаете!
❤3👍1
Zochi и эра конкуренции среди ИИ-учёных: ИИ сам придумывает гипотезы, методы и... сам себя оценивает
ИИ уже не просто отвечает на вопросы, а он задаёт их сам, не помогает учёным, а становится ИИ-учёным. Вышел технический репорт о Zochi от Intology, работы которого тоже приняты на воркшопы ICLR 2025. Но есть нюанс (он в конце).
Вот научные труды Zochi:
1. CS-ReFT: без конфликтов навыков
Проблема: при адаптации моделей к нескольким задачам возникают конфликты - прокачка одного навыка ухудшает другие.
Zochi нашёл решение: не трогаем веса, вместо этого редактируем скрытые представления модели. Метод называется CS-ReFT (Compositional Subspace Representation Fine-tuning): каждое умение живёт в своём ортогональном подпространстве, и объединяются через лёгкий роутер.
Результаты:
• Llama-2-7B + CS-ReFT обошёл GPT-3.5-Turbo (93.94% побед против 86.3%);
• Использовано всего 0.0098% параметров модели. Почти бесплатно.
Рецензии 6, 7 и 6 баллов, в саммари идея названа «умной» и отмечено эффективное устранение «критического ограничения ReFT».
2. Siege: тестирование LLM на уязвимости
Проблема:
Zochi изучил безопасность LLM и сфокусировался на новой области: многоходовые атаки (multi-turn jailbreaking).
Zochi обнаружил, что модели иногда выдают кусочки запрещённой информации, делая вид, что всё под контролем, т.е формально соблюдая правила. Он назвал это «частичным подчинением».
Чтобы такие штуки ловить и использовать, Zochi в качестве решения придумал Siege - фреймворк, который атакует LLM по ветвям диалога с помощью деревьев поиска. Эффективно и с минимальными затратами.
Результаты:
• GPT-3.5-Turbo: взломан в 100% попыток;
• GPT-4: взломан в 97%;
• Запросов меньше, чем у любых других методов.
Рецензенты поставили высокие 7 и 7 баллов (интересно, что случилось с 3м ревьером?), и советуют «пересмотеть текущие стратегии защиты ИИ».
3. EGNN-Fusion: биология, но вычислительно эффективная
Intology показали универсальности Zochi на задаче биоинформатики.
Проблема: предсказать сайты связывания белков с нуклеиновыми кислотами.
Решение: EGNN-Fusion — компактная и быстрая архитектура, в которой на 95% меньше параметров, чем у аналогов, а точность на уровне лучших решений.
Результат:
Сравнимая с SOTA-методами точность, при этом значительно ниже вычислительная нагрузка.
Работа завершена позже дедлайна ICLR, находится на рецензии в журнале.
Обещанный нюанс:
Тон и метрики репорта искажает восприятие. Надеюсь, что это не манипуляция, но выглядит не очень этично.
Авторы приводят комментарии рецензентов воркшопа ICLR (т.е. людей), но сравнивают себя с другими ИИ-системами на основе оценок автоматического рецензента NeurIPS, т.е. ИИ. Тот же AI Scientist v2 получил 6,33 балла по оценкам людей на воркшопе, а не меньше 4 баллов, как на первом графике. Не скромненько.
Но усилия точно на пользу науке. По моему непрошенному мнению, любопытно научить их писать заявки на гранты и сравнить на основе метрики, сколько ИИ-ученые поднимут денег на свои исследования (по аналогии с этим экспериментом).
Будет AI PI (principal investigator). И кому-то придется делиться кафедрой. Шутка. На самом деле, в академической среде агент, отвечающий за гранты облегчит всем жизнь. Но это уже совсем другая история.
И опять же, пока и так мого открытых вопросов: как правильно интегрировать ИИ в научное сообщество, кто автор этих научных открытий, как должна выглядеть верификация людьми, кто и как может использовать ИИ-ученых. Ведь наука не только про прогресс, но и про этику и ответственность.
📝Отчёт
🖥 Repo
ИИ уже не просто отвечает на вопросы, а он задаёт их сам, не помогает учёным, а становится ИИ-учёным. Вышел технический репорт о Zochi от Intology, работы которого тоже приняты на воркшопы ICLR 2025. Но есть нюанс (он в конце).
Вот научные труды Zochi:
1. CS-ReFT: без конфликтов навыков
Проблема: при адаптации моделей к нескольким задачам возникают конфликты - прокачка одного навыка ухудшает другие.
Zochi нашёл решение: не трогаем веса, вместо этого редактируем скрытые представления модели. Метод называется CS-ReFT (Compositional Subspace Representation Fine-tuning): каждое умение живёт в своём ортогональном подпространстве, и объединяются через лёгкий роутер.
Результаты:
• Llama-2-7B + CS-ReFT обошёл GPT-3.5-Turbo (93.94% побед против 86.3%);
• Использовано всего 0.0098% параметров модели. Почти бесплатно.
Рецензии 6, 7 и 6 баллов, в саммари идея названа «умной» и отмечено эффективное устранение «критического ограничения ReFT».
2. Siege: тестирование LLM на уязвимости
Проблема:
Zochi изучил безопасность LLM и сфокусировался на новой области: многоходовые атаки (multi-turn jailbreaking).
Zochi обнаружил, что модели иногда выдают кусочки запрещённой информации, делая вид, что всё под контролем, т.е формально соблюдая правила. Он назвал это «частичным подчинением».
Чтобы такие штуки ловить и использовать, Zochi в качестве решения придумал Siege - фреймворк, который атакует LLM по ветвям диалога с помощью деревьев поиска. Эффективно и с минимальными затратами.
Результаты:
• GPT-3.5-Turbo: взломан в 100% попыток;
• GPT-4: взломан в 97%;
• Запросов меньше, чем у любых других методов.
Рецензенты поставили высокие 7 и 7 баллов (интересно, что случилось с 3м ревьером?), и советуют «пересмотеть текущие стратегии защиты ИИ».
3. EGNN-Fusion: биология, но вычислительно эффективная
Intology показали универсальности Zochi на задаче биоинформатики.
Проблема: предсказать сайты связывания белков с нуклеиновыми кислотами.
Решение: EGNN-Fusion — компактная и быстрая архитектура, в которой на 95% меньше параметров, чем у аналогов, а точность на уровне лучших решений.
Результат:
Сравнимая с SOTA-методами точность, при этом значительно ниже вычислительная нагрузка.
Работа завершена позже дедлайна ICLR, находится на рецензии в журнале.
Обещанный нюанс:
Тон и метрики репорта искажает восприятие. Надеюсь, что это не манипуляция, но выглядит не очень этично.
Авторы приводят комментарии рецензентов воркшопа ICLR (т.е. людей), но сравнивают себя с другими ИИ-системами на основе оценок автоматического рецензента NeurIPS, т.е. ИИ. Тот же AI Scientist v2 получил 6,33 балла по оценкам людей на воркшопе, а не меньше 4 баллов, как на первом графике. Не скромненько.
Но усилия точно на пользу науке. По моему непрошенному мнению, любопытно научить их писать заявки на гранты и сравнить на основе метрики, сколько ИИ-ученые поднимут денег на свои исследования (по аналогии с этим экспериментом).
Будет AI PI (principal investigator). И кому-то придется делиться кафедрой. Шутка. На самом деле, в академической среде агент, отвечающий за гранты облегчит всем жизнь. Но это уже совсем другая история.
И опять же, пока и так мого открытых вопросов: как правильно интегрировать ИИ в научное сообщество, кто автор этих научных открытий, как должна выглядеть верификация людьми, кто и как может использовать ИИ-ученых. Ведь наука не только про прогресс, но и про этику и ответственность.
📝Отчёт
Please open Telegram to view this post
VIEW IN TELEGRAM
👍32❤18🔥7