AI для Всех
15K subscribers
1.31K photos
180 videos
11 files
1.51K links
Канал, в котором мы говорим про искусственный интеллект простыми словами

Главный редактор и по рекламе: @crimeacs

Иногда пишут в канал: @GingerSpacetail, @innovationitsme
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Без математики в мире искусственного интеллекта никуда.

Однако стандартные учебные программы часто не дают никакой интуиции и визуального смысла.
В итоге остается использовать калькулятор и бежать, едва завидев формулы...

Проект Popmath решил исправить ситуацию и подготовил наполненные 2D и 3D анимациями 4-х месячные онлайн-курсы через Zoom, которые позволяют ознакомиться с предметом намного проще и побороть математическую тревожность:

🟧 [Математика для взрослых] — для желающих получить прочную математическую базу с полного нуля. Предварительные знания не требуются.

🟥 [Линейная алгебра] — для тех, кто хочет разобраться в предмете поглубже и выйти за рамки базовых знаний математики.

Старт групп: середина марта

Вопросы ➡️ @popmath_support

#реклама
😐11👍63
🚀💰 AI-революция в глобальной экономике: анализ годового письма Stripe 2024

Привет, друзья! Сегодня мы погрузимся в анализ свежего годового письма Stripe за 2024 год и убедимся, что AI трансформирует мировую экономику прямо у нас на глазах.

Эпоха AI-экономики наступила!

Stripe не стесняется называть происходящее настоящим "AI-бумом" — и неспроста! Всё больше компаний перестраивают свои бизнес-модели вокруг больших языковых моделей (LLM) и других прорывных технологий машинного обучения. Это касается не только гигантов уровня OpenAI или Anthropic, но и стартапов, которые буквально за считанные месяцы выходят на выручку в миллионы долларов.

Реальные примеры взрывного роста:

- Perplexity: AI-поисковик, обрабатывающий сотни миллионов запросов ежемесячно (основан в 2022 году)
- Cursor: интегрированная с AI-инструментами платформа для разработчиков (заработали $100M меньше чем за 3 года существования)
- Lovable и Bolt: стартапы, $17M за 3 месяца и $20М за 2 месяца соответственно
- Специализированные решения: AI-помощники в медицине (Abridge, Nabla), недвижимости (Studeo), дизайне (SketchPro) и других областях

AI-агенты: новый рубеж финансовых технологий

Одна из самых, на мой взгляд, взрывных разработок Stripe — создание инфраструктуры для "агентных" платежных систем. AI-системы уже самостоятельно проводят транзакции (Perplexity и Payman) в рамках заданных лимитов и правил — без непосредственного участия человека!

Это открывает захватывающие возможности:
- Автоматическое пополнение складских запасов
- "Умное" продление подписок
- Оптимизация регулярных бизнес-расходов
- Мгновенная оплата услуг от имени пользователя (с его разрешения)

AI как двигатель традиционного бизнеса

Искусственный интеллект помогает не только в сфере технологий. Stripe годами использует вполне себе классические ML-модели для:
- Борьбы с мошенничеством (например, Radar, который автоматически выявляет подозрительные транзакции)
- Повышения конверсии платежей (умные алгоритмы снижают количество отказов при оплате)
- Оптимизации финансовых потоков

Даже старейшие и консервативные организации присоединяются к цифровой трансформации! Университет Оксфорда, Англиканская церковь, гиганты вроде Hershey и PepsiCo внедряют интеллектуальные платежные системы и видят результаты: выше уровень авторизаций, меньше отказов, больше выручка.

Другие ключевые тренды из письма Stripe

Stablecoins: будущее глобальных финансов
Stripe уверен, что стабильные криптовалюты станут следующей ступенью эволюции денег:
- Ускорят и удешевят международные переводы
- Обеспечат доступ к доллару в странах с нестабильной экономикой
- Создадут фундамент для новых финансовых операций в глобальном масштабе

Вертикальные SaaS-платформы для малого бизнеса
Растет популярность узкоспециализированных решений:
- Интегрированные платформы для ресторанов, клиник, салонов красоты, пиццерий и тп
- Комбинация платежей, CRM, логистики и AI в едином интерфейсе
- Возможность запустить бизнес буквально за недели, а не месяцы

Экономические вызовы Европы 🇪🇺
Письмо затрагивает разрыв в продуктивности между США и Европой:
- Необходимость снижения бюрократических барьеров
- Создание более благоприятной среды для стартапов
- Реформы для привлечения венчурного капитала

Взгляд в будущее: AI меняет всё прямо сейчас

Stripe прогнозирует, что 2025 год станет переломным для AI-экономики. Мы увидим:
- Еще больше предпринимателей, делающих ставку на AI-решения
- Прорыв в повседневных сервисах с интеллектуальными помощниками
- Формирование принципиально новых бизнес-моделей и рынков

Очень рекомендую прочитать письмо целиком!
🔥16😐5😁3😱32👍2
AI для Всех
Прогнозирование будущего с помощью языковых моделей 🤖📈 Друзья, сегодня поговорим о прогнозировании будущего с помощью больших языковых моделей (LLM). Исследователи показали как можно скомбинировать силу чисел и контекста! 🔍 Ключевой прорыв До недавнего…
This media is not supported in your browser
VIEW IN TELEGRAM
🔮LLM для предсказания будущего

Наконец-то история получила публичное продолжение!

Исследователи создали метод LLM Processes (LLMP), который позволяет языковым моделям делать числовые прогнозы с оценкой неопределённости.

Как это работает простыми словами:

1. Берём обычную языковую модель (Claude, GPT, Llama) без дополнительного обучения

2. Показываем ей известные данные в виде пар "координата, значение"
   1, 5.4
2, 6.2
3, 7.1

3. Задаем контекст, например
это цены акций компании, которая скоро обанкротится


4. Просим предсказать следующие значения и собираем множество ответов

5. Получаем распределение вероятностей так:
- Просим модель сгенерировать ~50 различных предсказаний для одной точки
- Из полученных значений вычисляем медиану (вероятный результат)
- Определяем 10% и 90% перцентили (границы неопределенности)
- Строим график, где показываем не только линию прогноза, но и "облако" возможных значений

Удивительно, но такой простой подход работает на уровне специализированных алгоритмов для прогнозирования, демонстрирует scaling laws (это когда объем вычислений соответствует финальной ошибке, я проверял), а добавление текста реально влияет на предсказания - модель "понимает", что если компания обанкротится, график должен идти вниз!

Это открывает новые возможности для всех, кому нужны числовые прогнозы, но кто не хочет углубляться в сложную математику.

Еще демо
😐43👍229😁2🔥1
🎧🏛️ ИИ-экскурсия в Азиатском художественном музее

Сегодня я открыл для себя будущее музейных экскурсий, и теперь просто обязан этим поделиться! 🔥

Я посетил Азиатский художественный музей в Сан-Франциско, но вместо стандартного аудиогида или экскурсовода использовал голосовой и видеорежим ChatGPT. Результат? Уникальный, полностью персонализированный тур, который превзошел все ожидания!

💬 Как это работало?
• Я надел свои AirPods Max и задал контекст:
📍 «Я на третьем этаже Азиатского художественного музея в Сан-Франциско»
• Включил видеорежим и просто направил камеру телефона на экспонаты.
• ИИ мгновенно определял артефакты и рассказывал их историю, как настоящий эксперт:
«Расскажи про эту статую Будды» – мгновенный ответ с деталями о стиле и эпохе!
«Чем японские хранители-львы отличаются от китайских?» – глубокий разбор культурных различий!
«Почему эти древние бронзовые сосуды такие массивные?» – исторический контекст и символика!

🔥 Почему это было так круто?

Полная интерактивность – никаких скучных, шаблонных лекций! Я спрашивал все, что мне хотелось и углублялся в темы, которые мне действительно интересны (например, мы с ChatGPT зарубились минут на 10 в обсуждение того, откуда появились драконы в китайской мифологии 🐉).

Абсолютная свобода передвижения – не нужно отвлекаться на поиск информации или печатание вопросов. Просто гуляешь и разговариваешь с ИИ, как с персональным экскурсоводом!

🚀 Будущее экскурсий уже здесь!

Получается, что теперь в каждом музее мира можно получить персонального гида, который понимает ваши интересы, отвечает на вопросы и адаптируется под ваш темп осмотра.

💰 Цена вопроса? Всего $20 в месяц – и у вас в кармане умный помощник, заменяющий дорогостоящие экскурсии.

🎭 Лувр, Эрмитаж, Британский музей – с таким ИИ-ассистентом посещение музеев превращается в настоящее вдохновляющее приключение, а не просто просмотр табличек с датами.

📢 А вы бы попробовали ИИ-гид в музее? Делитесь в комментариях! Какой музей мечтаете посетить с такой технологией? Как бы вы развили эту тему дальше?
👍47🔥3316😐4
Media is too big
VIEW IN TELEGRAM
Офигенный workflow от аниматора Cuco

Это как раз идеальный пример, как художник может использовать AI для упрощения процессов не особо теряя в качестве.

-- Тут обучение Лоры на своих артах, особенно когда их мало.

-- Создание всего окружения в своём стиле + создание простых сцен. Я делал что-то похожее здесь.

-- Создание простых анимаций использую только линии и затем Lineart на своей Лоре чтобы сделать финальную картинку.

-- Далее AnimateDiff с Lineart ControlNet для сцен + Лора. И вот уже у нас офигенные слои, которые можно будем потом композить.

Автор: LINK
👍19🔥165😐2
ChatGPT кушает поиск?

Интересная статистика от Vercel: ChatGPT уже генерирует 4.8% всех новых регистраций и этот показатель растёт крайне быстро (менее полугода назад было всего около 1%). Но важно понимать, что это не значит, будто ChatGPT напрямую вытесняет Google. Скорее, люди начали искать и спрашивать о таких вещах, о которых без ChatGPT они бы просто не подумали или поленились бы сформулировать вопрос в Google.

Таким образом, ChatGPT скорее дополняет привычный поиск, расширяя границы (и market size) того, что мы вообще готовы спрашивать и узнавать.

Кстати, SEO-оптимизация специально для генеративного поиска — это сейчас крутая и практически незанятая ниша. Кто первый её освоит, получит огромное преимущественное место на рынке.

X
18🎉8👍4😐3
AI для Всех
ChatGPT кушает поиск? Интересная статистика от Vercel: ChatGPT уже генерирует 4.8% всех новых регистраций и этот показатель растёт крайне быстро (менее полугода назад было всего около 1%). Но важно понимать, что это не значит, будто ChatGPT напрямую вытесняет…
SEO для генеративного поиска — что важно знать прямо сейчас

В догонку к предыдущему посту я заинтересовался, как оптимизировать сайты под AI-поиск и провел небольшой рисерч с помощью Grok. Вот ключевые рекомендации:

1. Разрешите AI-краулерам доступ — убедитесь, что ваш сайт индексируется ботами, такими как OAI-SearchBot (ChatGPT). Это увеличит шанс попадания вашего контента в ответы AI.

2. Высококачественный и релевантный контент — AI модели предпочитают чёткий, структурированный контент, отвечающий на запросы пользователей максимально полно и точно.

3. Структурируйте контент ясно — используйте заголовки, списки и логичную подачу, чтобы облегчить AI извлечение информации и представление её пользователю.

4. Используйте структурированные данные (schema markup) — это помогает AI лучше распознавать и ранжировать ваш контент.

5. Отслеживайте AI-рефералы — применяйте аналитику для отслеживания трафика от AI-сервисов, таких как ChatGPT, чтобы понимать эффективность ваших действий.

Кто знает еще какие то важные нюансы - делитесь!

Полное исследование тут
🔥22😐10👍42
Вечер в Сиэтле

Вечером 17ого марта буду в Сиэтле, готов организовать пиво 🍻

Если есть кто-то, добавляйтесь!

https://partiful.com/e/gAwx8xRvwgw8myZ2So0r
🔥6👍3😐31😱1
AI + Наука: как 1500 учёных использовали искусственный интеллект, чтобы ускорить исследования 🧪🤖

Вернёмся к истокам нашего канала: что происходит, когда ведущие учёные получают доступ к новейшему искусственному интеллекту?

Первая в истории AI-сессия для учёных 🔬💻

28 февраля 2025 года OpenAI и Министерство энергетики США организовали беспрецедентное мероприятие: около 1500 ведущих учёных из 9 национальных лабораторий собрались вместе, чтобы проверить, насколько AI может ускорить научные исследования.

Учёные использовали передовые модели OpenAI (включая новую модель o3-mini), задав за один день более 4000 научных вопросов и написав свыше 20 000 AI-промптов!

Что конкретно изучали учёные? 🔍🧠

Исследователи не тратили время зря и сразу взялись за реальные задачи, имеющие огромное значение для общества:
• Определение бактерий для разработки новых лекарств и натуральных пестицидов 🦠
• Повышение кибербезопасности энергетических сетей 🔐
• Усовершенствование исследований в области ядерной энергии ⚛️
• Развитие квантовой механики для улучшения МРТ и лазерной хирургии 🔬
• Повышение точности прогнозов погоды и ядерной криминалистики 🌦️

Учёные отметили, что применение искусственного интеллекта значительно ускорило решение задач, с которыми ранее они сталкивались месяцами.

Реальные выводы и результаты 📊

Президент OpenAI Грег Брокман и министр энергетики США Крис Райт подчеркнули, что развитие AI сейчас напоминает «Манхэттенский проект» по масштабу и важности. По их мнению, такая коллаборация — залог технологического лидерства США.

Главный экономист OpenAI Ронни Чаттерджи добавил важную мысль: «AI максимально повлияет на продуктивность, когда даст учёным возможность делать открытия, которых раньше не было, и успешно применять их на практике».

Что дальше? 🚀🔭

Это событие — только начало масштабного сотрудничества между OpenAI и национальными лабораториями.

Главная цель этих усилий — не просто развитие технологий, а значительное улучшение жизни людей благодаря новым научным открытиям, улучшению медицины, образованию и безопасности (ну и гос контракты конечно).

Ссылка 1
Ссылка 2

А как вы считаете, какие научные открытия стоит ускорить с помощью AI? Делитесь мнениями в комментариях! 💬👇
🔥22👍104😐3
ИИ-учёный на ведущей МЛ конференции: статья прошла слепое рецензирование на воркшоп ICLR 2025

Японская компания Sakana AI продолжает совершенствовать своего AI Scientist, о котором мы писали раньше, способного полностью автоматизировать научные исследования. Недавно одна из статей, от и до созданная AI Scientist v2, прошла процесс слепого рецензирования на воркшопе ICLR 2025 — одной из трёх ведущих конференций в области машинного обучения.

Как это произошло?

The AI Scientist самостоятельно сгенерировал научную гипотезу, предложил эксперименты для её проверки, написал и отладил код, провёл эксперименты, проанализировал данные, визуализировал результаты и полностью написал научную статью — от заголовка до списка литературы. Человеческое вмешательство ограничивалось лишь выбором общей темы исследования и отбором трёх лучших статей для подачи.

Результаты рецензирования

Из трёх поданных статей одна получила среднюю оценку 6,33, что превышает порог для принятия на воркшопе ICLR 2025. Оценки рецензентов были следующими:
• 6: Немного выше порога принятия
• 7: Хорошая статья, принять
Это означает, что статья, созданная ИИ, была оценена на уровне или выше многих статей, написанных людьми.

Этические аспекты

Не волнуйтесь, рецензенты были уведомлены, что 3 из 43 статей могут быть сгенерированы ИИ, но не знали, какие именно работы они рецензируют. В рамках эксперимента было заранее решено, что даже в случае принятия статьи, она будет отозвана до публикации, учитывая, что она полностью создана ИИ. Это потому что в научном сообществе ещё нет консенсуса о правилах публикации подобных работ.

Что дальше?

Sakana AI продолжает совершенствовать The AI Scientist и планирует расширять его применение в различных областях науки. Этот эксперимент, безусловно, ставит перед нами важные вопросы о будущем научных исследований и роли ИИ в них. Возможно, настало время пересмотреть наши критерии публикаций, сосредоточившись на их полезности для человечества.

🌐Repo
🐯Статья
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25🔥126🤯6😐1
Трансформеры без нормализации

В свежей статье от марта 2025 года исследователи из Meta, MIT, NYU и Принстона предложили простой способ сделать трансформеры эффективнее, отказавшись от классических слоев нормализации.

Вместо привычных LayerNorm авторы предлагают использовать Dynamic Tanh (DyT): tanh(αx), где α — обучаемый параметр.

Почему это интересно

Обычно нормализация необходима, чтобы стабилизировать обучение нейросетей, однако она требует дополнительных вычислений. Оказалось, что DyT не только сохраняет качество трансформеров, но и немного ускоряет их инференс и обучение, примерно на 7%.

Что заметили авторы

Внимательно изучив работу слоев нормализации, исследователи увидели, что они ведут себя как S-образные (сигмоидные) функции, похожие на tanh. Оказывается, что важнее всего в нормализации оказалось именно нелинейное подавление экстремальных значений активаций (squashing).

Что это даёт на практике

DyT успешно заменяет нормализацию во многих типах трансформеров:
• Vision Transformers
• Языковые модели (включая модели с 70 млрд параметров)
• Диффузионные модели
• Распознавание речи
• Геномные модели

Исследование с кодом доступно на странице проекта и в статье
🔥44👍81😐1
Как обучить диффузионную модель с нуля за $1890?


Законы масштабирования в генеративном ИИ повышают производительность, но есть ньюанс: разработка моделей концентрируется среди игроков с большими вычислительными ресурсами.

Поскольку стоимость обучения text-to-image трансформера растет с количеством участков в каждом изображении, исследователи из Sony AI предложили случайным образом маскировать до 75% участков изображения во время обучения.

Применяется стратегия отложенного маскирования, которая предварительно обрабатывает все участки с помощью
микшера участков перед маскированием, тем самым значительно снижая ухудшение производительности процесса. Для оптимизации вычислительных затрат данный подход со работает лучше, чем уменьшение масштаба модели.

В исследование также включили последние
улучшения в архитектуре трансформеров, такие как использование слоев с mixture of experts (MoE),чтобы улучшить производительность и убедиться в важности использования синтетических изображений для уменьшения затрат на обучение.

Какие результаты?

Используя только 37 млн изображений (22 млн реальных + 15 млн синтетических), была обучена модель типа "sparse transformer" с 1,16 млрд параметров.

На обучение было потрачено всего 1890$ !

Была достигнута производительность 12,7 FID при zero shot learning на наборе данных COCO.

Примечательно, что модель достигает конкурентоспособного FID и высококачественных генераций, при этом требуя в 118 раз меньших затрат, чем стабильные диффузионные модели, и в 14 раз меньших затрат, чем текущий современный подход, который стоит 28400$


🔍 Технические детали:
• Архитектура: sparse DiT-XL/2 трансформер
• Вычисления: 8×H100 GPU на 2,6 дня тренировки
• VAE: использование как SDXL-VAE (4 канала), так и Ostris-VAE (16 каналов)
• Патч-миксер перед трансформером + маскирование 75% патчей
• Обучение: 280K шагов на 256×256, затем 55K шагов на 512×512
• Размер батча: 2048, с применением центрального кропа

📊 Доступные предобученные модели:
1. MicroDiT_XL_2 на 22 млн реальных изображениях (FID 12.72)
2. MicroDiT_XL_2 на 37 млн изображениях (FID 12.66) с SDXL-VAE
3. MicroDiT_XL_2 на 37 млн изображениях (FID 13.04) с Ostris-VAE
4. MicroDiT_XL_2 на 490 млн синтетических изображениях (FID 13.26)

💻 Репозиторий содержит полный код, включая обработку датасетов и тренировочные конфиги для каждого этапа

🔗 Статья

4️⃣ GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥21👍4😐1
This media is not supported in your browser
VIEW IN TELEGRAM
AGI уже близко, говорили они 😊


Отличных выходных всем!


#юмор
😁66😐15👍3😢2
🤗 HuggingFace model atlas

ИИследователи из Израиля создали Model Atlas — инструмент, с помощью которого они изучили миллионы нейросетей на Hugging Face.

Зачем?

Сегодня в открытом доступе миллионы моделей нейросетей, и выбрать подходящую — целая задача. Новый атлас решает её, показывая все связи между моделями в виде понятного графа: узлы — это нейросети, а ребра — отношения (например, файнтюнинг, квантование, слияние).

Самое интересное из атласа:

• NLP-модели (языковые нейросети) активно файнтюнятся и объединяются в сложные цепочки, постоянно эволюционируя.
• Модели для компьютерного зрения в основном остаются простыми и «прямыми наследниками» базовых моделей.
• Квантование (уменьшение размера модели) очень популярно у языковых нейросетей и почти не используется для компьютерного зрения.
• Генеративные нейросети активно применяют адаптеры (например, LoRA), дискриминативные же чаще полностью переобучают.
• Более половины моделей на Hugging Face плохо описаны или не документированы совсем. Атлас умеет эффективно заполнять такие пробелы.

И что?

Атлас в его текущем виде - это произведение искусства. Можно часами залипать в связи между моделями! В будущем авторы хотят дополнить его новыми типами связей (дистилляция, интеллектуальная собственность) и расширить на другие платформы.

🌐 Интерактивный атлас
📄 Оригинальная статья на arXiv
🔥4612👍8😐2
This media is not supported in your browser
VIEW IN TELEGRAM
🪰 FlyWire — ИИ-карта мозга мушки-дрозофилы

Нейробиологи и ИИ-исследователи из Принстона, Allen Institute, Google и других ведущих институтов создали самую подробную карту мозга взрослой мушки-дрозофилы. Проект FlyWire объединил силу нейросетей и тысячи часов работы ученых-добровольцев, чтобы построить полноценный коннектом (карту нейронных связей).

Зачем это нужно?

Дрозофилы просты, но их мозг работает по похожим принципам, что и у человека. Изучая эту нейронную сеть, можно понять базовые механизмы восприятия, принятия решений и поведения.

Чем крут FlyWire:

🧠 140 тысяч нейронов и 50+ миллионов синапсов уже картированы и размечены вручную экспертами и волонтерами.
🧬 Впервые доступна информация о типах нейромедиаторов для почти всех нейронов.
🔎 Более 100 тысяч аннотаций сделаны сотнями нейробиологов и краудсорсеров со всего мира.
🌐 Данные полностью открыты — любой может изучать и использовать карту с помощью интерактивного инструмента Codex.

И что дальше?

FlyWire — это не просто карта мозга, это платформа для новых исследований, которая уже помогла понять, как дрозофилы видят, чувствуют вкус, принимают решения и двигаются.

🕹️ Попробовать FlyWire Connectome можно тут: FlyWire.ai
🔥36👍103😐2
Media is too big
VIEW IN TELEGRAM
Зиппи: робот-шеф, меняющий кулинарию 🍳

Встречайте Зиппи - робота-шефа, который может перевернуть высокую кухню с ног на голову.

- Уже впечатляет шеф-поваров со звездами Мишлен
- ИИ обучен на более чем 5 миллионах рецептов
- Осваивает ЛЮБОЕ новое блюдо всего по ОДНОЙ демонстрации эксперта
- Легко интегрируется в любую профессиональную кухню

Представьте: блюда от лучших шеф-поваров со звездами Мишлен — идеально воспроизведенные Зиппи, каждый раз!

Внутри "мозга" Зиппи:
↳ Продвинутое мультимодальное восприятие
↳ Активное моделирование теплопередачи (как у мастеров!)
↳ Самоадаптация к ЛЮБОЙ кухонной среде
↳ 91% автономности и постоянное обучение


Приятного AIпетита! 🤖🍽️

▶️ Видео

🍽️ Блог
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥19👍14😁7😐6
AI для Всех
Вечер в Сиэтле Вечером 17ого марта буду в Сиэтле, готов организовать пиво 🍻 Если есть кто-то, добавляйтесь! https://partiful.com/e/gAwx8xRvwgw8myZ2So0r
🍻 Напоминаю про завтрашний вечер в Сиэтле!

Уже завтра (17 марта) встретимся на пиво, пообщаться и отлично провести время. Если кто-то ещё хочет присоединиться, сейчас самое время отметить себя по ссылке ниже 👇

📍Ссылка на встречу

До встречи завтра!
👍8😁21🔥1
Чат: расскажите все что знаете про ELO. Его только для выявления лучших игроков используют? Преимущества перед другими методами? Значимые модификации? Что лучше придумали? Подводные камни? Вообщем все что знаете!
3👍1
Zochi и эра конкуренции среди ИИ-учёных: ИИ сам придумывает гипотезы, методы и... сам себя оценивает

ИИ уже не просто отвечает на вопросы, а он задаёт их сам, не помогает учёным, а становится ИИ-учёным. Вышел технический репорт о Zochi от Intology, работы которого тоже приняты на воркшопы ICLR 2025. Но есть нюанс (он в конце).

Вот научные труды Zochi:

1. CS-ReFT: без конфликтов навыков

Проблема: при адаптации моделей к нескольким задачам возникают конфликты - прокачка одного навыка ухудшает другие.

Zochi нашёл решение: не трогаем веса, вместо этого редактируем скрытые представления модели. Метод называется CS-ReFT (Compositional Subspace Representation Fine-tuning): каждое умение живёт в своём ортогональном подпространстве, и объединяются через лёгкий роутер.

Результаты:
• Llama-2-7B + CS-ReFT обошёл GPT-3.5-Turbo (93.94% побед против 86.3%);
• Использовано всего 0.0098% параметров модели. Почти бесплатно.

Рецензии 6, 7 и 6 баллов, в саммари идея названа «умной» и отмечено эффективное устранение «критического ограничения ReFT».

2. Siege: тестирование LLM на уязвимости

Проблема:
Zochi изучил безопасность LLM и сфокусировался на новой области: многоходовые атаки (multi-turn jailbreaking).
Zochi обнаружил, что модели иногда выдают кусочки запрещённой информации, делая вид, что всё под контролем, т.е формально соблюдая правила. Он назвал это «частичным подчинением».

Чтобы такие штуки ловить и использовать, Zochi в качестве решения придумал Siege - фреймворк, который атакует LLM по ветвям диалога с помощью деревьев поиска. Эффективно и с минимальными затратами.

Результаты:
• GPT-3.5-Turbo: взломан в 100% попыток;
• GPT-4: взломан в 97%;
• Запросов меньше, чем у любых других методов.

Рецензенты поставили высокие 7 и 7 баллов (интересно, что случилось с 3м ревьером?), и советуют «пересмотеть текущие стратегии защиты ИИ».

3. EGNN-Fusion: биология, но вычислительно эффективная

Intology показали универсальности Zochi на задаче биоинформатики.
Проблема: предсказать сайты связывания белков с нуклеиновыми кислотами.

Решение: EGNN-Fusion — компактная и быстрая архитектура, в которой на 95% меньше параметров, чем у аналогов, а точность на уровне лучших решений.

Результат:
Сравнимая с SOTA-методами точность, при этом значительно ниже вычислительная нагрузка.

Работа завершена позже дедлайна ICLR, находится на рецензии в журнале.

Обещанный нюанс:
Тон и метрики репорта искажает восприятие. Надеюсь, что это не манипуляция, но выглядит не очень этично.

Авторы приводят комментарии рецензентов воркшопа ICLR (т.е. людей), но сравнивают себя с другими ИИ-системами на основе оценок автоматического рецензента NeurIPS, т.е. ИИ. Тот же AI Scientist v2 получил 6,33 балла по оценкам людей на воркшопе, а не меньше 4 баллов, как на первом графике. Не скромненько.

Но усилия точно на пользу науке. По моему непрошенному мнению, любопытно научить их писать заявки на гранты и сравнить на основе метрики, сколько ИИ-ученые поднимут денег на свои исследования (по аналогии с этим экспериментом).
Будет AI PI (principal investigator). И кому-то придется делиться кафедрой. Шутка. На самом деле, в академической среде агент, отвечающий за гранты облегчит всем жизнь. Но это уже совсем другая история.

И опять же, пока и так мого открытых вопросов: как правильно интегрировать ИИ в научное сообщество, кто автор этих научных открытий, как должна выглядеть верификация людьми, кто и как может использовать ИИ-ученых. Ведь наука не только про прогресс, но и про этику и ответственность.

📝Отчёт
🖥Repo
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3218🔥7