Как не вырастить ИИ-психопата

Стандартная схема обучения LLM работает как воспитание ребёнка: сначала он без фильтра впитывает всё из интернета (предобучение), а потом родитель или психотерапевт пытаются это исправить (RLHF/SFT). Исследователи из FAIR при Meta* предложили подход, при котором модель учится быть безопасной и придерживаться фактов с первых шагов предобучения, а не после того, как токсичность уже запечена в веса.

Проблема фундаментальна. Претрен это предсказание следующего токена на сырых данных из интернета. Модель без разбора учит, что «Земля плоская» это правдоподобное продолжение контекста, а токсичный ответ статистически нормальный. Посттрен (SFT, RLHF) пытается подавить эти паттерны, но работает как подорожник на переломе: поверхностный патч поверх глубоко укоренившихся привычек. Jailbreak-атаки регулярно доказывают: старые паттерны никуда не делись.

Self-Improving Pretraining заменяет пассивное предсказание токенов на активный цикл обучения с подкреплением прямо на этапе предобучения. Поток данных нарезается на префикс (контекст) и суффикс (128 токенов). Дальше работают три актора: модель-ученик генерирует продолжения, модель-учитель (Рерайтер) переписывает плохие суффиксы в качественные, а Судья оценивает.

Самое красивое здесь это автоматический план обучения. На старте ученик слаб, его генерации это бред. Судья выбирает рерайты учителя, и модель фактически делает SFT на синтетике. Но по мере обучения собственные генерации ученика растут в качестве, судья начинает выбирать их, и модель плавно переходит от имитации к самоулучшению. Никакого ручного переключения, всё определяется данными.

Результаты на Llama 2 1.4B (continual pretraining):

▪️ Качество генерации: win rate 86.3% против стандартного предобучения

▪️ Безопасность: 91.1% против 76.9% у бейзлайна, при обучении на нефильтрованном RedPajama с токсичным контентом

▪️ Следование фактам: относительное улучшение 36.2%, рост по всем бенчмаркам от TruthfulQA до FActScore

За качество приходится платить вычислениями: вместо одного прохода по тексту нужен инференс двух больших моделей-учителей на каждом шаге плюс генерация нескольких вариантов продолжения. Быстрее не станет, но результат того стоит. Есть и второй подвох: если учитель чего-то не замечает, ученик тоже не научится. А встроенные слепые пятна опаснее случайного мусора в данных, потому что выглядят как норма.

Стратегически это сдвиг парадигмы: авторы доказали, что граница между «предобучением» и «alignment» искусственна. Можно обучить безопасную модель даже на небезопасных данных, если целевая функция активно уводит от «грязи». Будущие пайплайны предобучения это не пассивные GPU-кластеры, перемалывающие статические датасеты, а фермы инференса, генерирующие обучающий сигнал в реальном времени.

📚📚📚 Вместо «сначала вырастим, потом перевоспитаем» сразу «воспитываем с рождения». Модель учится на сырых данных из интернета, но сильный учитель на лету фильтрует мусор и направляет обучение.

*является экстремистской и запрещена в России

@anti_agi