🧠 Две настройки утроили результат GPT-5.6 Sol на ARC-AGI-3

С официальным тестовым окружением модель набрала 13,3%. После включения двух функций Responses API результат вырос до 38,3%, а расход выходных токенов сократился примерно в 6 раз.

Средний результат человека на тех же публичных заданиях OpenAI оценивает в 48%.

Что изменили:

1. Сохранили рассуждения между действиями

Раньше после каждого хода агент терял найденные закономерности и фактически заново разбирался в игре.

2. Заменили обрезание истории на compaction

Вместо удаления старых действий длинный контекст сжимался, сохраняя важные наблюдения и выбранную стратегию.

В результате агент:

- быстрее принимал решения;
- реже повторял уже проделанную работу;
- лучше учился по ходу игры;
- тратил значительно меньше токенов.

Итоговый результат зависит не только от модели. Большую роль играют API, управление контекстом, промпт и устройство тестового harness.

OpenAI рекомендует использовать Responses API, сохранять рассуждения между вызовами и включать compaction для длинных сессий.

https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/

#OpenAI #GPT56 #Agents #ARCAGI #LLM #AIEngineering