🧠 Ось і The Information про це пишуть: OpenAI Shifts Strategy as Rate of ‘GPT’ AI Improvements Slows

• Нова модель Orion показує нижчий приріст перфомансу відносно GPT-4, ніж GPT-4 відносно GPT-3. Одна з головних причин - для тренування уже використали практично всі доступні дані. Відповідно, фокус зміщується на покращення моделі після тренування, зокрема, те що називають "дати моделі подумати", як в o1 - коли модель генерує кілька варіантів відповідей, а потім їх оцінює і обирає чи синтезує кращий.

• Якраз тут очікується наступний значний приріст якості моделей, а не в масштабуванні. Чим довше модель має можливість "думати", тим краще вона справляється з задачами на reasoning, в даному випадку (графік) з розв'язанням задач з математичних олімпіад.

• Загалом прогрес в розвитку LLM не зупиняється, але розробники моделей змінюють підхід - від "зазубрювання" знань до розвитку "мислення" моделей. Це може дати дуже непоганий приріст продуктивності. Власне, уже зараз ви можете задати складне питання моделям GPT-4 і o1 і оцінити різницю в якості відповідей.

✍️ Повний гайд по метриках tech компаній для інвестора