В Стэнфорде провели масштабное исследование возможности искусственного интеллекта предсказывать результаты экспериментов в социальных исследованиях. 🧠 Были собраны данные 70 различных социальных экспериментов, проведенных в США. Широкий спектр тем, от политических предпочтений до отношения к вакцинации. 🗳️💉

Всего в экспериментах участвовало более 105 тысяч человек. 👥 Исследователи использовали 476 различных стимулов (вопросов итп), чтобы проверить точность предсказаний ИИ. 🤖📊

Корреляция между предсказаниями GPT-4 и реальными результатами составила 0.85. 📈 Для неопубликованных исследований, которые не могли быть в обучающих данных модели, корреляция была ещё выше - 0.90. 🚀

Модель правильно определила, увеличится или уменьшится измеряемый показатель в результате экспериментального воздействия в 90% случаев. 🎯 Точность предсказаний была одинаковой для различных демографических групп. 👥

Чтобы расширить исследование, были проанализированы ещё 9, бОльших экспериментов. 🔍 Дополнительные 346 вопросов и более 1.8 миллиона участников. Для этих экспериментов корреляция составила 0.37. 📊

Исследователи также сравнили точность предсказаний GPT-4 с прогнозами экспертов-людей. Он превзошел экспертов в точности предсказаний результатов экспериментов. 🏆🤖

"Так же, мы обнаружили, что LLM могут точно предсказывать эффекты, связанные с социально вредными результатами, такие как влияние антипрививочных постов в Facebook на намерение вакцинироваться (Дженнифер Аллен и др., 2024). Эта способность может иметь положительное применение, например, для модерации контента, хотя также подчеркивает риски неправильного использования."
Профессор социологии и психологии, Robb Willer

Сергей Булаев AI 🤖 - об AI и не только