Цифровой двойник для социологов: GPT-4 предсказывает поведение людей
Проведение экспериментов - извечная проблема социологов, психологов, экономистов и всех причастных к этим наукам. Чтобы понять реакцию людей на различные ситуации, требуется сложный дизайн исследований и испытуемые, готовые тратить время на странные, на первый взгляд, задания.
Ученые из Нью-Йоркского и Стэнфордского университетов решили проверить, способны ли большие языковые модели, такие как GPT-4, предсказывать результаты подобных экспериментов без привлечения людей.
Исследователи использовали данные 70 уже проведенных экспериментов с различными опросниками. Они попросили GPT "угадать" результаты, точнее, представить, как на эти вопросы могло ответить множество людей разного пола, возраста и бэкграунда.
Языковая модель справилась с задачей неожиданно хорошо. Прогнозы оказались близки к реальным результатам, а иногда даже точнее, чем предсказания экспертов-людей. Эффект сохранялся и для исследований, информация о которых не могла попасть в обучающую выборку, так как их провели уже после обучения языковой модели.
Пока опубликована только рабочая версия статьи, даже не препринт, поэтому делать окончательные выводы рано. Однако, если результаты подтвердятся, это может дополнить методы проведения исследований в социальных науках.
Ученые получат инструмент для быстрого тестирования гипотез. Да и каждое A/B-тестирование в маркетинге можно будет сначала провести с участием LLM. Хотя интереснее было бы "повторить" знаменитый Стэнфордский тюремный эксперимент, который по этическим причинам не перепроверили, хотя к его дизайну много вопросов.
Данные из этой статьи также позволяют предположить, что гипотетический ИИ общего назначения будет хорошо предсказывать поведение людей. Правда, мы по-прежнему не знаем, как он использует эту способность.
#Социология #ChatGPT #LLM #ИИ
Проведение экспериментов - извечная проблема социологов, психологов, экономистов и всех причастных к этим наукам. Чтобы понять реакцию людей на различные ситуации, требуется сложный дизайн исследований и испытуемые, готовые тратить время на странные, на первый взгляд, задания.
Ученые из Нью-Йоркского и Стэнфордского университетов решили проверить, способны ли большие языковые модели, такие как GPT-4, предсказывать результаты подобных экспериментов без привлечения людей.
Исследователи использовали данные 70 уже проведенных экспериментов с различными опросниками. Они попросили GPT "угадать" результаты, точнее, представить, как на эти вопросы могло ответить множество людей разного пола, возраста и бэкграунда.
Языковая модель справилась с задачей неожиданно хорошо. Прогнозы оказались близки к реальным результатам, а иногда даже точнее, чем предсказания экспертов-людей. Эффект сохранялся и для исследований, информация о которых не могла попасть в обучающую выборку, так как их провели уже после обучения языковой модели.
Пока опубликована только рабочая версия статьи, даже не препринт, поэтому делать окончательные выводы рано. Однако, если результаты подтвердятся, это может дополнить методы проведения исследований в социальных науках.
Ученые получат инструмент для быстрого тестирования гипотез. Да и каждое A/B-тестирование в маркетинге можно будет сначала провести с участием LLM. Хотя интереснее было бы "повторить" знаменитый Стэнфордский тюремный эксперимент, который по этическим причинам не перепроверили, хотя к его дизайну много вопросов.
Данные из этой статьи также позволяют предположить, что гипотетический ИИ общего назначения будет хорошо предсказывать поведение людей. Правда, мы по-прежнему не знаем, как он использует эту способность.
#Социология #ChatGPT #LLM #ИИ