Про опрос Reuters/Ipsos об уровне поддержки кандидатов в президенты США

Как я уже ранее писал, американская политика не входит в сферу моих интересов, однако к ней относятся опросы общественного мнения, о чем сегодня и поговорим.

Вчера увидел в ряде телеграм-каналов серию постов с возмущением по поводу опроса консалтинговой фирмы Ipsos, проведенного по заказу Reuters: согласно нему, рейтинг поддержки Харрис составляет 44% против 42% у Трампа. Дескать, опрос-то, нерепрезентативный, ведь в выборке из 1241 респондента участвовали 426 сторонника Демпартии, 376 республиканца и 341 независимых избирателя! Короче, проклятые либеральные медиа опять всех обманули (нет).

В общем, хороший кейс, который в очередной раз показывает, что люди совершенно не понимают, как проводятся количественные опросы. Давайте разбираться.

Обратимся к информации о выборке в 1241 респондента. Достаточно ли это для того, чтобы измерить уровень поддержки политиков в 330 млн. США?

Размер выборки зависит от: 1) размера генеральной совокупности — популяции, группы людей, мнение внутри которой мы хотим узнать; 2) уровня достоверности (насколько мы уверены, что интервал, в который попадают результаты выборки, содержит истинное значение параметра всей генеральной совокупности) — обычно в количественных исследованиях используют 95%; 3) вероятности статистической ошибки; 4) вариабильности выборки — по какому числу характеристик делится наша выборка, сколько в опросе подвыборок.

Авторы исследования Ipsos пишут, что их выборка в 1241 человека репрезентативна по следующим характеристикам: пол, возраст, раса/этническая принадлежность, регион, образование, доход домохозяйства, metropolitan status (классификация региона по его характеристикам), партийность. При такой выборке уровень достоверности опроса составляет 95%, а вероятность ошибки выборки 3 процентных пункта (не процента!) для опроса в целом, для подвыборок они несколько отличаются. Это означает, что с вероятностью 95% общие результаты исследования будут отклоняться от истинного значения не более чем на 3 процентных пункта.

Как это обычно и бывает, выборка была сформирована по принципу probability sample — авторы берут данные из других источников о характеристиках генеральной совокупности и на их основе считают, сколько респондентов с разными качествами должны присутствовать в выборке. Социально-демографические и политические характеристики генеральной совокупности брались из прошлых исследований: 2023 March Supplement of the Current Population Survey (CPS) и NPORS 2024, в т.ч. данные о числе зарегистрированных избирателей демократов, республиканцев и независимых, которых, сюрприз, разное количество, также, как и, скажем, мужчин и женщин, людей 18-24 и 55+ и т.д. Итоговые данные опроса взвешивались с учетом характеристик генеральной совокупности — то есть, чтобы им лучше соответствовать, ответам разных респондентов присваивался разный вес. Сам опрос проводился онлайн на платформе KnowledgePanel, респонденты рекрутировались через базу USPS (Почтовая служба США). Онлайн-опросы сами по себе норм, если что, ничем не уступают уличным и даже лучше телефонных в плане достижимости респондентов. Предвосхищая вопросы: в случае с этим конкретным опросом той части респондентов, что не пользуется интернетом, вручались планшеты с онлайн-формой.

Теперь вернемся к нашему вопросу: репрезентативный ли опрос? Ответ — это дурацкий вопрос, потому что идеальная репрезентативная выборка — это миф. Опрос с идеально репрезентативной выборкой — это опрос всего населения. Сделать это, объективно, не может никто, особенно в сжатые сроки.

Поэтому вопрос получше звучит так: насколько опрос качественный? Ответ: по академическим и профессиональным стандартам очень даже. Детальная выборка, нужный уровень достоверности, небольшая вероятность погрешности, адекватный дизайн исследования, транспарентная презентация методологии и результатов.

Батальон политических телеграм-аналитиков в очередной раз проиграл социальным наукам и математике, которая, как известно, создана, чтобы ограблять русов.