Фактчекинг. Первый пошел
Как говорил в известном фильме "старина Мюллер", "Верить нельзя никому. Мне можно". Это можно сделать эпиграфом к новой рубрике. Итак, ищем неточности и ошибки.
Цитата.
"Согласно отчету BusinessKorea, компания Samsung заняла первое место в списке 20 лучших брендов 2020 года, о котором недавно объявило российское агентство по исследованию рынка брендов Online Market Intelligence (OMI)". androidinsider.ru
1. Неверно указан первоисточник. Сайт BusinessKorea (публикация от 02 ноября) далеко не первый. Мы, например, опубликовали эту новость 22 октября. Почему плохо пользоваться несвежим источником? Чем длиннее цепочка, тем больше вероятность ошибок. Как в испорченном телефоне. Сейчас увидите.
2. Неточность в терминах. В оригинале речь идет не о лучших или популярных, а о любимых брендах. Почему это важно? Потому что это разные критерии. Популярность не термин, а обычное слово - то ли знание бренда, то ли объем продаж. А "любимый" - это название показателя, измеряемого определенным образом. В первом случае мы не можем сравнивать между собой бренды, а во втором это корректно.
3. Неточность в определении. Компания OMI - это исследовательская компания широкого профиля, а не "агентство по исследованию рынка брендов". У брендов вообще нет рынков, слишком редко они продаются.
Выводы. Даже небольшие неточности переводят заметку в разряд "развлекательного чтива". Тоже неплохо, но вот пользоваться ею для профессиональных целей уже нельзя. Разве что для старта в поиске настоящих источников.
#фактчекинг
Как говорил в известном фильме "старина Мюллер", "Верить нельзя никому. Мне можно". Это можно сделать эпиграфом к новой рубрике. Итак, ищем неточности и ошибки.
Цитата.
"Согласно отчету BusinessKorea, компания Samsung заняла первое место в списке 20 лучших брендов 2020 года, о котором недавно объявило российское агентство по исследованию рынка брендов Online Market Intelligence (OMI)". androidinsider.ru
1. Неверно указан первоисточник. Сайт BusinessKorea (публикация от 02 ноября) далеко не первый. Мы, например, опубликовали эту новость 22 октября. Почему плохо пользоваться несвежим источником? Чем длиннее цепочка, тем больше вероятность ошибок. Как в испорченном телефоне. Сейчас увидите.
2. Неточность в терминах. В оригинале речь идет не о лучших или популярных, а о любимых брендах. Почему это важно? Потому что это разные критерии. Популярность не термин, а обычное слово - то ли знание бренда, то ли объем продаж. А "любимый" - это название показателя, измеряемого определенным образом. В первом случае мы не можем сравнивать между собой бренды, а во втором это корректно.
3. Неточность в определении. Компания OMI - это исследовательская компания широкого профиля, а не "агентство по исследованию рынка брендов". У брендов вообще нет рынков, слишком редко они продаются.
Выводы. Даже небольшие неточности переводят заметку в разряд "развлекательного чтива". Тоже неплохо, но вот пользоваться ею для профессиональных целей уже нельзя. Разве что для старта в поиске настоящих источников.
#фактчекинг
Фактчекинг. Инфлюенс-маркетинг в эпоху ковида
Сегодня на моем столе заметка в Adindex.ru под названием «Четверть FMCG-компаний сообщили об убытках из-за работы с инфлюенсерами». В скобках я будут указывать наличие (+) или отсутствие (-) в заметке сведений, формирующих ее качество. Эта заметка выбрана по просьбе участников группы в Facebook #PRMSK.
Разбираем по порядку. Ниже сокращенная версия разбора, полная тут.
1. Указан ли автор исследование, в чем его основные компетенции
Да, указан (+), это компания Kroll. Это консалтинговая компания, входящая в Duff & Phelps. Специализация Kroll – обеспечение безопасности бизнеса, в первую очередь, информационную.
2. Доступен ли первоисточник
Да, в заметке есть (+) прямая ссылка на пресс-релиз, размещенный в разделе «Новости» на глобальном сайте компании. С этого сайта можно скачать открытый отчет об исследовании.
3. Обогащают ли авторы заметки первоисточник – пресс-релиз или отчет
Нет, авторы заметки не пользовались дополнительной информацией (-), они лишь пересказывают пресс-релиз с некоторыми сокращениями. Так, не указаны конкретные страны, в которых проводился опрос (только крупные регионы мира), нет указания на то, что Россия не участвовала в проекте. И это грубая ошибка журналистов.
4. Достаточен ли объем выборки, указаны ли принципы ее формирования
Речь идет о В2В-опросе, 917 респондентов – это много. О принципах формирования выборки не сказано ничего, распределения компаний-респондентов по величине или профилю деятельности нет не только в заметке, но и первоисточнике.
5. Какова была цель проведения проекта
Как и любое открытое исследование, это пиар-проект. Его цель – подчеркнуть необходимость услуг компании-автора. В данном случае речь идет об анализе рисков. Отсюда основная идея отчета: продемонстрировать рискованность услуг инфлюенсеров, инициировав тем самым заказы на анализ этих рисков.
6. Происходит ли деформация информационного поля
Да, происходит, особенно в формате пресс-релиза, в котором по необходимости отсутствуют детали. Средние цифры сильно варьируют в разных странах. В Великобритании 37% респондентов не имели негативного опыта в работе с инфлюенсерами, а в соседней Ирландии около 12%, а в США – лишь 8%.
7. Наличие собственных выводов авторов заметки
Их нет. Приведенные цифры не анализируются, их структура не раскрывается. Вот пример. «Неудачи с лидерами мнений испытали 85% опрошенных». Но велика ли доля этих «неудач», если каждая компания работает с несколькими десятками инфлюенсеров (во Франции их среднее число составляет 109 на одну компанию), а неудачи могут быть единичными.
Резюме. Без анализа данных, приведенных в первоисточнике (отчете), заметка, скорее вводит в заблуждение, чем дает информацию. Причина – отсутствие интерпретации приведенных данных.
Диаграмма ниже взята нами из цитированного выше отчета Face Value Report компании Kroll.
#фактчекинг
Сегодня на моем столе заметка в Adindex.ru под названием «Четверть FMCG-компаний сообщили об убытках из-за работы с инфлюенсерами». В скобках я будут указывать наличие (+) или отсутствие (-) в заметке сведений, формирующих ее качество. Эта заметка выбрана по просьбе участников группы в Facebook #PRMSK.
Разбираем по порядку. Ниже сокращенная версия разбора, полная тут.
1. Указан ли автор исследование, в чем его основные компетенции
Да, указан (+), это компания Kroll. Это консалтинговая компания, входящая в Duff & Phelps. Специализация Kroll – обеспечение безопасности бизнеса, в первую очередь, информационную.
2. Доступен ли первоисточник
Да, в заметке есть (+) прямая ссылка на пресс-релиз, размещенный в разделе «Новости» на глобальном сайте компании. С этого сайта можно скачать открытый отчет об исследовании.
3. Обогащают ли авторы заметки первоисточник – пресс-релиз или отчет
Нет, авторы заметки не пользовались дополнительной информацией (-), они лишь пересказывают пресс-релиз с некоторыми сокращениями. Так, не указаны конкретные страны, в которых проводился опрос (только крупные регионы мира), нет указания на то, что Россия не участвовала в проекте. И это грубая ошибка журналистов.
4. Достаточен ли объем выборки, указаны ли принципы ее формирования
Речь идет о В2В-опросе, 917 респондентов – это много. О принципах формирования выборки не сказано ничего, распределения компаний-респондентов по величине или профилю деятельности нет не только в заметке, но и первоисточнике.
5. Какова была цель проведения проекта
Как и любое открытое исследование, это пиар-проект. Его цель – подчеркнуть необходимость услуг компании-автора. В данном случае речь идет об анализе рисков. Отсюда основная идея отчета: продемонстрировать рискованность услуг инфлюенсеров, инициировав тем самым заказы на анализ этих рисков.
6. Происходит ли деформация информационного поля
Да, происходит, особенно в формате пресс-релиза, в котором по необходимости отсутствуют детали. Средние цифры сильно варьируют в разных странах. В Великобритании 37% респондентов не имели негативного опыта в работе с инфлюенсерами, а в соседней Ирландии около 12%, а в США – лишь 8%.
7. Наличие собственных выводов авторов заметки
Их нет. Приведенные цифры не анализируются, их структура не раскрывается. Вот пример. «Неудачи с лидерами мнений испытали 85% опрошенных». Но велика ли доля этих «неудач», если каждая компания работает с несколькими десятками инфлюенсеров (во Франции их среднее число составляет 109 на одну компанию), а неудачи могут быть единичными.
Резюме. Без анализа данных, приведенных в первоисточнике (отчете), заметка, скорее вводит в заблуждение, чем дает информацию. Причина – отсутствие интерпретации приведенных данных.
Диаграмма ниже взята нами из цитированного выше отчета Face Value Report компании Kroll.
#фактчекинг
Ну, за искусство!
Пятница - время для #фактчекинг.
«Свыше половины россиян не понимают современное искусство», - так начинается заметка в ТАСС от 3 ноября 2020 года. В тот же день эту заметку перепечатали, изменив или не изменив формулировки еще несколько изданий, среди которых, Национальная служба новостей, Независимая газета, Газета.ru, Стиль.РБК, Colta. Другими словами, новость получила резонанс. И вместе с ней получили резонанс все содержащиеся в ней неточности. Разбираем по пунктам.
1. Кто автор проекта, в чем его (их) компетенция
Авторы проекта - сервис MyBook и Музей современного искусства – новички в исследованиях. Конечно, провести опрос сегодня – «не бином ньютона», но кое-какие тонкости могут все испортить. Спойлер: так и вышло.
2. Выборка. Кто все эти люди
Вопрос простой: какую генеральную совокупность репрезентирует изученная выборка? Гендерные пропорции 70% женщин и 30% мужчин наводят на мысль, что это был «опрос на сайте». Если бы в качестве авторов выступали бы профессиональные исследовательские команда, то таких вопросов просто не возникло бы.
Между тем, в заметке четко сказано: «россияне считают». Россияне! Но на каком основании?
3. Анкета. О чем спрашивали респондентов
Чтобы иметь возможность делать выводы, надо знать формулировки вопросов. Очень часто их цитируют в тексте или на диаграммах. Часто, но не всегда. В нашем случае авторы заметки сразу перешли к выводам: "более 60% опрошенных не понимают современное искусство, но только 15% признались, что совсем им не интересуются". Вот эти 15% входят в 60% или нет? Нам остается только гадать. Между тем, понимание и интерес – это разные вещи!
4. Лишние сведения
Хотя в заметке отсутствуют важные сведения (см. выше), у авторов нашлось место для описания проведения опроса:
«респондентам предлагалось ответить на вопросы через google-форму, затем данные были проанализированы. При подсчете использовалась пропорция, при которой все респонденты принимались за 100%, а остальные данные высчитывались, исходя из этого числа».
Сегодня такого рода детали – это лишь технические подробности, их опускают даже в профессиональной прессе. Так что, уточнения такого рода свидетельствуют лишь о небольшом опыте авторов в данной сфере.
Резюме. Вы не можем сделать вывод об отношении к искусству наших соотечественников: «не понимают» они его или «не интересуются». Мы не можем сказать о ком вообще идет речь – о жителях Москвы, о посетителях сайта (какого?), о людях, которые регулярно посещают музеи.
P.S. Хочется закончить на позитиве. Неужели все так запущено в области описаний отношения к культуре? Вовсе нет. Вот же совсем свежая заметка в Forbes от 12 октября 2020 года.
Автор – профессиональный социолог Мария Макушева подробно описывает причины того, что россияне с трудом воспринимают современное искусство. Использованы результаты совместного исследования ЦСП «Платформа» (автор заметки - директор этой компании) и Art Life Academy. И в этом описании есть все необходимые элементы - и откуда респонденты, и как проводился опрос.
Полная версия тут.
#фактчекинг, #искусство, #культура
Фото: картина Джона Тайсона (Jon Tyson), сайт Unsplash.com
Пятница - время для #фактчекинг.
«Свыше половины россиян не понимают современное искусство», - так начинается заметка в ТАСС от 3 ноября 2020 года. В тот же день эту заметку перепечатали, изменив или не изменив формулировки еще несколько изданий, среди которых, Национальная служба новостей, Независимая газета, Газета.ru, Стиль.РБК, Colta. Другими словами, новость получила резонанс. И вместе с ней получили резонанс все содержащиеся в ней неточности. Разбираем по пунктам.
1. Кто автор проекта, в чем его (их) компетенция
Авторы проекта - сервис MyBook и Музей современного искусства – новички в исследованиях. Конечно, провести опрос сегодня – «не бином ньютона», но кое-какие тонкости могут все испортить. Спойлер: так и вышло.
2. Выборка. Кто все эти люди
Вопрос простой: какую генеральную совокупность репрезентирует изученная выборка? Гендерные пропорции 70% женщин и 30% мужчин наводят на мысль, что это был «опрос на сайте». Если бы в качестве авторов выступали бы профессиональные исследовательские команда, то таких вопросов просто не возникло бы.
Между тем, в заметке четко сказано: «россияне считают». Россияне! Но на каком основании?
3. Анкета. О чем спрашивали респондентов
Чтобы иметь возможность делать выводы, надо знать формулировки вопросов. Очень часто их цитируют в тексте или на диаграммах. Часто, но не всегда. В нашем случае авторы заметки сразу перешли к выводам: "более 60% опрошенных не понимают современное искусство, но только 15% признались, что совсем им не интересуются". Вот эти 15% входят в 60% или нет? Нам остается только гадать. Между тем, понимание и интерес – это разные вещи!
4. Лишние сведения
Хотя в заметке отсутствуют важные сведения (см. выше), у авторов нашлось место для описания проведения опроса:
«респондентам предлагалось ответить на вопросы через google-форму, затем данные были проанализированы. При подсчете использовалась пропорция, при которой все респонденты принимались за 100%, а остальные данные высчитывались, исходя из этого числа».
Сегодня такого рода детали – это лишь технические подробности, их опускают даже в профессиональной прессе. Так что, уточнения такого рода свидетельствуют лишь о небольшом опыте авторов в данной сфере.
Резюме. Вы не можем сделать вывод об отношении к искусству наших соотечественников: «не понимают» они его или «не интересуются». Мы не можем сказать о ком вообще идет речь – о жителях Москвы, о посетителях сайта (какого?), о людях, которые регулярно посещают музеи.
P.S. Хочется закончить на позитиве. Неужели все так запущено в области описаний отношения к культуре? Вовсе нет. Вот же совсем свежая заметка в Forbes от 12 октября 2020 года.
Автор – профессиональный социолог Мария Макушева подробно описывает причины того, что россияне с трудом воспринимают современное искусство. Использованы результаты совместного исследования ЦСП «Платформа» (автор заметки - директор этой компании) и Art Life Academy. И в этом описании есть все необходимые элементы - и откуда респонденты, и как проводился опрос.
Полная версия тут.
#фактчекинг, #искусство, #культура
Фото: картина Джона Тайсона (Jon Tyson), сайт Unsplash.com
Аналитика в эпоху ковида
Скажу банальность: 2020 год - особенный. Для аналитиков тоже. Слишком уж много факторов и трендов сразу. Поэтому к обобщениям, которые так любит пресса, сегодня надо относиться с особенной осторожностью.
Вот грабли. на которые не стоит наступать.
✅Доля рынка измерителя мала. Следствие: большая погрешность. Наблюдаемый признак: аномально большие темпы роста или падения измеряемых показателей.
✅Маленькая начальная база при замерах динамики показателя приводит к большим темпам роста при обычных измерениях в процентах.
✅Пик ажиотажного спроса принимают за базу, в результате чего формируют долговременные понижательные тренды.
Вот примеры.
Газета "Известия" утверждает (заметка вышла вчера), что средний чек онлайн-покупок сократился, частота покупок упала. Вывод, который делает Дмитрий Спиридонов, гендир измерителя, платежного сервиса CloudPayments:логичен "Люди стали чаще посещать обычные магазины". Другими словами, пропорция офлайн/онлайн возвращается к "доковидным" временам.
И все вроде бы корректно. вот только доля рынка CloudPayments составляла в прошлом году всего 7%-8%, (в 2020 прогнозируется 15%). Это не много и большая погрешность "убивает" тренд. Кстати, дальше в той же заметке приведены цифры (например, "Яндекс.Маркета), свидетельствующие об обратном - росте онлайн-продаж в некоторых категориях. Но анализа причин в ежедневке нет, что, в общем, и понятно: газета - это быстрота и натиск.
А как вам вот такая игра слов (это уже AdIndex) "Доля покупающих только по скидкам увеличится в полтора раза". В заметке ссылаются на "Коммерсант", который в свою очередь оперирует с данными "Ромира". И все правы, вот только доля товаров, продаваемых по промо-акциям устойчиво падает последние два года (см. диаграмму ниже). Авторы исследования - компания Nielsen - объясняет это тем, что "в условиях самоизоляции для потребителей более сильным мотивом для совершения покупки оказалось наличие желаемого товара в магазине, а не низкая цена". И это мировой тренд.
Интерпретация данных всегда была не так проста, но сегодня - особенно.
#e_commerce, #промо, #потребительское_поведение, #фактчекинг
Скажу банальность: 2020 год - особенный. Для аналитиков тоже. Слишком уж много факторов и трендов сразу. Поэтому к обобщениям, которые так любит пресса, сегодня надо относиться с особенной осторожностью.
Вот грабли. на которые не стоит наступать.
✅Доля рынка измерителя мала. Следствие: большая погрешность. Наблюдаемый признак: аномально большие темпы роста или падения измеряемых показателей.
✅Маленькая начальная база при замерах динамики показателя приводит к большим темпам роста при обычных измерениях в процентах.
✅Пик ажиотажного спроса принимают за базу, в результате чего формируют долговременные понижательные тренды.
Вот примеры.
Газета "Известия" утверждает (заметка вышла вчера), что средний чек онлайн-покупок сократился, частота покупок упала. Вывод, который делает Дмитрий Спиридонов, гендир измерителя, платежного сервиса CloudPayments:логичен "Люди стали чаще посещать обычные магазины". Другими словами, пропорция офлайн/онлайн возвращается к "доковидным" временам.
И все вроде бы корректно. вот только доля рынка CloudPayments составляла в прошлом году всего 7%-8%, (в 2020 прогнозируется 15%). Это не много и большая погрешность "убивает" тренд. Кстати, дальше в той же заметке приведены цифры (например, "Яндекс.Маркета), свидетельствующие об обратном - росте онлайн-продаж в некоторых категориях. Но анализа причин в ежедневке нет, что, в общем, и понятно: газета - это быстрота и натиск.
А как вам вот такая игра слов (это уже AdIndex) "Доля покупающих только по скидкам увеличится в полтора раза". В заметке ссылаются на "Коммерсант", который в свою очередь оперирует с данными "Ромира". И все правы, вот только доля товаров, продаваемых по промо-акциям устойчиво падает последние два года (см. диаграмму ниже). Авторы исследования - компания Nielsen - объясняет это тем, что "в условиях самоизоляции для потребителей более сильным мотивом для совершения покупки оказалось наличие желаемого товара в магазине, а не низкая цена". И это мировой тренд.
Интерпретация данных всегда была не так проста, но сегодня - особенно.
#e_commerce, #промо, #потребительское_поведение, #фактчекинг