Приветствуем!
Вы на канале про Data Driven культуру, который бережно и старательно ведёт команда российского BI продукта Analytic Workspace.
Но мы не будем рассказывать здесь про наш продукт и нахваливать его, хотя нам есть чем хвастать 😉
Здесь мы делимся информацией из мира больших и малых данных — из мира, в который мы ежедневно окунаемся.
Про что мы здесь пишем:
— Интересные примеры визуализаций.
— Дата сторителлинг.
— ML в BI. BI без ML. ML без BI.
— Кейсы из практики внедрения (как удалось объединить необъединяемое, например).
— Культура DD в общем смысле.
— Тренды на рынке BI.
— Статистика с рынка BI: рост/падение популярности профессии, профиль специалиста и т.п.
— Что почитать.
— Где и чему учиться.
Для удобной навигации используем теги:
#новичкам – знания, точно полезные для тех, кто только погружается в тему.
#профи – информация для тех, кто уже в теме BI.
#ru_bi – информация из мира российских BI.
#визуал – пример классного (или страшного) дашборда.
#практика – примеры из практики, датасеты и прочее.
#мнение – оно и есть мнение.
#технологии – о технологиях в BI.
#статья – полезная статья из мира данных.
#книга – рекомендация книги.
#интервью – интервью с представителями отрасли.
#история – интересная история из мира данных.
#жиза – смешные и не очень зарисовки из Data Driven будней.
#дайджест – подборка ссылок на полезное, увиденное нами.
#мероприятия — анонс или запись классного мероприятия.
#знания — ценные знания из мира данных.
———————————
analyticworkspace.ru — это наш сайт.
@awcommunity — сообщество взаимопомощи специалистов, которые работают с Analytic Workspace.
Вы на канале про Data Driven культуру, который бережно и старательно ведёт команда российского BI продукта Analytic Workspace.
Но мы не будем рассказывать здесь про наш продукт и нахваливать его, хотя нам есть чем хвастать 😉
Здесь мы делимся информацией из мира больших и малых данных — из мира, в который мы ежедневно окунаемся.
Про что мы здесь пишем:
— Интересные примеры визуализаций.
— Дата сторителлинг.
— ML в BI. BI без ML. ML без BI.
— Кейсы из практики внедрения (как удалось объединить необъединяемое, например).
— Культура DD в общем смысле.
— Тренды на рынке BI.
— Статистика с рынка BI: рост/падение популярности профессии, профиль специалиста и т.п.
— Что почитать.
— Где и чему учиться.
Для удобной навигации используем теги:
#новичкам – знания, точно полезные для тех, кто только погружается в тему.
#профи – информация для тех, кто уже в теме BI.
#ru_bi – информация из мира российских BI.
#визуал – пример классного (или страшного) дашборда.
#практика – примеры из практики, датасеты и прочее.
#мнение – оно и есть мнение.
#технологии – о технологиях в BI.
#статья – полезная статья из мира данных.
#книга – рекомендация книги.
#интервью – интервью с представителями отрасли.
#история – интересная история из мира данных.
#жиза – смешные и не очень зарисовки из Data Driven будней.
#дайджест – подборка ссылок на полезное, увиденное нами.
#мероприятия — анонс или запись классного мероприятия.
#знания — ценные знания из мира данных.
———————————
analyticworkspace.ru — это наш сайт.
@awcommunity — сообщество взаимопомощи специалистов, которые работают с Analytic Workspace.
Уязвимости DD-подхода
В книге "Стратегическое сафари. Экскурсия по дебрям стратегического менеджмента" есть заметка про уязвимые места обработки данных. Заметка от 1994 года, но многое в ней актуально и для Data Driven подхода сейчас.
Итак, уязвимости (сжато):
1. Обработанная информация, как правило, ограничена рамками — ей не хватает полноты. Дашборды не в состоянии уловить важные внеэкономические или неподдающиеся количественному выражению факторы: выражение лица покупателя, настроения на производстве (в команде), тон голоса государственного чиновника — все это может стать информацией для менеджера, но не представляет никакой ценности для формальной системы.
2. Большая часть информации носит обобщенный характер. Наиболее очевидное решение для перегруженного информацией и действующего при постоянной нехватке времени менеджера — обобщение информации. При этом неочевидные точки роста часто находятся в штучной информации.
3. Обработанная информация на самом деле не является столь уж надежной. Этот пункт благодаря современным технологиям сбора информации несколько утратил актуальность, но всё же: вера в непогрешимость собранных данных может сыграть злую шутку. Особенно, если данные собирали не вы: отчёты консалтеров, бенчмарки (ориентиры) и т.п.
В общем, на данные надейся, а сам не плошай.
Количественные показатели должны обогащаться качественными — только так можно получать максимально объёмную картинку по продукту или компании.
Книгу, кстати, рекомендуем тем, кто хочет погрузиться в стратегический менеджмент — в ней по сути обзор и разбор разных подходов к подготовке стратегии.
#книга
В книге "Стратегическое сафари. Экскурсия по дебрям стратегического менеджмента" есть заметка про уязвимые места обработки данных. Заметка от 1994 года, но многое в ней актуально и для Data Driven подхода сейчас.
Итак, уязвимости (сжато):
1. Обработанная информация, как правило, ограничена рамками — ей не хватает полноты. Дашборды не в состоянии уловить важные внеэкономические или неподдающиеся количественному выражению факторы: выражение лица покупателя, настроения на производстве (в команде), тон голоса государственного чиновника — все это может стать информацией для менеджера, но не представляет никакой ценности для формальной системы.
2. Большая часть информации носит обобщенный характер. Наиболее очевидное решение для перегруженного информацией и действующего при постоянной нехватке времени менеджера — обобщение информации. При этом неочевидные точки роста часто находятся в штучной информации.
3. Обработанная информация на самом деле не является столь уж надежной. Этот пункт благодаря современным технологиям сбора информации несколько утратил актуальность, но всё же: вера в непогрешимость собранных данных может сыграть злую шутку. Особенно, если данные собирали не вы: отчёты консалтеров, бенчмарки (ориентиры) и т.п.
В общем, на данные надейся, а сам не плошай.
Количественные показатели должны обогащаться качественными — только так можно получать максимально объёмную картинку по продукту или компании.
Книгу, кстати, рекомендуем тем, кто хочет погрузиться в стратегический менеджмент — в ней по сути обзор и разбор разных подходов к подготовке стратегии.
#книга
Тёмная сторона BI
В ходе исследования данных мы порой приходим к неверным выводам.
К неверным выводам можно прийти неумышленно — вследствие допущенных ошибок в данных либо ложной корреляции. Всякое бывает.
Но можно вполне преднамеренно подсунуть ошибки в умозаключения.
Переход на “темную сторону BI” случается через манипуляцию цифрами: «массаж данных» или использование визуальных хитростей.
Например, иногда специально игнорируют нулевую отметку на оси в столбчатых диаграммах или делают цветовую дизориентацию — скажем , покраску убытков зеленым цветом.
Часто вместо медианного значения показывают среднее — например, при анализе зарплат по какой-то отрасли или предприятию.
Расследование такого рода ошибок и опровержение неверных выводов может потребовать значительных ресурсов.
Итальянский программист Альберто Брандолини в 2013 году сформулировал важный принцип в исследованиях чуши:
«Количество энергии, необходимое для опровержения чуши, на порядок больше, чем требуется для ее производства».
В общем, мы призываем совершенствовать корпоративную культуру и этику работы с данными.
«Не плодите чушь, господа! И оставайтесь на светлой стороне BI. С нами!😉»
В довесок можно порекомендовать книгу: «Как лгать при помощи статистики», Дарелл Хафф (легкогуглится яндексится).
Первая редакция написана аж в 1954 году — иллюстрации в книге очень душевные, надо сказать.
В ней разбирается множество примеров, когда визуальная часть помогала манипулировать принятием решения.
Мотайте на ус, чтобы не попасть в ловушку.
#книга #мнение
В ходе исследования данных мы порой приходим к неверным выводам.
К неверным выводам можно прийти неумышленно — вследствие допущенных ошибок в данных либо ложной корреляции. Всякое бывает.
Но можно вполне преднамеренно подсунуть ошибки в умозаключения.
Переход на “темную сторону BI” случается через манипуляцию цифрами: «массаж данных» или использование визуальных хитростей.
Например, иногда специально игнорируют нулевую отметку на оси в столбчатых диаграммах или делают цветовую дизориентацию — скажем , покраску убытков зеленым цветом.
Часто вместо медианного значения показывают среднее — например, при анализе зарплат по какой-то отрасли или предприятию.
Расследование такого рода ошибок и опровержение неверных выводов может потребовать значительных ресурсов.
Итальянский программист Альберто Брандолини в 2013 году сформулировал важный принцип в исследованиях чуши:
«Количество энергии, необходимое для опровержения чуши, на порядок больше, чем требуется для ее производства».
В общем, мы призываем совершенствовать корпоративную культуру и этику работы с данными.
«Не плодите чушь, господа! И оставайтесь на светлой стороне BI. С нами!😉»
В довесок можно порекомендовать книгу: «Как лгать при помощи статистики», Дарелл Хафф (легко
Первая редакция написана аж в 1954 году — иллюстрации в книге очень душевные, надо сказать.
В ней разбирается множество примеров, когда визуальная часть помогала манипулировать принятием решения.
Мотайте на ус, чтобы не попасть в ловушку.
#книга #мнение
Мы собрались с силами и подготовили подборку книг для дата-аналитиков и BI-специалистов.
Многое в подборке сами читали или отложили почитать.
Надеемся, что кому-то подборка поможет расширить кругозор и узнать что-то новое.
Будет здорово, если поддержите статью лайками на vc 😉
#книга
Многое в подборке сами читали или отложили почитать.
Надеемся, что кому-то подборка поможет расширить кругозор и узнать что-то новое.
Будет здорово, если поддержите статью лайками на vc 😉
#книга
vc.ru
Большая подборка книг для дата-аналитиков и BI-специалистов. От подготовки данных до крутой визуализации и сторителлинга — Что…
Попросил коллег поделиться книгами, полезными для погружения в мир данных, дашбордов и BI. В ответ получил целую кучу рекомендаций, из которых сформировал эту подборку русскоязычных и англоязычных книг. Получилось 10 + 10.
Этичное обращение и манипуляции с данными
Большинство людей, работающих с данными, понимает, что данные вполне можно использовать для формирования неверных представлений.
Вот несколько примеров популярных манипуляций:
⏰Манипуляции с хронологией временем
Пример: на фондовых рынках публикуют котировки акций «по состоянию на момент закрытия биржевых торгов», когда они, как правило, дорожают по сравнению с усредненными котировками за прошедший день
⚡️Нечеткие определения или некорректные сравнения
«Data mining snooping», или «слепое прочесывание данных»: поиск выборки данных, дающая формально «статистические значимые» результаты корреляций, которые в реальности не выходят за пределы статистической ошибки и являются чисто случайными
🤷♀️Вводящие в заблуждения визуальные представления
Пример: играя масштабом шкалы, можно представить тенденцию более выигрышной или неприглядной, чем она есть на самом деле (картинка к посту наглядный пример выигрышного представления динамики).
📉Предвзятость, систематические ошибки и искажения
Пример: Сбор данных для подтверждения предопределённого результата. Вместо объективного сбора и анализа данных происходит подгонка выборки исходных данных под заказанный результат
Этические трудности могут возникнуть в процессе интеграции и преобразования данных, и связаны с фундаментальными процессами управления данными. Для снижения негативного эффекта в организации требуется формировать культуру этичного обращения с данными.
Больше примеров манипуляции данными можно найти в книге Дарелла Хаффа "Как лгать при помощи статистики" с широкой подборкой визуализаций из ТВ, газет и журналов.
#книга
Большинство людей, работающих с данными, понимает, что данные вполне можно использовать для формирования неверных представлений.
Вот несколько примеров популярных манипуляций:
⏰Манипуляции с хронологией временем
Пример: на фондовых рынках публикуют котировки акций «по состоянию на момент закрытия биржевых торгов», когда они, как правило, дорожают по сравнению с усредненными котировками за прошедший день
⚡️Нечеткие определения или некорректные сравнения
«Data mining snooping», или «слепое прочесывание данных»: поиск выборки данных, дающая формально «статистические значимые» результаты корреляций, которые в реальности не выходят за пределы статистической ошибки и являются чисто случайными
🤷♀️Вводящие в заблуждения визуальные представления
Пример: играя масштабом шкалы, можно представить тенденцию более выигрышной или неприглядной, чем она есть на самом деле (картинка к посту наглядный пример выигрышного представления динамики).
📉Предвзятость, систематические ошибки и искажения
Пример: Сбор данных для подтверждения предопределённого результата. Вместо объективного сбора и анализа данных происходит подгонка выборки исходных данных под заказанный результат
Этические трудности могут возникнуть в процессе интеграции и преобразования данных, и связаны с фундаментальными процессами управления данными. Для снижения негативного эффекта в организации требуется формировать культуру этичного обращения с данными.
Больше примеров манипуляции данными можно найти в книге Дарелла Хаффа "Как лгать при помощи статистики" с широкой подборкой визуализаций из ТВ, газет и журналов.
#книга
Ресурсы для развития навыков визуализации данных
Друзья, предлагаем вам шикарную подборку ресурсов для развития насмотренности в визуализации данных от Наталии Степановой автора канала Визуализируй это! — подписывайтесь, кстати, канал 🔥
Передаём перо Наталии✍️
===
Можно многое рассказать о визуализациях, примерах, ресурсах и книгах, но здесь я постаралась собрать самое базовое.
Ответить на вопрос: «С чего начать и чем вдохновляться, чтобы научиться создавать красивые и полезные визуализации?». В полученный список, конечно, не вошло множество интересных книг и крутых специалистов, но чтобы охватить всё, потребовалось бы намного больше места.
Книги
1. Edward Tufte и его книги по информационному дизайну. "The Visual Display of Quantitative Information" — настоящая классика, которую можно назвать библией для графиков. Официального перевода не существует (автор не разрешает), но в сети можно найти неофициальные, а сама книга написана достаточно простым английским языком.
2. Don Norman, "The Design of Everyday Things". Эта книга — основа понимания дизайна и UX, заставляет задуматься о дизайне самых обыденных вещей. В России издана издательством МИФ.
Люди
1. Shirley Wu — shirleywu.studio
Меня очень вдохновляют её аккуратный дизайн и художественные абстракции в визуализациях. У неё много доступных лекций и воркшопов по программированию, их можно найти на YouTube.
2. Nadieh Bremer — visualcinnamon.com
Создаёт удивительные визуализации на самые разнообразные темы.
3. Valentina D'Efilippo — valentinadefilippo.co.uk
Больше фокусируется на дизайне и смыслах. Её выступления и рассказы о создании визуализаций, включая Effective Data Visualisation, также доступны на YouTube.
Сайты
1. Information is Beautiful — informationisbeautiful.net
Обширная коллекция инфографик на самые разные темы, от статистики пород собак до доходов правительства Великобритании.
2. Pudding — pudding.cool
Интерактивные визуальные эссе.
3. Flowing Data — flowingdata.com
Множество визуализаций и страниц с туториалами по их созданию.
4. Блог Datawrapper — blog.datawrapper.de
Статьи с примерами визуализаций и советами, например, по выбору цветовой палитры или подготовке данных.
5. D3.js — d3js.org
Не удержалась и всё-таки включила пункт про код. Но и не только, на сайте можно найти множество примеров от простых до сложных с подробным разбором их создания.
===
Канал Data Driven Культура — гид в мир данных и их представления
#визуал #книга #знания
Друзья, предлагаем вам шикарную подборку ресурсов для развития насмотренности в визуализации данных от Наталии Степановой автора канала Визуализируй это! — подписывайтесь, кстати, канал 🔥
Передаём перо Наталии
===
Можно многое рассказать о визуализациях, примерах, ресурсах и книгах, но здесь я постаралась собрать самое базовое.
Ответить на вопрос: «С чего начать и чем вдохновляться, чтобы научиться создавать красивые и полезные визуализации?». В полученный список, конечно, не вошло множество интересных книг и крутых специалистов, но чтобы охватить всё, потребовалось бы намного больше места.
Книги
1. Edward Tufte и его книги по информационному дизайну. "The Visual Display of Quantitative Information" — настоящая классика, которую можно назвать библией для графиков. Официального перевода не существует (автор не разрешает), но в сети можно найти неофициальные, а сама книга написана достаточно простым английским языком.
2. Don Norman, "The Design of Everyday Things". Эта книга — основа понимания дизайна и UX, заставляет задуматься о дизайне самых обыденных вещей. В России издана издательством МИФ.
Люди
1. Shirley Wu — shirleywu.studio
Меня очень вдохновляют её аккуратный дизайн и художественные абстракции в визуализациях. У неё много доступных лекций и воркшопов по программированию, их можно найти на YouTube.
2. Nadieh Bremer — visualcinnamon.com
Создаёт удивительные визуализации на самые разнообразные темы.
3. Valentina D'Efilippo — valentinadefilippo.co.uk
Больше фокусируется на дизайне и смыслах. Её выступления и рассказы о создании визуализаций, включая Effective Data Visualisation, также доступны на YouTube.
Сайты
1. Information is Beautiful — informationisbeautiful.net
Обширная коллекция инфографик на самые разные темы, от статистики пород собак до доходов правительства Великобритании.
2. Pudding — pudding.cool
Интерактивные визуальные эссе.
3. Flowing Data — flowingdata.com
Множество визуализаций и страниц с туториалами по их созданию.
4. Блог Datawrapper — blog.datawrapper.de
Статьи с примерами визуализаций и советами, например, по выбору цветовой палитры или подготовке данных.
5. D3.js — d3js.org
Не удержалась и всё-таки включила пункт про код. Но и не только, на сайте можно найти множество примеров от простых до сложных с подробным разбором их создания.
===
Канал Data Driven Культура — гид в мир данных и их представления
#визуал #книга #знания
Please open Telegram to view this post
VIEW IN TELEGRAM