О том, как организации мало следят, что именно делают дата аналитики и не оптимизируют их работу, и о том, как таки повысить их эффективность в статье Wayne Eckerson
Из проблем что кажутся реальными:
- Слишком изолированы.. сидят в подвалах бизнес-подразделений с ограниченной связью с другими аналитиками данных и командой корпоративных данных.
- Слишком мало повторного использования.. не делятся своей работой, пайпланами и метриками, следовательно, не используют это повторно другие аналитики
- а также проблемы типа Too much time fixing data, Too dependent on data engineers, Too little support
Далее 5 рекомендаций по улучшениям. Из хорошего - создание data продуктов для ускорения операций дата аналитика и расширения анализа и переиспользования.
"A data product is typically SQL code that has been blessed or certified by an enterprise curator. To turn the asset into a data product, the analyst needs to describe the product in detail (i.e., create the metadata) and submit it for review and certification by a governance review board that inspects the code"
Замечания поверх:
- data products по сути такие полуфабрикаты - те же ноуты/вьюз, причесанные в продукт. Имеют место как стихийное явление комьюнити, но можно и развить как инициативу с каталогом и сертификацией
- Data analyst в этой статье можно заменить на BI Analyst кому эта роль ближе
- Лестница карьерного развития хорошая, хотя неясно почему data scientist здесь является высшей ступенью для развития BI/Data analyst, ведь скорее параллельная ветка
🔗 полная версия статьи
Из проблем что кажутся реальными:
- Слишком изолированы.. сидят в подвалах бизнес-подразделений с ограниченной связью с другими аналитиками данных и командой корпоративных данных.
- Слишком мало повторного использования.. не делятся своей работой, пайпланами и метриками, следовательно, не используют это повторно другие аналитики
- а также проблемы типа Too much time fixing data, Too dependent on data engineers, Too little support
Далее 5 рекомендаций по улучшениям. Из хорошего - создание data продуктов для ускорения операций дата аналитика и расширения анализа и переиспользования.
"A data product is typically SQL code that has been blessed or certified by an enterprise curator. To turn the asset into a data product, the analyst needs to describe the product in detail (i.e., create the metadata) and submit it for review and certification by a governance review board that inspects the code"
Замечания поверх:
- data products по сути такие полуфабрикаты - те же ноуты/вьюз, причесанные в продукт. Имеют место как стихийное явление комьюнити, но можно и развить как инициативу с каталогом и сертификацией
- Data analyst в этой статье можно заменить на BI Analyst кому эта роль ближе
- Лестница карьерного развития хорошая, хотя неясно почему data scientist здесь является высшей ступенью для развития BI/Data analyst, ведь скорее параллельная ветка
🔗 полная версия статьи
Тяжело когда из команды уходят сильные сотрудники, тяжелее когда уходят по абсолютно внешним причинам, еще больнее, когда это Head of DWH. У нас все это произошло разом.
Итог для нас - 🤯😭😓 вроде пережили, бежим дальше
Итог для рынка труда: +1 звездный кандидат на роль Руководителя DWH / DWH&BI Architect в вашей компании. Оторвали от сердца, забирайте)
👉 Профиль Александра на LinkenIn
Результаты работы Александра Вилкова в Luxoft вы можете оценить по этому прощальному датавизу. Возможно кому то повезет и такой же объем ценности будет произведен и для вашей компании и BI проекта 💪
Итог для нас - 🤯😭😓 вроде пережили, бежим дальше
Итог для рынка труда: +1 звездный кандидат на роль Руководителя DWH / DWH&BI Architect в вашей компании. Оторвали от сердца, забирайте)
👉 Профиль Александра на LinkenIn
Результаты работы Александра Вилкова в Luxoft вы можете оценить по этому прощальному датавизу. Возможно кому то повезет и такой же объем ценности будет произведен и для вашей компании и BI проекта 💪
В поисках понимания что же самом деле insight management в компании - общался на неделе с kausa.ai - ребята делают инструмент диагностической аналитики (как они себя определяют).
Тул немного сырой и пока негибкий, но есть в нем новая идея пользовательского BI опыта:
- фокус на анализе как на сущности, которую настраиваешь и запускаешь по кнопке. + две сущности метрика и датасет
- нет ML блекбокса (🤔необычно). В основе простая математика про расчет вклада в отклонение метрики между всеми факторами, обсчитанных на всех уровнях датасета. Все просто и отвечает на вопросы почему изменилась метрика и что влияло сильнее
- из коробки идут конструируемые сообщения в teams/slack (инсайты 🤌?). можно задать количество выводимых в алерт контрибьюторов и глубину поиска вниз по факторам, запуски пушей ставятся на расписание
Слабые/странные стороны продукта:
- визуал пока сведен к минимуму - тупо таблица влияния факторов. Дашбордов тут не ждешь, но как то скудно
- не хватило самари значимых файндингов, тем более что все комбинации обсчитаны и можно бы это емко представить. Чтоб не только аналитику в этом копаться.
- клауд бейзд, но - данные загружаются, обсчитываются и.. после удаляются. Типа не хранятся
- анализ можно уточнять фильтрами для разных аудиторий, но для каждой комбинации прав необходимо по сути создавать свой анализ и ранить отдельно
- оплата идёт за запуски, вернее за затраченные мощности. Пользователи не лимитируются.
Забавно что ребята предлагают пилот на 2 мес, где мы настроим себе несколько моделей, а они обсчитают для нас ценник замерив ресурсы. Продукт можно назвать дешевым, они только начинают выходить на крупных клиентов и вписывается в блудняки охотно, ищут себя.
Продукт достаточно легко повторить. Мы размышляем о таком туле только с более широким функционалом.
Отдельный такой диагностический анализ можно создать в любой средней+ биай системе. Но тут быстро, чистенько и с настраиваемыми алертами в корп мессенджеры. И нет соблазна залепить +1 дашборд. Уже немало.
У кого есть аналоги на примете ?
Тул немного сырой и пока негибкий, но есть в нем новая идея пользовательского BI опыта:
- фокус на анализе как на сущности, которую настраиваешь и запускаешь по кнопке. + две сущности метрика и датасет
- нет ML блекбокса (🤔необычно). В основе простая математика про расчет вклада в отклонение метрики между всеми факторами, обсчитанных на всех уровнях датасета. Все просто и отвечает на вопросы почему изменилась метрика и что влияло сильнее
- из коробки идут конструируемые сообщения в teams/slack (инсайты 🤌?). можно задать количество выводимых в алерт контрибьюторов и глубину поиска вниз по факторам, запуски пушей ставятся на расписание
Слабые/странные стороны продукта:
- визуал пока сведен к минимуму - тупо таблица влияния факторов. Дашбордов тут не ждешь, но как то скудно
- не хватило самари значимых файндингов, тем более что все комбинации обсчитаны и можно бы это емко представить. Чтоб не только аналитику в этом копаться.
- клауд бейзд, но - данные загружаются, обсчитываются и.. после удаляются. Типа не хранятся
- анализ можно уточнять фильтрами для разных аудиторий, но для каждой комбинации прав необходимо по сути создавать свой анализ и ранить отдельно
- оплата идёт за запуски, вернее за затраченные мощности. Пользователи не лимитируются.
Забавно что ребята предлагают пилот на 2 мес, где мы настроим себе несколько моделей, а они обсчитают для нас ценник замерив ресурсы. Продукт можно назвать дешевым, они только начинают выходить на крупных клиентов и вписывается в блудняки охотно, ищут себя.
Продукт достаточно легко повторить. Мы размышляем о таком туле только с более широким функционалом.
Отдельный такой диагностический анализ можно создать в любой средней+ биай системе. Но тут быстро, чистенько и с настраиваемыми алертами в корп мессенджеры. И нет соблазна залепить +1 дашборд. Уже немало.
У кого есть аналоги на примете ?
This media is not supported in your browser
VIEW IN TELEGRAM
Очень залипательная 2D визуализация кубика-рубика.. цвета не оригинальные, но все равно хорошо. Мозг активно требует замедления скорости )
Источник twitter
Источник twitter
Если вы когда-либо подключались к PostgreSQL, которая крутится под вашим Tableau Server, то вы наверняка знаете, сколько любопытной информации там есть. Встроенные в сервер страшненькие и простенькие отчеты про трафик и джобы - это лишь часть картины 🎨
Причём, это далеко не самая привлекательная ее часть.
Если как следует покопаться в этих данных, можно получить куда более полную информацию о просмотрах и других действиях пользователей, узнать больше об обновлениях экстрактов и проблемах с ними - в общем, не быть сапожником без сапог: разве мы не заслуживаем лучшего, чем admin views 👀?
Давайте начнем с довольно простой (на первый взгляд) задачи - как поймать и разогнать очереди из экстрактов на сервере? Если у вас есть нерешенные вопросы по поводу добычи серверной статистики - жду комментов, возможно, идея или даже решение уже есть 🙌🏻
👉 https://datanature.ru/server-statistics-1
#tableautips
Причём, это далеко не самая привлекательная ее часть.
Если как следует покопаться в этих данных, можно получить куда более полную информацию о просмотрах и других действиях пользователей, узнать больше об обновлениях экстрактов и проблемах с ними - в общем, не быть сапожником без сапог: разве мы не заслуживаем лучшего, чем admin views 👀?
Давайте начнем с довольно простой (на первый взгляд) задачи - как поймать и разогнать очереди из экстрактов на сервере? Если у вас есть нерешенные вопросы по поводу добычи серверной статистики - жду комментов, возможно, идея или даже решение уже есть 🙌🏻
👉 https://datanature.ru/server-statistics-1
#tableautips
Winners of the Business Analytics category in the 2022 Information is Beautiful Awards. Выглядит странно..
Премия одна из немногих в отрасли и не хочется ее хейтить. Но победители в номинации Business Analytics - сплошные вопросы.
Победитель The star of our work - отчет о работе команды в виде постера с аллегорией на звездное небо. Арт составляющую не трогаем, но символы выбранные для визуализации проектов - это тренажер для оперативной памяти. Чтение похоже на расшифровку древнего языка - никак не удается удержать символьную легенду в сознании. немного странно если мы говорим про бизнес-аналитику.
При этом третье место - более менее классический dashboard от крутого таблиста Pradeep Kumar. Не самая при этом его мощная работа. если придираться сам дашборд содержит мало контекста для бизнес-аналитического инструмента. Такие обычно первыми архивируется так как их не используют. Но это хотя бы бизнес аналитика..
По тегу RWFD на tableau public есть кстати немало хорошего бизнес дашбординга https://public.tableau.com/app/search/vizzes/RWFD
Понятно, что есть известная проблема этой номинации - корпоративный дашбординг очень сложно вытащить на всеобщее обозрение. И тем не менее. Ощущение что под Business Analytics ребята понимают что-то иное.
informationisbeautifulawards
Премия одна из немногих в отрасли и не хочется ее хейтить. Но победители в номинации Business Analytics - сплошные вопросы.
Победитель The star of our work - отчет о работе команды в виде постера с аллегорией на звездное небо. Арт составляющую не трогаем, но символы выбранные для визуализации проектов - это тренажер для оперативной памяти. Чтение похоже на расшифровку древнего языка - никак не удается удержать символьную легенду в сознании. немного странно если мы говорим про бизнес-аналитику.
При этом третье место - более менее классический dashboard от крутого таблиста Pradeep Kumar. Не самая при этом его мощная работа. если придираться сам дашборд содержит мало контекста для бизнес-аналитического инструмента. Такие обычно первыми архивируется так как их не используют. Но это хотя бы бизнес аналитика..
По тегу RWFD на tableau public есть кстати немало хорошего бизнес дашбординга https://public.tableau.com/app/search/vizzes/RWFD
Понятно, что есть известная проблема этой номинации - корпоративный дашбординг очень сложно вытащить на всеобщее обозрение. И тем не менее. Ощущение что под Business Analytics ребята понимают что-то иное.
informationisbeautifulawards
Провели последние пару недель в профессиональном споре о нюансах CTB / RTB* подхода в проектах централизованной BI команды. У кого есть те же мысли - велком в комменты, нужны внешние мнения)
Суть проблемы: производство отчетов постепенно забивает капасити BI разработчиков поддержкой этих решений. И это даже при регулярной архивации устаревших отчетов и росте команды. В результате у BI отдела не хватает ресурса экстренно и без ущерба стартованным проектам брать работу запросы от топ-менеджмента, особенно если они идут пачкой (после крупного менеджерского шабаша). Теряется оперативность аналитики как сервиса. А уход отдельного BI аналитика со сложными контекстами дополнительно повышает "давление в системе".
У проблемы разные пути решений:
- Выставлять заслоны на пути новых запросов. Создавать жесткие критерии приема задач и скоринга их приоритетности. Снизить условно скорость работы фабрики отчетов. Помогает получить на вход более "осознанные" задачи в части требований и ожиданий и не делать проекты низкой ценности и охвата. Делается ресурсный буфер. Но далее у такого пушбека будет предел если вы сервисная команда
- Повышать кросс-доменность в команде. Помогает гибче передавать проекты, бекапить уходы, легче находить ресурс на срочные таски
- Развивать self-service в бизнесе. Какие то проекты получится передать после разработки или с самого начала. Но на приемлемый уровень выходят только малая часть бизнес-подразделений, да и сложные кросс-доменные отчеты передавать некому.
- делить команду на специализированные RTB/CTB BI группы. Тут самое интересное. Подход помимо прочего приводит к необходимости дублировать коммуникации с крупными заказчиками по проектам разных типов..
У кого иной опыт в этой теме?
*RTB (run the business) BI проект - классический кейс автоматизации анализа по требованиям
CTB (change the business) BI проект - является частью транформационных инициатив компании: меняют несколько процессов; идет от топ менеджмента; компонент исследовательского анализа превосходит собственно цель автоматизации
Суть проблемы: производство отчетов постепенно забивает капасити BI разработчиков поддержкой этих решений. И это даже при регулярной архивации устаревших отчетов и росте команды. В результате у BI отдела не хватает ресурса экстренно и без ущерба стартованным проектам брать работу запросы от топ-менеджмента, особенно если они идут пачкой (после крупного менеджерского шабаша). Теряется оперативность аналитики как сервиса. А уход отдельного BI аналитика со сложными контекстами дополнительно повышает "давление в системе".
У проблемы разные пути решений:
- Выставлять заслоны на пути новых запросов. Создавать жесткие критерии приема задач и скоринга их приоритетности. Снизить условно скорость работы фабрики отчетов. Помогает получить на вход более "осознанные" задачи в части требований и ожиданий и не делать проекты низкой ценности и охвата. Делается ресурсный буфер. Но далее у такого пушбека будет предел если вы сервисная команда
- Повышать кросс-доменность в команде. Помогает гибче передавать проекты, бекапить уходы, легче находить ресурс на срочные таски
- Развивать self-service в бизнесе. Какие то проекты получится передать после разработки или с самого начала. Но на приемлемый уровень выходят только малая часть бизнес-подразделений, да и сложные кросс-доменные отчеты передавать некому.
- делить команду на специализированные RTB/CTB BI группы. Тут самое интересное. Подход помимо прочего приводит к необходимости дублировать коммуникации с крупными заказчиками по проектам разных типов..
У кого иной опыт в этой теме?
*RTB (run the business) BI проект - классический кейс автоматизации анализа по требованиям
CTB (change the business) BI проект - является частью транформационных инициатив компании: меняют несколько процессов; идет от топ менеджмента; компонент исследовательского анализа превосходит собственно цель автоматизации
Tableau csv + Graph = Восторг
В нашей команде в Luxoft мы часто создаем сложные tableau отчеты и развиваем их годами, передавая от аналитика к аналитику. Чтобы трансферить знания быстро и структурно мы даже начали рисовать майдмепы в Miro (см фото) для особо сложных отчетов, визуализируя ключевые связи, калькуляции, параметры и прочую подкопотную живность табло воркбука. Штука полезная но уж больно одноразовая и запарная.
Но вот статья LaDataViz о создании графов в табло - навела на страшную мысль запилить графы из матадататы табло воркбука. Ведь наши майдмепы сильно похожи на графы. А вытащить из CSV файла объекты и связи - задача рабочая.
В итоге, мы получили чудо из чудес. Красота возможно даже превосходит полезность. Велик соблазн взять любимые отчеты да распечатать в постеры на стену)
https://screenrec.com/share/rCjLtJnZ8b
Не все еще удалось размапить из типологии (сеты, user filters… ) и визуал можно докрутить, но штука определенно упрощает знакомство с отчетом или процесс вспоминания его архитектуры после паузы. Также помогает аудировать и чистить книгу анализируя связи в каскаде калькуляций. Нельзя назвать это полной заменой майдмепу - нет контекстных комментариев к связям, но зато ноль трудозатрат при постановке тула на обновление по всем отчетам.
Позже напишем статью с деталями реализации
The Oscar goes to @mynameisircou - Ира реализовала всю сложную часть проекта 🎉
В нашей команде в Luxoft мы часто создаем сложные tableau отчеты и развиваем их годами, передавая от аналитика к аналитику. Чтобы трансферить знания быстро и структурно мы даже начали рисовать майдмепы в Miro (см фото) для особо сложных отчетов, визуализируя ключевые связи, калькуляции, параметры и прочую подкопотную живность табло воркбука. Штука полезная но уж больно одноразовая и запарная.
Но вот статья LaDataViz о создании графов в табло - навела на страшную мысль запилить графы из матадататы табло воркбука. Ведь наши майдмепы сильно похожи на графы. А вытащить из CSV файла объекты и связи - задача рабочая.
В итоге, мы получили чудо из чудес. Красота возможно даже превосходит полезность. Велик соблазн взять любимые отчеты да распечатать в постеры на стену)
https://screenrec.com/share/rCjLtJnZ8b
Не все еще удалось размапить из типологии (сеты, user filters… ) и визуал можно докрутить, но штука определенно упрощает знакомство с отчетом или процесс вспоминания его архитектуры после паузы. Также помогает аудировать и чистить книгу анализируя связи в каскаде калькуляций. Нельзя назвать это полной заменой майдмепу - нет контекстных комментариев к связям, но зато ноль трудозатрат при постановке тула на обновление по всем отчетам.
Позже напишем статью с деталями реализации
The Oscar goes to @mynameisircou - Ира реализовала всю сложную часть проекта 🎉