State of Analytics Engineering - Обзор мировых трендов от dbt
Цвета на неотсортированных чартах - из моих страшных снов, но выводы интересные:
- 46% опрошенных дата лидеров планируют увеличить инвестиции в data quality и observability в этом году — это самая популярная область для будущих инвестиций. Кажется реально пора
- Отсутствие координации между data producers и потребителями данных воспринимается всеми опрошенными как основная угроза для экосистемы в этом году. Data contracts в топе приоритетов
- 71% опрошенных положительно оценили продуктивность и гибкость команд по обработке данных, тогда как внедрение data ownership стало основной проблемой для большинства.
- Только 19% data лидеров полностью удовлетворены статусом внедрения self-service аналитики (и это после 15 лет эпохи SS BI)
- Лидеры аналитики поголовно обеспокоены потребностями стейкхолдеров. 42% говорят, что их главная проблема заключается в том, что "Данные не находятся там, где в них нуждаются бизнес". Поэтично
https://www.getdbt.com/state-of-analytics-engineering-2023
Источник ссылки - @trumassive
Цвета на неотсортированных чартах - из моих страшных снов, но выводы интересные:
- 46% опрошенных дата лидеров планируют увеличить инвестиции в data quality и observability в этом году — это самая популярная область для будущих инвестиций. Кажется реально пора
- Отсутствие координации между data producers и потребителями данных воспринимается всеми опрошенными как основная угроза для экосистемы в этом году. Data contracts в топе приоритетов
- 71% опрошенных положительно оценили продуктивность и гибкость команд по обработке данных, тогда как внедрение data ownership стало основной проблемой для большинства.
- Только 19% data лидеров полностью удовлетворены статусом внедрения self-service аналитики (и это после 15 лет эпохи SS BI)
- Лидеры аналитики поголовно обеспокоены потребностями стейкхолдеров. 42% говорят, что их главная проблема заключается в том, что "Данные не находятся там, где в них нуждаются бизнес". Поэтично
https://www.getdbt.com/state-of-analytics-engineering-2023
Источник ссылки - @trumassive
Когда у Lisa Charlotte Muth выходит новая статья приходится все бросать и читать. Это всегда неповерхностно и свежо.
На этот раз раскрывает смысл своей мысли про то, что “Grey is your best friend in data vis”
https://blog.datawrapper.de/emphasize-with-color-in-data-visualizations/
Если еще не - прочтите и другие статьи автора в блоге datawrapper
Left Join кажется даже их переводили частично
Кажется пора сделать учебный miro борд со всеми ее графическими примерами чтобы залипать было удобнее 🧐
На этот раз раскрывает смысл своей мысли про то, что “Grey is your best friend in data vis”
https://blog.datawrapper.de/emphasize-with-color-in-data-visualizations/
Если еще не - прочтите и другие статьи автора в блоге datawrapper
Left Join кажется даже их переводили частично
Кажется пора сделать учебный miro борд со всеми ее графическими примерами чтобы залипать было удобнее 🧐
Datawrapper
Emphasize what you want readers to see with color | Datawrapper Blog
By emphasizing certain data points and de-emphasizing others, you can decide what you want readers to see first, second, third, and last. Here's how.
▪️Про градиенты в форматировании чартов - тут все просто: их используют дегенераты от дашбординга, отнимайте BI тул у таких сотрудников.
▪️Про скругления - важно добавить. Нельзя это делать не только с барами, но и с плашками (такие прямоугольники под графиками). Это не нужно.. никогда. Является явным проявлением "декоративности", создающего когнитивную нагрузку пользователю на пустом месте и без всякой пользы
▪️Про бездумную покраску баров в цвета брендбука без учета цветовых коннотаций - камон, не верю, что кто-то так делает. Явный перегиб рассерженного Романа.
▪️Забыт страшный зашквар - огромные внешние паддинги между объектами и обратная крайность - нехватка внутренних отступов внутри рамки графика. Одно жуткая пошлость и расточительство, второе уродство. Хуже только добавление теней.
▪️Наброс на специальные сервисы несправедлив, людям не повезло с BI системой и они просто хотят делать нестыдные палитры. Нельзя быть таким категоричным.
Надо ли говорить что типовую разметку дашборда нашей команды я считаю образцовой.
В отличие от Романа - у меня нет позитивного финала этого поста. Я не считаю, что информационный дизайн и визуализация данных как навыки можно кардинально развить. Это как ...с музыкальным слухом, можно выучить аккорды, не более.
В счастью BI дашборды - вещь прямо скажем маловажная, имеющая локальное значение даже для аналитики, не то что для мира. Соблазн ставить их в абсолют работы - гордыня (о как я грешен). В мире ИИ и нейроинтерфейсов у дашборда не будет музея. Раунд.
🤡
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Всем солнечной субботы.
Чтобы после пятницы на утро - светлая часть таки была больше темной )
Тест на возраст - кто кого узнал на фото? (Соотношение клика и табло ровно пополам)
Чтобы после пятницы на утро - светлая часть таки была больше темной )
Тест на возраст - кто кого узнал на фото? (Соотношение клика и табло ровно пополам)
Стресс – реакция в ответ на воздействие, требующее от организма изменений работы. Так же хорошее обучение меняет прежний комплекс мыслей и действий и этим вызывает тревогу.
Хотя может это какая-то моя личная проблема. Что-то из детства) Anyway
Единственная форма, не вызывающая у меня такой реакции, это канвасы - эти бесконечные борды
- Мозг реально радуется возможности обозрить весь объем информации визуально.
- Логические связи в виде стрелочек, эконосят силы на самостоятельную систематизацию.
- Игровой паттерн карты которую можно изучать приближая и отдаляя
- Какие-то наверное еще феномены тут есть, Мастер языковых карт @lingualize дополни пожста)
В итоге в любой непонятной ситуации я делаю Miro борды, чем думаю изрядно достаю свою команду
👉 А теперь полезный контент - два публичных обучающих community-канваса случились недавно у Count.co:
▪️ The Ultimate SQL Guide - нечто большее чем популярные Free cheat sheets. Удобно и как тренажер для начинающих (в рамках self-service / data literacy обучающией программы) так и как рефрешер отдельных концептов для аналитиков. Пример Company SQL Style Guide - стоит перенять идею.
▪️ The ultimate guide to dbt - глубокий обзор одного из самых популярных продуктов для трансформации данных. Готовый материал для онбординга новичка.
Лайв немного тормозит. Если запариться можно выгрузить в PDF все.
🔗 Посты про эти гайды
https://blog.count.co/the-ultimate-sql-guide/
https://blog.count.co/the-ultimate-guide-to-dbt/
🔗 Пост про count.co и про их более ранний канвас - Guide to hiring your data team
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Data products and Data mesh board
Готовясь к одному новому проекту - начал перекапывать снова тему data products. Здесь как обычно много противоречий в трактовках, но магистральная все-таки концепция data mesh.
Короче залип в статьи Eric Broda по теме. Когда вижу у кого-то такую качественную систематизацию предмета - приходится садиться и встраивать ее в свою картину (очередная обсессия).
Я не во все вник, честно говоря. Мне эта тема всегда была интересна отдельными частями. Но в итоге набросал для себя борд (да опять) из слайдов автора и ссылками на статьи по каждому направлению - может кому пригодится. Много консалтерских абстракций, но местами очень полезно.
Уже потом подумал, что уж раз такая пьянка - надо бы и аналогичные картинки от Zhamak Dehghani (основательница парадигмы Data Mesh) сложить в нагядную систему. Но как нибудь потом.
MIRO - https://miro.com/app/board/uXjVMveo0ls=/
PDF - https://disk.yandex.ru/i/dwqpBV6nG6fsJQ
Готовясь к одному новому проекту - начал перекапывать снова тему data products. Здесь как обычно много противоречий в трактовках, но магистральная все-таки концепция data mesh.
Короче залип в статьи Eric Broda по теме. Когда вижу у кого-то такую качественную систематизацию предмета - приходится садиться и встраивать ее в свою картину (очередная обсессия).
Я не во все вник, честно говоря. Мне эта тема всегда была интересна отдельными частями. Но в итоге набросал для себя борд (да опять) из слайдов автора и ссылками на статьи по каждому направлению - может кому пригодится. Много консалтерских абстракций, но местами очень полезно.
Уже потом подумал, что уж раз такая пьянка - надо бы и аналогичные картинки от Zhamak Dehghani (основательница парадигмы Data Mesh) сложить в нагядную систему. Но как нибудь потом.
MIRO - https://miro.com/app/board/uXjVMveo0ls=/
PDF - https://disk.yandex.ru/i/dwqpBV6nG6fsJQ
Data strategy design guide
Гайз, хочется озвучить одну мысль - Дата стратегию нельзя разработать руками консультантов.
Это оказывается не всем очевидно. Компании продолжают ее заказывать под ключ за много денег.
Дата стратегия (а также BI, AI и проч стретегии) может принести пользу только если рождается в мыслительных муках data лидершип команды компании. Этот процесс консультант может только ускорить и сделать более приятным.
Дойдя до этой мысли - я пришел к формату воркшопов по фасилитации элементов стратегии в области data & analytics, где 70% это брейнстормы, работа в группах и проч формы структурированного общения со стикерами и вайтбордами. Остальное - информационный разогрев в виде слайдов - расширяющий сознания участникам практиками релевантными компании и агенде.
Конец мысли.
Готовясь тут к проекту - нашел интересный data strategy design guide, похожий по сути на мой борд по bi стратегии в некоторых ключевых идеях (собственно они все на поверхности).
- У ребят лучше проработана методология фасилитации в виде упражнений для воркшопа. Без примеров они не все до конца понятны, надо додумывать.
- Плюс тут сильно больше фокуса на анализе бизнес стратегии и ее связывании с data стратегией. Я же сильно сползаю в тактические практики.
Короче сделал для себя бордец, для вникания. Если кто будет тоже вникать - делитесь фидбеком применения
MIRO - https://miro.com/app/board/uXjVMti4FYE=/
Гайз, хочется озвучить одну мысль - Дата стратегию нельзя разработать руками консультантов.
Это оказывается не всем очевидно. Компании продолжают ее заказывать под ключ за много денег.
Дата стратегия (а также BI, AI и проч стретегии) может принести пользу только если рождается в мыслительных муках data лидершип команды компании. Этот процесс консультант может только ускорить и сделать более приятным.
Дойдя до этой мысли - я пришел к формату воркшопов по фасилитации элементов стратегии в области data & analytics, где 70% это брейнстормы, работа в группах и проч формы структурированного общения со стикерами и вайтбордами. Остальное - информационный разогрев в виде слайдов - расширяющий сознания участникам практиками релевантными компании и агенде.
Конец мысли.
Готовясь тут к проекту - нашел интересный data strategy design guide, похожий по сути на мой борд по bi стратегии в некоторых ключевых идеях (собственно они все на поверхности).
- У ребят лучше проработана методология фасилитации в виде упражнений для воркшопа. Без примеров они не все до конца понятны, надо додумывать.
- Плюс тут сильно больше фокуса на анализе бизнес стратегии и ее связывании с data стратегией. Я же сильно сползаю в тактические практики.
Короче сделал для себя бордец, для вникания. Если кто будет тоже вникать - делитесь фидбеком применения
MIRO - https://miro.com/app/board/uXjVMti4FYE=/
Хорошие reference архитектуры дата платформы
Хотя кое-где маловато примеров инструментов, но все мейджеры есть и выглядит чистенько.
Ярким цветом выделены блоки, в которых произошли изменения за последние два года.
Статья со словесными наблюдениями авторов и картинки в хорошем разрешении:
https://a16z.com/2020/10/15/emerging-architectures-for-modern-data-infrastructure/
Хотя кое-где маловато примеров инструментов, но все мейджеры есть и выглядит чистенько.
Ярким цветом выделены блоки, в которых произошли изменения за последние два года.
Статья со словесными наблюдениями авторов и картинки в хорошем разрешении:
https://a16z.com/2020/10/15/emerging-architectures-for-modern-data-infrastructure/
Semantic Layer, Enterprise Ontology и Knowlenge Gragh - новый импульс развития от LLM проектов?
В рамках брейнсторма с клиентом вышли на использование Enterprise Ontology для задачи генерации доменной структуры данных deta mesh и идентификации data products. После этого решил освежить тему дата онтологий, уж больно редко встречаешь эту тему в дискурсе.
Я часто рисовал онтологический граф для первичного понимания структуры связей данных компании - такая картинка всегда наглядна и помогает выстроить верхнеуровневую систему доменов, но не более. Никогда не видел, чтобы компании автоматизировали ее и связывали с физическим слоем данных, как собственно она и задумалась. Отзовитесь кто работал над таким проектом или встречал ?
Интересно, что хайп вокруг Semantic Layer не вернул общий фокус на Enterprise Ontology и Knowlenge Gragh концепции.
Идея и ценность Semantic Layer всем очевидна - как минимум важность унификации и дедубликации скриптов и расчета метрик между dwh и BI тулом всем понятна.
📚Идеи же Enterprise Ontology и Knowlenge Gragh более академичные и сложные для понимания при высокой трудоемкости. Но теперь уже хайп LLM моделей и Чатботов способен снова их вывести наверх роадмепов - Knowlenge Gragh как основа для языковой модели сильно повышает шансы для качественного роста релевантности ее работы.
Пока разбирался сделал knowledge-борд по предмету с разными ссылками на статьи. Шарю:
🔗 https://miro.com/app/board/uXjVMqqPhjM=/?share_link_id=571206686090
В рамках брейнсторма с клиентом вышли на использование Enterprise Ontology для задачи генерации доменной структуры данных deta mesh и идентификации data products. После этого решил освежить тему дата онтологий, уж больно редко встречаешь эту тему в дискурсе.
Я часто рисовал онтологический граф для первичного понимания структуры связей данных компании - такая картинка всегда наглядна и помогает выстроить верхнеуровневую систему доменов, но не более. Никогда не видел, чтобы компании автоматизировали ее и связывали с физическим слоем данных, как собственно она и задумалась. Отзовитесь кто работал над таким проектом или встречал ?
Интересно, что хайп вокруг Semantic Layer не вернул общий фокус на Enterprise Ontology и Knowlenge Gragh концепции.
Идея и ценность Semantic Layer всем очевидна - как минимум важность унификации и дедубликации скриптов и расчета метрик между dwh и BI тулом всем понятна.
📚Идеи же Enterprise Ontology и Knowlenge Gragh более академичные и сложные для понимания при высокой трудоемкости. Но теперь уже хайп LLM моделей и Чатботов способен снова их вывести наверх роадмепов - Knowlenge Gragh как основа для языковой модели сильно повышает шансы для качественного роста релевантности ее работы.
Пока разбирался сделал knowledge-борд по предмету с разными ссылками на статьи. Шарю:
🔗 https://miro.com/app/board/uXjVMqqPhjM=/?share_link_id=571206686090