Data products and Data mesh board
Готовясь к одному новому проекту - начал перекапывать снова тему data products. Здесь как обычно много противоречий в трактовках, но магистральная все-таки концепция data mesh.
Короче залип в статьи Eric Broda по теме. Когда вижу у кого-то такую качественную систематизацию предмета - приходится садиться и встраивать ее в свою картину (очередная обсессия).
Я не во все вник, честно говоря. Мне эта тема всегда была интересна отдельными частями. Но в итоге набросал для себя борд (да опять) из слайдов автора и ссылками на статьи по каждому направлению - может кому пригодится. Много консалтерских абстракций, но местами очень полезно.
Уже потом подумал, что уж раз такая пьянка - надо бы и аналогичные картинки от Zhamak Dehghani (основательница парадигмы Data Mesh) сложить в нагядную систему. Но как нибудь потом.
MIRO - https://miro.com/app/board/uXjVMveo0ls=/
PDF - https://disk.yandex.ru/i/dwqpBV6nG6fsJQ
Готовясь к одному новому проекту - начал перекапывать снова тему data products. Здесь как обычно много противоречий в трактовках, но магистральная все-таки концепция data mesh.
Короче залип в статьи Eric Broda по теме. Когда вижу у кого-то такую качественную систематизацию предмета - приходится садиться и встраивать ее в свою картину (очередная обсессия).
Я не во все вник, честно говоря. Мне эта тема всегда была интересна отдельными частями. Но в итоге набросал для себя борд (да опять) из слайдов автора и ссылками на статьи по каждому направлению - может кому пригодится. Много консалтерских абстракций, но местами очень полезно.
Уже потом подумал, что уж раз такая пьянка - надо бы и аналогичные картинки от Zhamak Dehghani (основательница парадигмы Data Mesh) сложить в нагядную систему. Но как нибудь потом.
MIRO - https://miro.com/app/board/uXjVMveo0ls=/
PDF - https://disk.yandex.ru/i/dwqpBV6nG6fsJQ
Data strategy design guide
Гайз, хочется озвучить одну мысль - Дата стратегию нельзя разработать руками консультантов.
Это оказывается не всем очевидно. Компании продолжают ее заказывать под ключ за много денег.
Дата стратегия (а также BI, AI и проч стретегии) может принести пользу только если рождается в мыслительных муках data лидершип команды компании. Этот процесс консультант может только ускорить и сделать более приятным.
Дойдя до этой мысли - я пришел к формату воркшопов по фасилитации элементов стратегии в области data & analytics, где 70% это брейнстормы, работа в группах и проч формы структурированного общения со стикерами и вайтбордами. Остальное - информационный разогрев в виде слайдов - расширяющий сознания участникам практиками релевантными компании и агенде.
Конец мысли.
Готовясь тут к проекту - нашел интересный data strategy design guide, похожий по сути на мой борд по bi стратегии в некоторых ключевых идеях (собственно они все на поверхности).
- У ребят лучше проработана методология фасилитации в виде упражнений для воркшопа. Без примеров они не все до конца понятны, надо додумывать.
- Плюс тут сильно больше фокуса на анализе бизнес стратегии и ее связывании с data стратегией. Я же сильно сползаю в тактические практики.
Короче сделал для себя бордец, для вникания. Если кто будет тоже вникать - делитесь фидбеком применения
MIRO - https://miro.com/app/board/uXjVMti4FYE=/
Гайз, хочется озвучить одну мысль - Дата стратегию нельзя разработать руками консультантов.
Это оказывается не всем очевидно. Компании продолжают ее заказывать под ключ за много денег.
Дата стратегия (а также BI, AI и проч стретегии) может принести пользу только если рождается в мыслительных муках data лидершип команды компании. Этот процесс консультант может только ускорить и сделать более приятным.
Дойдя до этой мысли - я пришел к формату воркшопов по фасилитации элементов стратегии в области data & analytics, где 70% это брейнстормы, работа в группах и проч формы структурированного общения со стикерами и вайтбордами. Остальное - информационный разогрев в виде слайдов - расширяющий сознания участникам практиками релевантными компании и агенде.
Конец мысли.
Готовясь тут к проекту - нашел интересный data strategy design guide, похожий по сути на мой борд по bi стратегии в некоторых ключевых идеях (собственно они все на поверхности).
- У ребят лучше проработана методология фасилитации в виде упражнений для воркшопа. Без примеров они не все до конца понятны, надо додумывать.
- Плюс тут сильно больше фокуса на анализе бизнес стратегии и ее связывании с data стратегией. Я же сильно сползаю в тактические практики.
Короче сделал для себя бордец, для вникания. Если кто будет тоже вникать - делитесь фидбеком применения
MIRO - https://miro.com/app/board/uXjVMti4FYE=/
Хорошие reference архитектуры дата платформы
Хотя кое-где маловато примеров инструментов, но все мейджеры есть и выглядит чистенько.
Ярким цветом выделены блоки, в которых произошли изменения за последние два года.
Статья со словесными наблюдениями авторов и картинки в хорошем разрешении:
https://a16z.com/2020/10/15/emerging-architectures-for-modern-data-infrastructure/
Хотя кое-где маловато примеров инструментов, но все мейджеры есть и выглядит чистенько.
Ярким цветом выделены блоки, в которых произошли изменения за последние два года.
Статья со словесными наблюдениями авторов и картинки в хорошем разрешении:
https://a16z.com/2020/10/15/emerging-architectures-for-modern-data-infrastructure/
Semantic Layer, Enterprise Ontology и Knowlenge Gragh - новый импульс развития от LLM проектов?
В рамках брейнсторма с клиентом вышли на использование Enterprise Ontology для задачи генерации доменной структуры данных deta mesh и идентификации data products. После этого решил освежить тему дата онтологий, уж больно редко встречаешь эту тему в дискурсе.
Я часто рисовал онтологический граф для первичного понимания структуры связей данных компании - такая картинка всегда наглядна и помогает выстроить верхнеуровневую систему доменов, но не более. Никогда не видел, чтобы компании автоматизировали ее и связывали с физическим слоем данных, как собственно она и задумалась. Отзовитесь кто работал над таким проектом или встречал ?
Интересно, что хайп вокруг Semantic Layer не вернул общий фокус на Enterprise Ontology и Knowlenge Gragh концепции.
Идея и ценность Semantic Layer всем очевидна - как минимум важность унификации и дедубликации скриптов и расчета метрик между dwh и BI тулом всем понятна.
📚Идеи же Enterprise Ontology и Knowlenge Gragh более академичные и сложные для понимания при высокой трудоемкости. Но теперь уже хайп LLM моделей и Чатботов способен снова их вывести наверх роадмепов - Knowlenge Gragh как основа для языковой модели сильно повышает шансы для качественного роста релевантности ее работы.
Пока разбирался сделал knowledge-борд по предмету с разными ссылками на статьи. Шарю:
🔗 https://miro.com/app/board/uXjVMqqPhjM=/?share_link_id=571206686090
В рамках брейнсторма с клиентом вышли на использование Enterprise Ontology для задачи генерации доменной структуры данных deta mesh и идентификации data products. После этого решил освежить тему дата онтологий, уж больно редко встречаешь эту тему в дискурсе.
Я часто рисовал онтологический граф для первичного понимания структуры связей данных компании - такая картинка всегда наглядна и помогает выстроить верхнеуровневую систему доменов, но не более. Никогда не видел, чтобы компании автоматизировали ее и связывали с физическим слоем данных, как собственно она и задумалась. Отзовитесь кто работал над таким проектом или встречал ?
Интересно, что хайп вокруг Semantic Layer не вернул общий фокус на Enterprise Ontology и Knowlenge Gragh концепции.
Идея и ценность Semantic Layer всем очевидна - как минимум важность унификации и дедубликации скриптов и расчета метрик между dwh и BI тулом всем понятна.
📚Идеи же Enterprise Ontology и Knowlenge Gragh более академичные и сложные для понимания при высокой трудоемкости. Но теперь уже хайп LLM моделей и Чатботов способен снова их вывести наверх роадмепов - Knowlenge Gragh как основа для языковой модели сильно повышает шансы для качественного роста релевантности ее работы.
Пока разбирался сделал knowledge-борд по предмету с разными ссылками на статьи. Шарю:
🔗 https://miro.com/app/board/uXjVMqqPhjM=/?share_link_id=571206686090
Эмоциональная картина тех, кто переходит на российский BI
Эмоциональная картина перед началом осени
Эмоциональная картина в любой понедельник утром
Ваши варианты…
Источник @trumassive
(он «спиздил в инстаграме» говорит)
Эмоциональная картина перед началом осени
Эмоциональная картина в любой понедельник утром
Ваши варианты…
Источник @trumassive
(он «спиздил в инстаграме» говорит)
Пост интроспекции.
Ведение канала начало подбешивать немного. Прошло два года. Зачем я это делаю.
Анализирую (я же аналитик епт) :
1. Был у меня мотив "делиться с миром измышлениями умными".
Но тут оказалось что,
- во первых, сильнозанудные сложные темы вам не интересны в таком формате (то ли дело мамасики), легкий (в хорошем смысле) контент у меня делать не получается, а фановый я делать не хочу.
- во вторых - не сильно много у меня уникальных умных наблюдений оказывается) а пылесосить интернет в поисках статей, лишь бы не переставать постить что-то.. не комильфо. Знаю лучше способы справляться со стрессом)
2. Был у меня мотив "продавать через канал свои курсы и консалтинг".
Но оказалось, что
- во первых мало комумой консалтинг таки стал нужен "сейчас"
- во вторых можно для этого и чужими каналами пользоваться под ситуацию).
Но если у вас таки есть бюджет, интерес коллективно морщить лбы и весело поклеить стикеры - я за. Недовольных еще не было.
3. Был у меня мотив самолюбования.
Забавна тут сама механика. Я делаю вид, что я прям глубок в предмете. Вы тоже гладите внутреннего эксперта, когда скролите ленту и не вчитываясь особо - вьебываете палец вверх или охонек. Типа да чувак верю что ты что-то толковое нашел/понял, а ты поверь что я это заценил. Не всегда конечно так, упрощаю).
Но тут
- во первых, возникает мерзкая привычка смотреть на эти реакции, подписки/отписки. Как-то соотносить со своей ахуенностью. А это вообще-то недопустимо)
- во вторых - это жрет эмоциональный ресурс без всякой пользы.
4.Был у меня мотив общения с комьюнити .. на самом деле его особо нет, я прямо скажем, не про людей. Открытые BI-чатики отлично решают эту задачу если вдруг.
5. И тут бы закончить этот пост, но оказалось что у меня есть еще один скрытый мотив - "самообразовываться и развиваться".
Бесцельный серфинг в профессиональной сети быстро утомляет, а посты в канале отлично работают на фильтрацию своих интересов и структурирование их в дискретные мысли. И вот ради этой темы, кажется есть смысл продолжать.
Едем дальше. Буду постить еще бессистемнее и реже. То, что интересно мне.
Отключаю реакции - Будем честными, при таком подходе мне не важно ваше мнение, выраженное в лайках. Без обид).
Вместо ритуалов самопоглаживания - тратим, граждане, силы на что-то сутевое.
Лучше пишите комменты - их оставляю для хейта и не только - общаться с умными людьми таки оч кайфово.
Ведение канала начало подбешивать немного. Прошло два года. Зачем я это делаю.
Анализирую (я же аналитик епт) :
1. Был у меня мотив "делиться с миром измышлениями умными".
Но тут оказалось что,
- во первых, сильно
- во вторых - не сильно много у меня уникальных умных наблюдений оказывается) а пылесосить интернет в поисках статей, лишь бы не переставать постить что-то.. не комильфо. Знаю лучше способы справляться со стрессом)
2. Был у меня мотив "продавать через канал свои курсы и консалтинг".
Но оказалось, что
- во первых мало кому
- во вторых можно для этого и чужими каналами пользоваться под ситуацию).
Но если у вас таки есть бюджет, интерес коллективно морщить лбы и весело поклеить стикеры - я за. Недовольных еще не было.
3. Был у меня мотив самолюбования.
Забавна тут сама механика. Я делаю вид, что я прям глубок в предмете. Вы тоже гладите внутреннего эксперта, когда скролите ленту и не вчитываясь особо - вьебываете палец вверх или охонек. Типа да чувак верю что ты что-то толковое нашел/понял, а ты поверь что я это заценил. Не всегда конечно так, упрощаю).
Но тут
- во первых, возникает мерзкая привычка смотреть на эти реакции, подписки/отписки. Как-то соотносить со своей ахуенностью. А это вообще-то недопустимо)
- во вторых - это жрет эмоциональный ресурс без всякой пользы.
4.
5. И тут бы закончить этот пост, но оказалось что у меня есть еще один скрытый мотив - "самообразовываться и развиваться".
Бесцельный серфинг в профессиональной сети быстро утомляет, а посты в канале отлично работают на фильтрацию своих интересов и структурирование их в дискретные мысли. И вот ради этой темы, кажется есть смысл продолжать.
Едем дальше. Буду постить еще бессистемнее и реже. То, что интересно мне.
Отключаю реакции - Будем честными, при таком подходе мне не важно ваше мнение, выраженное в лайках. Без обид).
Вместо ритуалов самопоглаживания - тратим, граждане, силы на что-то сутевое.
Лучше пишите комменты - их оставляю для хейта и не только - общаться с умными людьми таки оч кайфово.
В тему дня. Кто-то переписывает учебники истории, а кто-то в учебник математики 6 класса включают раздел data management:
- Учебник моей дочери в голландии -
50 страниц заданий про визуализацию данных, выбор и анализ графиков.
Вместо тысячи слов о data literacy…
- Калькулятор с python за 150 🤦♂️евро у ребенка - другое требование школы. Хоть макбуки выдают бесплатно
- Учебник моей дочери в голландии -
50 страниц заданий про визуализацию данных, выбор и анализ графиков.
Вместо тысячи слов о data literacy…
- Калькулятор с python за 150 🤦♂️евро у ребенка - другое требование школы. Хоть макбуки выдают бесплатно