Data Governance Program Guide [work in progress]...
Начал готовиться к курсу в конце марта и естественным образом пошел рефакторинг контента. Начинаешь находить новые интересные материалы и вот у тебя уже десятки новых мыслей по теме, которые нужно уложить в систему
В итоге делаю сейчас новый борд в Миро - Data Governance Program Guide - такой майдмеп на стероидах 🤔😣🤯💥🗺 про развертывание DG с этапами практиками ссылками и слайдами с курса.
Будет что-то похожее на BI Strategy Guide.
Мозг вскипает, но оторваться невозможно. Текущая готовность процентов 80% думаю
❓Вопрос в зал - какие темы на ваш взгляд должны быть обязательно отражены в таком гайде?
И да - кто хочет поучаствовать в тестировании beta версии, также пишите в комменты (или ставьте плюсы для простоты). Она будет готова в начале марта. Будет полезна обратная связь
Начал готовиться к курсу в конце марта и естественным образом пошел рефакторинг контента. Начинаешь находить новые интересные материалы и вот у тебя уже десятки новых мыслей по теме, которые нужно уложить в систему
В итоге делаю сейчас новый борд в Миро - Data Governance Program Guide - такой майдмеп на стероидах 🤔😣🤯💥🗺 про развертывание DG с этапами практиками ссылками и слайдами с курса.
Будет что-то похожее на BI Strategy Guide.
Мозг вскипает, но оторваться невозможно. Текущая готовность процентов 80% думаю
❓Вопрос в зал - какие темы на ваш взгляд должны быть обязательно отражены в таком гайде?
И да - кто хочет поучаствовать в тестировании beta версии, также пишите в комменты (или ставьте плюсы для простоты). Она будет готова в начале марта. Будет полезна обратная связь
Data Governance Program Guide готов в первой prod версии - это публичный тул по обзору практик DG с применением здравого смысла
🔗 MIRO-board
Много появилось взрослых проектов, где толковые ребята показывают крутые внедрения data каталогов с бескрайне сексуальным lineage🔥. Мало кто говорит, что ими мало пользуются, а качество метаданных порой хуже качества самих данных). Каталоги бесспорно драйвят сегмент, но в DG сильно больше тем, без которых data каталог становится "псевдо DG" проектом 😒
Обдумывая это и борясь с синдромом самозванца - собрал в итоге этот борд:
🔹 Доска содержит 16 этапов по ходу логического развития программы data governance от замысла к реализации (этапов могло быть и 5 и 105, не суть)
🔹Каждый этап содержит гексагоны (76+) с темами и слайдами, немного раскрывающими проблематику этапа
🔹Этапы содержат контейнеры с полезными ссылками по теме (пополняется)
База для этого борда - осмысление теории из книг👨🎓, мой опыт реализации программ DG 🕵️♀️ и анализ релевантных материалов от лидеров dg-движа в мире 🌎.
Борд родился, как часть обзора новых практик для курса "Основы Data Governance" со стартом 27 Марта 2023 года (кому близко - велком) и должен помочь изучить материалы по DG и при этом не вызвать ненависти к предмету: расширить и структурировать сознание для людей в роли CDO, Операционный директор, CIO, Head of BI, Head of DWH, Data steward - всем, кто решает задачу внедрения программы DG (или ее элементов) или просто хочет узнать больше по теме.
⛰ Ведь DG как спелеология - вокруг темно и сыро, в руке фонарик и если уже влез, останавливаться и паниковать не стоит. Этот MIRO-борд посвящается храбрости тех, кто уже влез или готовится)
💬 Спасибо всем, кто давал советы и замечания к борду. Продолжайте их давать (комментариями к посту или на сам борд).
🔗 Безвозмездно приму ссылки на статьи-книги-видео с чем то свежим и толковым по предмету
🔗 MIRO-board
Много появилось взрослых проектов, где толковые ребята показывают крутые внедрения data каталогов с бескрайне сексуальным lineage🔥. Мало кто говорит, что ими мало пользуются, а качество метаданных порой хуже качества самих данных). Каталоги бесспорно драйвят сегмент, но в DG сильно больше тем, без которых data каталог становится "псевдо DG" проектом 😒
Обдумывая это и борясь с синдромом самозванца - собрал в итоге этот борд:
🔹 Доска содержит 16 этапов по ходу логического развития программы data governance от замысла к реализации (этапов могло быть и 5 и 105, не суть)
🔹Каждый этап содержит гексагоны (76+) с темами и слайдами, немного раскрывающими проблематику этапа
🔹Этапы содержат контейнеры с полезными ссылками по теме (пополняется)
База для этого борда - осмысление теории из книг👨🎓, мой опыт реализации программ DG 🕵️♀️ и анализ релевантных материалов от лидеров dg-движа в мире 🌎.
Борд родился, как часть обзора новых практик для курса "Основы Data Governance" со стартом 27 Марта 2023 года (кому близко - велком) и должен помочь изучить материалы по DG и при этом не вызвать ненависти к предмету: расширить и структурировать сознание для людей в роли CDO, Операционный директор, CIO, Head of BI, Head of DWH, Data steward - всем, кто решает задачу внедрения программы DG (или ее элементов) или просто хочет узнать больше по теме.
⛰ Ведь DG как спелеология - вокруг темно и сыро, в руке фонарик и если уже влез, останавливаться и паниковать не стоит. Этот MIRO-борд посвящается храбрости тех, кто уже влез или готовится)
💬 Спасибо всем, кто давал советы и замечания к борду. Продолжайте их давать (комментариями к посту или на сам борд).
🔗 Безвозмездно приму ссылки на статьи-книги-видео с чем то свежим и толковым по предмету
🎙🤕 Терапевтический выпуск в канале МыОбречены - Андрей Бреслав (автор языка программирования Kotlin🤘, co-founder сервиса Alter) очень адекватно о больном и сложном:
- войне и моральных аспектах жизни россиянина в эмиграции
- хейте на яндекс и моральности работы в российском бигтехе
- психотерапии как новой норме
- фундаментальных ограничениях языковых моделей типа ChatGPT в программировании
- "глупости" интуиции и когнитивных искажениях в оценке текущей реальности
Канал МыОбречены кажется один из самых няшных подкастов про ИТ. Легкая подача, человеческие истории, ценностный метч. Прям норм.
(Не реклама)
😎 В выпуске тут как тут интеграция от тинькофф - ребята промоутят проекты своей data платформы. И платформа и команды которые ее строят супертолковые. Лучи поддержки бывшим коллегам 🫶
По дата каталогам Тинек пошел как обычно своим фирменно-безумным путем и пилят с нуля свой DataDetective, (побрезговав взять за базу DataHub, как все🤭). Продукт видимо не претендует на рынок, много кастомных неуниверсальных решений (интерфейс ввода - конфлюенс вики ..), но команда работает с душой и открыто рассказывает о прогрессе.
То, что рядом с каталогом таки зарождается data stewardship отличный знак 🌱
(И это тоже не реклама)
https://youtu.be/91VVr_t3VXc
- войне и моральных аспектах жизни россиянина в эмиграции
- хейте на яндекс и моральности работы в российском бигтехе
- психотерапии как новой норме
- фундаментальных ограничениях языковых моделей типа ChatGPT в программировании
- "глупости" интуиции и когнитивных искажениях в оценке текущей реальности
Канал МыОбречены кажется один из самых няшных подкастов про ИТ. Легкая подача, человеческие истории, ценностный метч. Прям норм.
(Не реклама)
😎 В выпуске тут как тут интеграция от тинькофф - ребята промоутят проекты своей data платформы. И платформа и команды которые ее строят супертолковые. Лучи поддержки бывшим коллегам 🫶
По дата каталогам Тинек пошел как обычно своим фирменно-безумным путем и пилят с нуля свой DataDetective, (побрезговав взять за базу DataHub, как все🤭). Продукт видимо не претендует на рынок, много кастомных неуниверсальных решений (интерфейс ввода - конфлюенс вики ..), но команда работает с душой и открыто рассказывает о прогрессе.
То, что рядом с каталогом таки зарождается data stewardship отличный знак 🌱
(И это тоже не реклама)
https://youtu.be/91VVr_t3VXc
YouTube
Андрей Бреслав — Большие перемены и чувство собственного достоинства — Мы обречены
Получите оффер в Data-команду Тинькофф за выходные: https://l.tinkoff.ru/data-weekendoffer
Подробности о Data Catalog в чате: https://xn--r1a.website/datadetective
Вакансии: https://l.tinkoff.ru/its-vacancies
Канал, где делимся открытыми позициями в команду и рассказываем…
Подробности о Data Catalog в чате: https://xn--r1a.website/datadetective
Вакансии: https://l.tinkoff.ru/its-vacancies
Канал, где делимся открытыми позициями в команду и рассказываем…
📋 В телеграмы просочился Манифест дата визуализатора и не удостоился должного внимания
Провокационный и популистский текст (все как мы любим), бьющий во все болевые точки скрепного датавизера 😂
Чувствуется твердая рука data-йога @lingualize 🧘🏻♂️
Естественно хочется накинуть на вентилятор в стиле автора
(⛔️осторожно - далее только с самоиронией):
ХВАТИТ
- Хватит делать BI марафоны c крутыми лендингами, люди после них приходят на собеседования и думают что что-то знают и умеют
- Хватит подкладывать картинку на фон дашборда под графики - мало того, что это бедпректис, это просто пошло. Выглядит как фотообои с водопадом в дешевом ресторане
- Хватит вести телеграм каналы по аналитике, типа ты шаришь за тему больше чем остальные
- Хватит делать "открыточные" дашборды, прекрасные как наше детство, но напрочь далекие от бизнес ценности и непонимаемые пользователями
- Хватит отвлекаться на новые тулы, мы и старые не успевали использовать. Они не так важны как мы думаем. Нестыдный инфодизайн можно делать уже почти везде - дело в твоем скиле как дизайнера и аналитика
ИДИТЕ
- ... (нахер с такими манифестами 🤭)
Секцию ХВАТИТ можно продолжать долго при желании, а вот с конструктивными предложениями все сильно хуже 🤷♂️
🤔 Вообще идея манифеста об использовании датавиза в прикладных областях познания мира и обучения людей для получения реальной пользы - довольно сильная.
Школы, больницы, учебники, урбанистика, лингвистика, научные работы, что еще?..
Все это кажется намного больше заслуживает усилий датавиз-комьюнити, чем бег в колесе дата-журналистики ради просмотра и свайпа в современном тикток-мире
Провокационный и популистский текст (все как мы любим), бьющий во все болевые точки скрепного датавизера 😂
Чувствуется твердая рука data-йога @lingualize 🧘🏻♂️
Естественно хочется накинуть на вентилятор в стиле автора
(⛔️осторожно - далее только с самоиронией):
ХВАТИТ
- Хватит делать BI марафоны c крутыми лендингами, люди после них приходят на собеседования и думают что что-то знают и умеют
- Хватит подкладывать картинку на фон дашборда под графики - мало того, что это бедпректис, это просто пошло. Выглядит как фотообои с водопадом в дешевом ресторане
- Хватит вести телеграм каналы по аналитике, типа ты шаришь за тему больше чем остальные
- Хватит делать "открыточные" дашборды, прекрасные как наше детство, но напрочь далекие от бизнес ценности и непонимаемые пользователями
- Хватит отвлекаться на новые тулы, мы и старые не успевали использовать. Они не так важны как мы думаем. Нестыдный инфодизайн можно делать уже почти везде - дело в твоем скиле как дизайнера и аналитика
ИДИТЕ
- ... (нахер с такими манифестами 🤭)
Секцию ХВАТИТ можно продолжать долго при желании, а вот с конструктивными предложениями все сильно хуже 🤷♂️
🤔 Вообще идея манифеста об использовании датавиза в прикладных областях познания мира и обучения людей для получения реальной пользы - довольно сильная.
Школы, больницы, учебники, урбанистика, лингвистика, научные работы, что еще?..
Все это кажется намного больше заслуживает усилий датавиз-комьюнити, чем бег в колесе дата-журналистики ради просмотра и свайпа в современном тикток-мире
🧐 🤖 Рубрика - Свежий куплет во славу ChatGPT: Статья про настройку ChatGPT на корпоративных данных на базе Azure OpenAI и Cognitive Search
Хайп ChatGPT от OpenAI привел к тому что многие предприятия резко решили начать использовать языковые модели для своих данных. Главная проблема создания таких корпоративных приложений - как обучить модель на этих конкретных данных, чтобы давать точные ответы.
На прошедшей неделе вышла статья, достаточно детально описывающая контуры такого решения на стеке Azure (естественно) - с использованием Azure Cognitive Search и Azure OpenAI Service.
Основные тезисы:
▪️Базовый подход состоит в простом внедрении вашего контекста в prompt (запрос). ChatGPT может прочитать информацию вместе с любыми инструкциями, текстами и ответить соответствующим образом. Этот не требует повторного обучения или настройки модели, и ответы могут отражать любые изменения в базе данных немедленно.
▪️Однако это создает новую проблему: эти модели имеют ограничение на "длину контекста" (текущий ChatGPT может принимать до 4000 токенов в запросе), и даже если бы не было этих ограничений, было бы непрактично внедрять гигабайты данных в текстовый запрос в каждом взаимодействии.
▪️В качестве альтернативы предлагается хранить все данные во внешней базе знаний, которая может быстро извлекать нужные фрагменты с хорошей релевантностью. Именно это делает в схеме Cognitive Search - он же ключевой элемент настройки и адаптации решения. Здесь производится то, что в статье называется семантическим ранжированием, фрагментацией документов, обобщением - фичей для более эффективного "скармливания" в ChatGPT.
▪️Есть наметки ответа и на вопросы доверия/надежности сгенерированных моделью ответов. Предлагается система верификации в UI, которая позволит пользователям адекватно оценивать ответы через обращение к документам и фактам, на основе которых ответы были даны.
Мне интересна эта схема для натягивания на сценарий Insight-Bot, чата отвечающего на вопросы по аналитике корп данных нативнее дашбордов. Тут пока неясно, как надо препарировать таблицы с данными, чтобы Cognitive Search их хорошо находил и обучал модель на лету 🤷♂️. Надо пробовать
Все сценарии внедрения чата в BI дашборды - не выдерживают критики именно из за необогащенности такого взаимодействия контекстом.
Ну и да... конечно, вопросы секьюрности данных и достоверности результата никто не снимал 😒. Но кажется подходящие "Comliance workarounds" подъедут в этом году. Слишком большие бабки в этом новом сегменте, Майкрософт разрулит коллизию как то 👿
🔗 Статья - Revolutionize your Enterprise Data with ChatGPT: Next-gen Apps w/ Azure OpenAI and Cognitive Search
🔗 GitHub repo with examples, including UX, orchestration, prompts
(для написания этого поста использовался ChatGPT 😁)
Хайп ChatGPT от OpenAI привел к тому что многие предприятия резко решили начать использовать языковые модели для своих данных. Главная проблема создания таких корпоративных приложений - как обучить модель на этих конкретных данных, чтобы давать точные ответы.
На прошедшей неделе вышла статья, достаточно детально описывающая контуры такого решения на стеке Azure (естественно) - с использованием Azure Cognitive Search и Azure OpenAI Service.
Основные тезисы:
▪️Базовый подход состоит в простом внедрении вашего контекста в prompt (запрос). ChatGPT может прочитать информацию вместе с любыми инструкциями, текстами и ответить соответствующим образом. Этот не требует повторного обучения или настройки модели, и ответы могут отражать любые изменения в базе данных немедленно.
▪️Однако это создает новую проблему: эти модели имеют ограничение на "длину контекста" (текущий ChatGPT может принимать до 4000 токенов в запросе), и даже если бы не было этих ограничений, было бы непрактично внедрять гигабайты данных в текстовый запрос в каждом взаимодействии.
▪️В качестве альтернативы предлагается хранить все данные во внешней базе знаний, которая может быстро извлекать нужные фрагменты с хорошей релевантностью. Именно это делает в схеме Cognitive Search - он же ключевой элемент настройки и адаптации решения. Здесь производится то, что в статье называется семантическим ранжированием, фрагментацией документов, обобщением - фичей для более эффективного "скармливания" в ChatGPT.
▪️Есть наметки ответа и на вопросы доверия/надежности сгенерированных моделью ответов. Предлагается система верификации в UI, которая позволит пользователям адекватно оценивать ответы через обращение к документам и фактам, на основе которых ответы были даны.
Мне интересна эта схема для натягивания на сценарий Insight-Bot, чата отвечающего на вопросы по аналитике корп данных нативнее дашбордов. Тут пока неясно, как надо препарировать таблицы с данными, чтобы Cognitive Search их хорошо находил и обучал модель на лету 🤷♂️. Надо пробовать
Все сценарии внедрения чата в BI дашборды - не выдерживают критики именно из за необогащенности такого взаимодействия контекстом.
Ну и да... конечно, вопросы секьюрности данных и достоверности результата никто не снимал 😒. Но кажется подходящие "Comliance workarounds" подъедут в этом году. Слишком большие бабки в этом новом сегменте, Майкрософт разрулит коллизию как то 👿
🔗 Статья - Revolutionize your Enterprise Data with ChatGPT: Next-gen Apps w/ Azure OpenAI and Cognitive Search
🔗 GitHub repo with examples, including UX, orchestration, prompts
(для написания этого поста использовался ChatGPT 😁)
TECHCOMMUNITY.MICROSOFT.COM
Revolutionize your Enterprise Data with ChatGPT: Next-gen Apps w/ Azure OpenAI and Cognitive Search | Microsoft Community Hub
Read about combining large language models and your own data to create new app experiences.
🔥 Dashboards Roasting #1
Попробовали новый формат — совместную прожарку бизнес (это важно) дашбордов вместе с Ромой Reveal-the-Data Буниным (Mastermind BI в Yandex Data Lens, гитарист и автор ультрамодного канала).
Намутили подход к оценке дашбордов на базе 5 факторов:
- бизнес-цель,
- визуализация,
- графический дизайн,
- UX,
- технические аспекты.
Все замечания собрали на доске в Miro (выглядит хорошо) и записали наше обсуждение на YouTube на инглише (не выглядит хорошо)
Идея стрима на языке шекспира нам показалось отличной. Обоим нужна практика.
Но вот результат этого отважного эксперимента … потребовал просто всей моей самоиронии))
Жесткий монтаж помог не сильно - местами очень медленно. Рекомендую скорость 1.5-2x.
Плюс технические косяки с картинкой и звуком.
🤬 Кто досмотрит до конца получит bad takes в награду
Ну и напишите свое мнение че.
Пошел скачивать верхнюю часть списка приложений для улучшения Английского. Давно было пора
Попробовали новый формат — совместную прожарку бизнес (это важно) дашбордов вместе с Ромой Reveal-the-Data Буниным (Mastermind BI в Yandex Data Lens, гитарист и автор ультрамодного канала).
Намутили подход к оценке дашбордов на базе 5 факторов:
- бизнес-цель,
- визуализация,
- графический дизайн,
- UX,
- технические аспекты.
Все замечания собрали на доске в Miro (выглядит хорошо) и записали наше обсуждение на YouTube на инглише (не выглядит хорошо)
Идея стрима на языке шекспира нам показалось отличной. Обоим нужна практика.
Но вот результат этого отважного эксперимента … потребовал просто всей моей самоиронии))
Жесткий монтаж помог не сильно - местами очень медленно. Рекомендую скорость 1.5-2x.
Плюс технические косяки с картинкой и звуком.
🤬 Кто досмотрит до конца получит bad takes в награду
Ну и напишите свое мнение че.
Пошел скачивать верхнюю часть списка приложений для улучшения Английского. Давно было пора
(Все время делаю оговорку что не рекламирую ThoughtSpot, но эти ребята регулярно описывают именно ту стратегию пользовательского опыта, которая совпадает с моим представлением о BI системе следующего выбора)
Неудивительно что они первыми оперативно и внятно описали (на прошлой неделе) свою реакцию на повестку - их ThoughtSpot Sage - апгрейднутый поисковый движок объединяет в себе мощь процессинга от OpenAI и локализацию в аналитической BI платформе со всем семантическим и секьюрити "обвесом".
Вопросов все равно больше, чем ответов. Демка весьма общая. Но команда продукта ищет новые модели взаимодействия с casual пользователем и получается симпатично. См например - сценарий обратной связи по качеству результата для дообучения движка пользователем
https://www.thoughtspot.com/product/sage
Чего не сказать пока про любимый tableau, где анонсированный Einstein GPT кажется опять больше про SalesForce. "Слитое" 21 секундное видео пока все чего мы заслужили.
Очевидно одно. BI командам пора думать как будут брать свои вьюхи с кривыми джойнами и логикой и делать нормальные searchable дата модели. Их как ни крути нужно будет скоро скармливать любому BI-Боту, в какой BI системе бы его не запилили, отвечать за результат и старчески нудеть, что дескать это сырая технология и к жизни еще не применимая
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔮 Только что закончился Gartner Data & Analytics summit в Орландо США и некоторые из тех, кто там не был (как я) думают стоит ли ехать на него в другие локации.
Два обзора дают некое представление о ключевых тезисах конференции:
⏯️ Видео 1 - Час обзора конференции на канале SuperDataBrothers
⏯️ Видео 2 - GartnerDA: Top Data and Analytics Predictions, 2023
👀 За что зацепился глаз:
1) 💰Компании почти перестали пытаться показывать ROI data проектов через краткосрочную прямую фин ценность (сокращение затрат и рост выручки) и фокусируются на обосновании через инновационные продукты, дата активы, бренд и стратегическую экспертизу. Нормально для западных компаний живущих на длинных трендах. Хотя может и в пи...цовые времена всем нужно думать стратегично
2) ☕️Аналогия отношений D&A CoE с юнитами как "Модели франчайзинга". Смысл прежний - но термин свежий и доступный. Типа Data Self-Service в линейке бизнеса - как открыть кофейню в регионе: помочь проанализировать рынок, продать оборудование, обучить персонал, мониторить перфоманс, надеяться что не загнется)
3) 🤖Все метнулись пилотировать ChatGPT-like for Enterprise проекты - в этом году все продукты резко впихнут в релиз планы и выпустят что-то конкретное. Отличие этого хайпа от других похожих, что он реально работает и вопрос по сути в "опромышливании" решений и подборе UI. Риски все обсуждают походу дела
4)💡Semantic layer / Headless BI - был бы главным трендом если бы не влез ChatGPT. Проблема Analytics Governance как одна из центральных для BI решений. Тут все понятно, надо уже пробовать.
5) 🤔Якобы есть тренд от идеи микросервисов снова к новым большим платформенным 'all in one' BI системам, построенным при этом с гибкой архитектурой (Gooddata, Tellius). Спорно, возможно тренд ради тренда. Хотя что-то в этом есть, типа есть усталость постоянно "женить решения" не имея в моменте счастливой семейной жизни.
6) к 2026 году половина организаций начнет рассматривать ABI (Analytics&BI) and DSML (Data Science & Machine Learning) тулы как одну скомпонованную систему, на фоне сближений сегментов
Отличие Gartner Data & Analytics summit от вендорских сабантуев:
➕ тут нет атмосферы религиозности. Позиция Gartner относительно равноудаленная. Озвучиваются тренды из практики Gartner, что возникает - что уходит, поднимаются более сложные "неприятные" вопросы, которых вендоры избегают.
➖ Из минусов - большая часть спикеров престарелые эксперты-аналитики Gartner - грузят обобщенными речами без иллюстраций из жизни реальных компаний и не особо вдохновляют.
В целом, многие слайды выглядят интересно, но без комментариев сложно до конца понять их замыслы.
Возможно подъедут еще хорошие анализы саммита, глядишь и ехать в Мумбай/Лондон не придется.
Два обзора дают некое представление о ключевых тезисах конференции:
⏯️ Видео 1 - Час обзора конференции на канале SuperDataBrothers
⏯️ Видео 2 - GartnerDA: Top Data and Analytics Predictions, 2023
👀 За что зацепился глаз:
1) 💰Компании почти перестали пытаться показывать ROI data проектов через краткосрочную прямую фин ценность (сокращение затрат и рост выручки) и фокусируются на обосновании через инновационные продукты, дата активы, бренд и стратегическую экспертизу. Нормально для западных компаний живущих на длинных трендах. Хотя может и в пи...цовые времена всем нужно думать стратегично
2) ☕️Аналогия отношений D&A CoE с юнитами как "Модели франчайзинга". Смысл прежний - но термин свежий и доступный. Типа Data Self-Service в линейке бизнеса - как открыть кофейню в регионе: помочь проанализировать рынок, продать оборудование, обучить персонал, мониторить перфоманс, надеяться что не загнется)
3) 🤖Все метнулись пилотировать ChatGPT-like for Enterprise проекты - в этом году все продукты резко впихнут в релиз планы и выпустят что-то конкретное. Отличие этого хайпа от других похожих, что он реально работает и вопрос по сути в "опромышливании" решений и подборе UI. Риски все обсуждают походу дела
4)💡Semantic layer / Headless BI - был бы главным трендом если бы не влез ChatGPT. Проблема Analytics Governance как одна из центральных для BI решений. Тут все понятно, надо уже пробовать.
5) 🤔Якобы есть тренд от идеи микросервисов снова к новым большим платформенным 'all in one' BI системам, построенным при этом с гибкой архитектурой (Gooddata, Tellius). Спорно, возможно тренд ради тренда. Хотя что-то в этом есть, типа есть усталость постоянно "женить решения" не имея в моменте счастливой семейной жизни.
6) к 2026 году половина организаций начнет рассматривать ABI (Analytics&BI) and DSML (Data Science & Machine Learning) тулы как одну скомпонованную систему, на фоне сближений сегментов
Отличие Gartner Data & Analytics summit от вендорских сабантуев:
➕ тут нет атмосферы религиозности. Позиция Gartner относительно равноудаленная. Озвучиваются тренды из практики Gartner, что возникает - что уходит, поднимаются более сложные "неприятные" вопросы, которых вендоры избегают.
➖ Из минусов - большая часть спикеров престарелые эксперты-аналитики Gartner - грузят обобщенными речами без иллюстраций из жизни реальных компаний и не особо вдохновляют.
В целом, многие слайды выглядят интересно, но без комментариев сложно до конца понять их замыслы.
Возможно подъедут еще хорошие анализы саммита, глядишь и ехать в Мумбай/Лондон не придется.
LinkedIn
LinkedIn Login, Sign in | LinkedIn
Login to LinkedIn to keep in touch with people you know, share ideas, and build your career.
Forwarded from Клуб CDO (PostoplanBot)
Очень интересная статья от Uber о том, как они борются с такой проблемой как Data Shift. Особенно интересная статистика в разрезе существующих проблем с данными.
Для контроля качества компания разработала собственную систему D3 (Dataset Drift Detector).
Система отслеживает качество данных в режиме реального времени, красивые дашборды реализованы. В статье так же довольно детально описана архитектура.
Вот что у них на постоянном мониторинге:
- Null Percentage
- False Percentage
- Percentile (P50, P75, P99, P1)
- Standard Deviation, Mean, Median
- Count Distinct
https://www.uber.com/en-BG/blog/d3-an-automated-system-to-detect-data-drifts/
Для контроля качества компания разработала собственную систему D3 (Dataset Drift Detector).
Система отслеживает качество данных в режиме реального времени, красивые дашборды реализованы. В статье так же довольно детально описана архитектура.
Вот что у них на постоянном мониторинге:
- Null Percentage
- False Percentage
- Percentile (P50, P75, P99, P1)
- Standard Deviation, Mean, Median
- Count Distinct
https://www.uber.com/en-BG/blog/d3-an-automated-system-to-detect-data-drifts/