Коротко о встрече вчера с https://www.getdot.ai - еще одним проектом, развивающим data ассистента со звучным слоганом 'Chat with your data warehouse'

Архитектура уже ожидаемая:
-- подключение к набору таблиц с чтением метадаты. в идеале семантический слой dbt или snowflake, но есть и другие
-- GPT-4 под капотом конвертит запрос пользователя в промт и генерит в SQL-скрипт
-- скрипт выдает примитивный визуал в чат с возможностью посмотреть код
-- можно дать обратную связь, но это не приводит к истинному обучению

Ценник умеренный от 500 евро в мес для небольшой компании. мутное ценообразование от утилизации капасити юнитов. есть onprem. дешевле thoughtspot и явно гибкие ребята в плане кастомизации под клиента

Есть как свой интерфейс чата, так и бот для слака и тимз. разумно.

Консерны:

- сами данные в промт не льются. нет пока решения проблемы емкости. поэтому вопрос из разряда 'найди мне что-то интересное в моих данных' бесполезен.
- тул по общему мнению с его основателем комплементарная надстройка к дашбордам, в которой юзер может узнать значение метрики с учетом фильтров, отклонения метрики, топы по метрике и контрибьюторов дельты. дескриптивная и немного диагностическая штука. немало в принципе, но на этом все
- сам интерфейс сырой, но базово все есть. Зачем то грузят юзера кодом, вместо проработки визуала
- обсудили как применять политики доступов пользователя для такого сервиса. Говорят аналог RLS прикрутили сейчас для looker и snowflake. Управление доступом по колонкам и таблицам - есть в коробке.
- поразгоняли как можно встроить WolframAlfa с его движком работы с цифрами в архитектурy. Неочевидно пока

Ощущение чуда и неотложности утихает)
Просто перспективная тема для пилота в рабочем режиме

Пара дней отпуска проведены с мощной data office team в exness - некоторые мысли, вдохновленные интенсивным воркшопом по data management, стали еще яснее:

⁃ Проблема вовлечения data stewards в роль - тотальна и фатальна. И это главный обман DAMA DMBOK. Она не решается никакими методами - ни манипулятивно, ни рационально через KPI. Возможны только отдельные успехи. Формальное навязывание участия неэффективно. При совмещении с прямыми бизнес задачами - таски DG никогда не поднимаются в исполнимую часть беклога. Федеративная структура DG проекта модельно верна, но то, что применимо к BI сильно сложнее для DG - введение выделенных data stewardship ролей в бизнес функции это роскошь, доступная разве что большим банкам.

- Прогресс в DG проекте попадает в жесткую зависимость от проактивности data / BI / CDO office team, у которой всегда будет нехватка «бизнесовости» и ресурса на полномасштабную работу в бизнес направлениях. Прокачка каналов коммуникации и кросс-командные проекты data team и business stewards - единственный путь к свету. Но чтобы их строить нужна сверхволя.

⁃ Получить осознанный и активный спонсоршип executive management - другой миф. Ждать от бизнес лидеров инициативы в этом направлении глупо. Решение насущных бизнес задач имеет заведомо больший эффект на карьеры людей, чем долгосрочное развитие дата ландшафта, процессов качества данных и проч. Бизнес ценность data governance всегда опосредована слоями других факторов, невозможно провести прямую линию от бизнеса к DG проекту. Все группы драйверов от регуляторки до экономий и монетизации в бизнес-проектах работают на бумаге и не пробивают business-as-usual инерцию

продолжение далее..

(продолжение)

⁃ Data catalog делается только для касты power users. Все остальные утверждения это маркетинг вендоров и самообман. Уговаривать группу business data stewards вести самим глоссарий в каталоге следует все равно. Это не безнадежно. Для остальных casual users - интерфейс слишком избыточный, чтобы использовать в нем только фичу поиска отчетов. Для Business users - gpt-based бот в корп мессенджере в качестве интерфейса навигации - самое оно. Data quality tool и data catalog необходимо сращивать - см Ataccama. Слишком сложно и дорого адопнить каждый их них отдельно. И аудитория у них получается одна.

⁃ Роль тех команд владельцев систем (data producers) в DG часто недооценена. Ее часто нет на красивых схемах фреймворков. При этом их влияние на качество данных часто выше data stewards и BI аналитиков, но мышление своих данных как активов, а аналитиков как клиентов - очень редко. Внедрение data contracts это тех проект между data producers и DWH. И проект конкретный и важный.

Вместо морали. Нет универсального DG решения - есть только поиск сложного баланса и внедрение отдельных элементов DG с творческим осмыслением места data catalog в ваших рабочих процессах

State of Analytics Engineering - Обзор мировых трендов от dbt
Цвета на неотсортированных чартах - из моих страшных снов, но выводы интересные:

- 46% опрошенных дата лидеров планируют увеличить инвестиции в data quality и observability в этом году — это самая популярная область для будущих инвестиций. Кажется реально пора

- Отсутствие координации между data producers и потребителями данных воспринимается всеми опрошенными как основная угроза для экосистемы в этом году. Data contracts в топе приоритетов

- 71% опрошенных положительно оценили продуктивность и гибкость команд по обработке данных, тогда как внедрение data ownership стало основной проблемой для большинства.

- Только 19% data лидеров полностью удовлетворены статусом внедрения self-service аналитики (и это после 15 лет эпохи SS BI)

- Лидеры аналитики поголовно обеспокоены потребностями стейкхолдеров. 42% говорят, что их главная проблема заключается в том, что "Данные не находятся там, где в них нуждаются бизнес". Поэтично

https://www.getdbt.com/state-of-analytics-engineering-2023
Источник ссылки - @trumassive

Всем солнечной субботы.

Чтобы после пятницы на утро - светлая часть таки была больше темной )

Тест на возраст - кто кого узнал на фото? (Соотношение клика и табло ровно пополам)

Data strategy design guide

Гайз, хочется озвучить одну мысль - Дата стратегию нельзя разработать руками консультантов.
Это оказывается не всем очевидно. Компании продолжают ее заказывать под ключ за много денег.

Дата стратегия (а также BI, AI и проч стретегии) может принести пользу только если рождается в мыслительных муках data лидершип команды компании. Этот процесс консультант может только ускорить и сделать более приятным.
Дойдя до этой мысли - я пришел к формату воркшопов по фасилитации элементов стратегии в области data & analytics, где 70% это брейнстормы, работа в группах и проч формы структурированного общения со стикерами и вайтбордами. Остальное - информационный разогрев в виде слайдов - расширяющий сознания участникам практиками релевантными компании и агенде.

Конец мысли.

Готовясь тут к проекту - нашел интересный data strategy design guide, похожий по сути на мой борд по bi стратегии в некоторых ключевых идеях (собственно они все на поверхности).
- У ребят лучше проработана методология фасилитации в виде упражнений для воркшопа. Без примеров они не все до конца понятны, надо додумывать.
- Плюс тут сильно больше фокуса на анализе бизнес стратегии и ее связывании с data стратегией. Я же сильно сползаю в тактические практики.

Короче сделал для себя бордец, для вникания. Если кто будет тоже вникать - делитесь фидбеком применения

MIRO - https://miro.com/app/board/uXjVMti4FYE=/