Про Data Analytics Engineer

Новый год и новый проект заставил вернуться к теме балансировки базовых дата ролей.
Вроде казалось, что все ясно, но нет. В больших дата платформах роли формируются нешаблонно.

Наблюдение этой недели:

- Дата инженер в data mesh модели всегда стремится скрыться от бизнеса в свою "базу" - в построение и поддержку инфраструктуры, разработку платформы, тюннинг архитектуры, мониторинг производительности, ETL/ELT первичных интеграций, игры с облачными сервисами, кластерами и контейнерами.
- BI аналитик в data mesh модели получает право и обязанность готовить себе данные сам - моделировать раскладку на слои и оптимизировать. Можно добиться того, что Синьорные BI в результате будут делать все от качественного кода и подготовки данных до качественного аналитического продукта и визуала.

Но на практике здесь возникает зона для потерь.

BI под прессингом бизнес задач, адхоков, коммуникаций оказывается не способен строить и поддерживать сложные инженерные процессы с их постоянным мониторингом и оптимизацией. Заниматься дотошным гавернансом, документацией и датачеками дата слоя без ущерба BI проектам. А без этого мы быстро теряем "ощущение качества", и домен погружается в "костыли" и непрозрачность.

Решение? -

Analytics Engineer (термин придумал вроде dbt, еще встречается Business Data Engineer) - как я его понимаю это подтип дата инженера, работающего на бизнес-юнит на задачах от BI и дата аналитиков, задача которого создавать структурированную и качественную среду для работы с данными домена.

Он отвечает за
- подготовку данных для дашбордов, аналитических моделей. Либо выступая как сервис для BI, либо курируя то что пишут BI, беря на себя самое сложное
- работу над метадатой и качеством (метрики покрытия документацией и чекерами)
- оптимизацию пайплайнов и причесывание всей "поляны" данных домена (метрики usage и переиспользования сертифицированных таблиц)

плюс функционал со звездочкой:
*выступает продактом для данных в домене - упаковывает сертифицированные объекты в дата-продукты, обеспечивает прозрачное развитие с нотификациями и уровнем сервиса для потребителей из разных доменов.
** идеально подходит на роль domain data custodian (вспоминаем DG)

Фактически это тот же дата инженер, и можно не выделять его в отдельную роль, скажет кто-то. и будет прав.
Но отличия есть
- в скилах. требуется прогрузка в бизнес-логику
- в треке развития. вечная проблема гибридных ролей

Еще одна проблема такой роли - это найти на нее людей - приходится искать либо дата инженера, который будет готов работать так близко к бизнесу или хардового биайщика, который всегда мечтал быть инженером.

Скорее всего роль неуниверсальна и подходит для определенных сценариев сложных дата платформ. Мы набирали ее в одном желтом банке еще года 4 назад. Эксперимент был успешен.
1 такой внедренный дата инженер напрашивается на домен, где есть как минимум 3 плодовитых биащика.

На фото и по ссылке новый шаблон по этой теме с примером "разгрузки" BI роли. Может кому будет полезен.
Все ваши примеры решения похожих кейсов из практики - приму с благодарностью.

(если вы дочитали пост до конца доставьте + в комментарии 🤔)

Не читаю каналы последнее время, что там нового в дата-ассистентах? потухли костры рябин энтузиазма первой, второй волны? Кто внедрил работающие продовые решения? Какой вы получили MAU ваших чатботов?

Больше год назад я описывал наш опыт по связыванию LLM и BI через навигационный сценарий. Тогда наш достаточно сырой MVP, не имел большого успеха. Денег, хотя скорее фокуса тогда не хватило изучать пользовательский опыт и допиливать.

И вот снова делаю мысленный разгон - см схему ☝️и картинку в норм разрешении в комментах👇:

Сколько будет жив Бизнес-пользователь - столько аналитики будут получать адхоки. Отчеты, self-service - все это прекрасно, но вот спросить человека, это ж надежнее, проще, приятнее. И вот - вы тоже пилите дата ассистента (даже если не от веры, а от скуки/интереса).

Но мы все научились пробиваться через бота в чате с банком, кажется такая же первая реакция идет на дата ассистента. Что нужно, чтобы пользователь давал боту шанс? - Правильные ответы (или их высокая доля) - скажет занудный читатель канала. и будет прав. Но и после этого шансов раскрутить бота мало.

Моя гипотеза добавить "социализации" боту. Начать с того, что включить его в чаты поддержки с кожаными коллегами. Эту комфортную среду доверия и дружеской токсичности. И для начала научить его распознавать адхок (это уже все научились в service desk командах) и рекомендовать готовые объекты - отчеты, метрики, датасеты (из слоя сертифицированных).
Для этого нужна только хорошая метадата, документация (всего то) и дальше процессить на дежурных (давайте решим, что дежурство у вас есть).

Неожиданный эффект этой схемы - мы получаем все для расчета квази time-to-insight (про который писал Иван Роман Бунин) как время простоя аналитика в ожидании отчета. Кайф короче.
Только два небольших допущения
(1) все адхоки идут в чат а не личные сообщения,
(2) все полученные ответы являются инсайтами, что конечно неправда 😄

В этом году скорее всего будем делать такую штуку, помимо прочего.
Кому интересно - есть вакансии.

#АвитоBI

Минус вайб (кодинг) или конец “рисованию дашбордов”

Потестил сам, посмотрел отзывы, обсудил с Виталием Тренкеншу и захотелось накинуть на вентилятор:

Что будет меняться в BI профессии?
Что будет с BI командами фабриками отчетов?
AI агенты сделают self-service бизнес команд реальностью?

До конца года генераторы дашбордов сделают вероятно все вендоры и фирмы-консалтеры.
Есть признаки, что такое качество результата - даст старт проникновению этого сценария в массы в следующем году.
Рисовальщики дашбордов уйдут, но постепенно. В среднем агент будет рисовать лучше чем средний BI.

Виталий говорит, что LLM уже лучше человека пишет требования, теперь и рисовать будет лучше.
И бизнес сможет собирать отчетность через чат-ботов.
У заказчика всегда была сложность внятно формулирвоать требования, а у BI-щика их снимать. При этом действительно если описать свою работу и задачу, дать датасет — LLM уже продумывает цели и метрики лучше человека и предлагает хорошую структуру дашборда. То есть уже делает все от сбора требований до релиза.

Насчет лучшей работы с требованиями — я не уверен, что бизнес уж захочет шарить требования в промпт. Им нужен будет «кожаный посредник».

Вариант воркфлоу от Виталия:
- Бизнес менеджеры посовещались и решили: «надо бы вот так данные посмотреть»
- Кинули задачу на Васю — дата-звезду (BI/Data партнер) департамента
- Вася в чат-бот: голосом вылил поток сознания
- Агент ему всё структурировал (он знает, чем занимается команда, какие у них KPI и цели)
- Вася чуть подчистил и сказал «сделай дашборд»
- Агент полез в дата-каталог, нашел данные, создал визуализации. Если не нашел - Вася дал витрину, добавил поле.
- Вася пару часов правил через голос/чат. Подкрутил косяки. Скинул результат коллегам

Бизнесу не нужны отчеты/метрики, за цифры в которых не отвечает конкретный человек (Вася). LLM всегда может сказать извини, а Вася отвечает головой (выходными).
Роль таких Вась будет важной - это кураторы доменов, партнеры, как хотите.
Таким образом, человек в биай останется, но это будет уже аналитический инженер: DE + BI end-to-end.

Я думаю, команды-фабрикиотчетности тоже останутся. Только будет 2-3 человек там, где было 7+.
Будет постепенная миграция в инжиниринг и дата-гавернанс рутину — курирование дата слоя, дата чеки, метаданные.
Стабильно будут себя чувствовать аналитические-инженеры: найти источники, загрузить, проверить качество, соединить, описать, обновить, пофиксить, оптимизировать (все не без LLM). Будет медленно вымываться джун-мидл уровень.

В эту же или в отдельную роль, но просматривается работа BI/data продактов/аналитиков — то, что LLM не решит, это next step бизнес польза от BI контента - adoption, custdev, аплифт метрик.
Делать BI контент станет еще дешевле, его станет еще больше, навигации еще меньше. Размечать эталонные витрины/отчеты/метрики из общей массы станет еще важнее.
Витрина с хорошими и описанными данными - главная ценность.

Виталий набросил, что дата-каталоги, бизнес-глоссарии и слой метрик будут развивать не для людей, а для ИИ-агентов.
Смешно. Наконец-то ими начнут нормально пользоваться 😄

В общую картину добавим - сценарий поддержки адхоков и дежурств.

Сколько ждать это счастье?

Порог входа по цене и зрелость результата уже приемлемы, чтобы средние+ компании могли такое решение построить, + на отладку уйдет 3-5 лет (как с любой системой).
Но скорее всего в этот блудняк пойдут только инноваторы из числа больших тех компании - где создается минимум 100+ новых дашбордов в месяц, и "давление в системе” поставки данных высокое. Вот только объем экономии/выгод не факт что среднесрочно превысит затраты на всю эту движуху.

Остальные поиграются, но адоптить решение сами не будут. Не будут ломать то, что работает, ради ИИ-авантюры.
А трансформация профессии кмк займет десятилетие.
Бизнес и человек в этом плане кажется инерционен.
Как охранник где-то все еще поднимают шлагбаумы, когда есть камеры считывающие номера, так и дашборды будут делать дедовскими методами, хардкорно (руками) еще десятки лет.

а может и нет.

Пошарю две ссылки с вами - занудную и фановую.
Начнем с первой:

1️⃣ Центральный банк РФ месяц назад выпустил методологию "Управление данными на финансовом рынке" - может все в курсе, я только увидел - спасибо @aivan_vok.
См 4 файла внизу страницы.

Это замах на стандарт и модель оценки зрелости управления данными. До этого все были зарубежные. Тут конечно компиляция мировых моделей, но достаточно хорошо переработанная. Короче возможно это событие. Тема data governance еще бустанет - все знают как тяжело получить такой бюджет. Теперь все банки и страховые получают если не пинок, то хороший аргумент.
Немного деталей:

Начнем с нейминга. Ну это извините пиздец, а не нейминг:

СУД УФР - Система управления данными участника финансового рынка.

Посмотрел, нашел прям признаки проработки и осмысления темы:

... Учреждение коллегиального органа по управлению данными (если требуется)
... Цифровые миражи – последствия от низкого качества данных

Есть прям отсылки к чему то глубокому:

... USER JOURNEY MAP в управлении данными
... Концептуальный дизайн на основе карточки процесса

Короче видно что писали не дураки и не на отъебись.

Ну и самое интересное, как это будет метчиться с регулированием. Я так понял это пока как бонус:

Задачами Банка России для реализации процедуры оценки зрелости
СУД УФР являются:
1. Создание методики оценки зрелости СУД УФР.
2. Проведение процедуры оценки зрелости СУД УФР.
3. Обработка и анализ результатов оценки зрелости СУД УФР.
Результаты оценки зрелости СУД УФР отправляются через личный кабинет Единой платформы внешнего взаимодействия Банка России или по электронной почте

Но видимо далее подъедут сертификации и компании, которые будут помогать ее проходить 🤑
(я, если что, не готов сейчас)).

Еще бы ставку снизили, вообще огонь.

2️⃣ Симулятор Who’s the best CDO? https://www.whoisthebestcdo.com (на фото).
Фановая штука но с глубоким смыслом. Растишь репутацию, тратишь бюджет, решаешь проблемы и пытаешься принести пользу выраженную в выручке. Я поймал рабочие флешбеки.
Если добавить групповой формат игры, домены и штук 1000 разных событий, то можно неплохо провести время.
Источник Сайт Юры Гаврилова