DataBar - успехом стартовал наш скромный движ для людей про данные и алкоголь

Вместе с Я-Tableau-Бог-Егором и RevealTheData-Ромой таки подавили социофобию и провели первый оффлайн ивент в парке в Амстердаме.

Пришло около 25 незнакомых друг с другом людей из России, Белоруссии, Украины, Марокко, Италии и Индии.
Все пришедшие были в жутком адеквате - аналитики, инженеры и предприниматели. Небольшие стартапы, глобальные компании.

Была идея, что нужно будет как-то развлекать всех, знакомить и модерировать обсуждения, разгоняя темы про AI, данные и аналитику. Рома подготовил пантомиму фасилитацию.
Но народ просто взял пива и начал общаться. Заготовки не пригодились и талант Ромы не был востребован.

Было супер короче. Будем делать второй ивент в июне. Присоединяйтесь кто недалеко.

Следующий 29 июня -
https://www.meetup.com/databar-data-analytics-meetups/

И кстати - недавно по совпадению появился канал крутого Саши Варламова - с таким же названием Data Bar - https://xn--r1a.website/data_bar. Тут ссылки на работы и мысли на премиальном уровне. Каждый пост - интеллектуальный тест на настоящего эксперта продвинутого датавиза. Я прохожу через раз)

Пример как в одном банке массово поиграли в настолку по теме federated data governance.

…игра была с более чем 300 коллегами из финансового домена и домена рисков. Цель - распространить осведомленность и понимание подхода компании к Federated Data Governance Model initiative, критической роли data quality, security, and compliance в организации.

Интересно получилось ли сделать что-то увлекательное само по себе, или это сработало разово и только в принудительном порядке.
Если игру можно закастомить, чтоб там были элементы именно вашей дата платформы, ваши команды и домены и проч - то есть шанс.

В любом случае вдохновляющий прием. Я узнаю игровые механики. Давайте сделаем свою. Звучит как задача.

Кто-то есть из банков с бюджетом ? напишите. Сделаем под вас первую версию.

За ссылку спасибо Пете Травкину.

Новый продукт, новый повод понудеть про новую эру в BI

Databricks по-тихому выпустил свой BI. Но не простой. Назвали AI/BI Genie. Продукт умеет и в дашборды, но интересен в нём именно Generative AI.
Databricks, пожалуй, самая мощная в мире cloud дата-платформа, теперь закрывает BI пробел.
В основе лежит экспертиза Mosaic AI (куплен год назад за 1,3 млрд долларов).

Попытался понять, что уникального в этом релизе Databricks. Вот мысли:

Когда традиционные BI-вендоры создают Conversational BI в чатах, они часто делают это красиво, но не интероперабельно. Они опираются на свой дата-слой, который в BI всегда слабый. Семантический слой, как правило, отсутствует или выполнен поверхностно (исключение - Looker). Взаимодействие с внешним слоем метрик и метаданными хранилища у таких решений также поверхностное. Вот ThoughtSpot + dbt обещали что-то супернативное, но пока затихли.

Databricks, имея всё необходимое у себя — Lakehouse, Unity Catalog (дефолтный метадатастор и админка), свою трансформацию и семантический слой (yaml-файлы, определяющие метрики и связывающие физические и логические метаданные), имеет все, чтобы сделать наиболее качественный путь text->SQL->text->Viz.
Условно не нужно будет ничего, если все компоненты платформы настроены.

Главная проблема семантических моделей в том, что их нужно кому-то строить. Инженеры не умеют в бизнес-логику, а бизнес-аналитиков трудно принудить. В итоге настоящий семантический слой живет в сотнях голов разработчиков, а все попытки его зафиксировать отстают.
AI Databricks, как я понимаю, сам создаёт собственную доработанную семантическую модель, опираясь на действия пользователей и их фидбек поверх метаданных и метрик, взятых из платформы данных. Интересно, что AI просит тебя рассказать о метрике, если сам её не знает. (Кто-то точно будет над ним издеваться или неумышленно давать просто неверные знания)

Эту модель можно обучать, предзаписывая в неё промты и запросы в отношении конкретных доменов.

Идеальный путь, к которому это идёт — AI будет работать как аналитик, самостоятельно строить семантический слой и уточнять у команды: "я правильно понимаю, эта метрика определяется таким кодом и текущим значением?", а "эта её вариация — вот этим?", а дата-команда будет ему говорить: "да, да, нет, нет".

Другой плюс — сквозная безопасность на уровне Unity позволяет AI-BI давать ответы исходя из доступов пользователя, исключая необходимость доп настроек. То есть если согласован сам Databricks, дальше уже к безопасникам ходить не надо.

Лицензий отдельных вроде как нет. Но есть требования к компонентам.

Как итог, в таком сетапе - Databricks наверняка будет иметь все для самого цельного на рынке решения.

Однако остаётся вопрос: станет ли в итоге BI чат-бот (даже в идеальном свом воплощении) дополнением к производству и потреблению привычных отчётов, или дашборды останутся придатком к мейнстримному интерфейсу чат-бота?

Что думаете?

Когда долго смотришь на джазовый оркестр - выходишь на аналогию с аналитической командой.

Джаз хорош как аналогия еще и потому, что джем неповторим, но подготовлен как удачный аналитический проект. И там и там есть и строгая базовая часть и импровизация.
И там и там есть синьоры берущие сложные партии.
Ударные, гитара и контрабас дают основу как дата инженеры. Тромбоны, трубы и саксофоны дают форму как BI разрабы.

В джазе нет дирижера, есть аранжировщик/бэндлидер. Отличное определение. Сергей на видео дает драйв как бодрый тимлид на сонном планинге в понедельник.

Как вы поняли - я не шарю за джаз. Но я в отпуске.
А на видео - Mussorgsky Jazz Orchestra п/у Сергея Богданова.

С кем еще не выпил в Питере за неделю - напишите.
Всем среды!