Data Nature 🕊
6.03K subscribers
390 photos
6 videos
3 files
198 links
Канал о жизни BI аналитики и инфо-дизайна в корп реалиях с фокусом на работающих практиках управления.
Веду как летопись полезного для себя и людей с такими же неврозами.

александр бараков @alexbarakov
datanature.ru
data-nature.com

(рекламу не размещаю)
Download Telegram
9 умных мыслей, которые я вынес из Data Innovation Summit 2023, прошедшего в Стокгольме, полезных для применения в нашей команде

(Часть 4. Продолжение)

7️⃣Неожиданные встречи
🔹Была приятная встреча с шикарно одетым @trumassive из Toloka.ai, пробирались через толпу поклонников и поклонниц, но руку пожали - см фото
🔹Datavault builder - Фото из разряда как подбесить свою DWH команду)
🔹 kubicle.com - ребята из Ирландии делают свой портал курсов c фокусом на BI/DataPrep скилах. Есть у нас (как у многих) такая проблема - поддерживать свою систему курсов по Tableau и SQL чтобы регулярно онбордить и апскилить людей в команде. А тут готовое решение за 500 евро в год за юзера, еще и говорят можете аккаунт передавать. Посмотрели 3 learning-paths - по табло/sql/python - см фото. Для jun-reg отличный вариант, seniors почти ничего нет, попросили сделать. Затестим.

8️⃣ Впечатление от самой конференции: Саммит заслуживает похвалы за то что люди ввязались и сделали.
… увы выступления не дали нам (и никому из тех, с кем я общался) никаких инсайтов, все инсайты были в общении на стендах с техлидами и нетворкинге между собой. Что безусловно тоже часть формата.

Темы выступлений были звонкими, но сам контент кошмарным:
⁃ банальные тезисы - почти никто не шарил самобытных практик и фреймворков
⁃ много вендорского сейла без обсуждения сложных вопросов
⁃ спикеры подготовлены слабо, видимо ревью контента не было. мелкий нечитабельный шрифт слайдов сначала веселил потом раздражал. не было градации сложности выступлений - по уровню подготовки, может что то и было толковое, но мы пропустили.

9️⃣ Ну и главный инсайт - Стокгольм это заградительно дорого для барного туризма. Наш торфяной виски был соленым от наших слез. Все равно славно потусили кросс-компанейской группой, пока нас не разделил жесткий арабский фейсконтроль какого-то клуба).

Осталось унять тревогу что нужно много всего делать, а вы не успеваете, обновить карту инноваций нашего BI проекта и спокойно херачить к ускользающему совершенству.

Часть 1 | Часть 2 | Часть 3
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Май - месяц конференций и Outlier 2023 от Data Visualization Society - по-тихому прошел в Порту на прошлой неделе.
Мой добрый товарищ Максим Иванов (@mac_seem) из Exness был одним из немногих кто там побывал оффлайн и после пошарил свои заметки, которые я с его разрешения публикую здесь 👇
https://max-i.notion.site/Outlier-2023-3dc17a12cfc044b580db427c53a59f6e

Макс, Спасибо за репортаж. Похоже ничего глобального мы не пропустили 😁
Разве что настоящего дата-журналиста не увидели живьем. Видимо уже в след жизни

💬За уточнениями можно в комменты, Макс расскажет подробнее
Please open Telegram to view this post
VIEW IN TELEGRAM
Многие спрашивают- когда компания становится готова осилить финансово data governance проект или его элементы. Можно много ходить на конференции и рисовать презы, но проект начинается с человеческого ресурса.

Да есть объективные факторы окупаемости DG: жесткий compliances pressure (привет банки и фарма) и прямая связь данных и выручки (привет продуктовая айтишечка). Все остальные вечно ищут сложный баланс между гемороями в управлении данными и отсутствием бюджета

😤 Короче мы сжали мышцы ног и открыли вакансию в команде на развитие инициатив data платформы, в том числе data catalog на основе Purview. Позиция не синьорная (денег нет) но готовы развивать при наличии хорошего мозга, опыта в BI и DG, кругозора и адекватности. Нужно быть готовить координировать change проекты, а не только рисовать дешики. Нанимаем в Украине и Сербии. Если есть метч пишите мне или откликайтесь https://career.luxoft.com/job/regular-bi-tableau-analyst/356419/?utm_source=linkedin-wrapping

💸 «Мои кореша» из exness строят на Кипре лучшую версию нашего проекта и тоже открыли похожую ваку.
У них вам дадут больше денег но меньше души) шутка - там тоже классно.
Вакансия секретная - еще не на сайте. CV в личку @mac_seem
Описание https://disk.yandex.com/i/oksYeB_ZV4mG4g
Please open Telegram to view this post
VIEW IN TELEGRAM
Редко так подгорает как от последнего Tableau Viz of the Day с великолепными горами на фоне, меняющимися в зависимости от времени суток. Оказалось не только меня тригернуло. Не понимаю, как можно так невнимательно относиться к выбору фото для фона

В итоге бросаю все и делаю на коленке гайд по использованию бекграунда в дашбордах:
1️⃣ Используйте изображения имеющие для вас и ваших пользователей особый смысл - так пользователи будут специально ходить в ваш отчет, чтобы погреть душу воспоминаниями смотря на фото бабушкиного ковра
2️⃣Прозрачность графиков должна быть максимальна. Они не должны мешать смотреть на фотографию
3️⃣Если заголовок плохо различим на контрастном изображении - удалите заголовок
4️⃣ Если вы используете пейзажные фото - эксперты рекомендуют фото Неаполитанского залива, ведь рестораны в Сочи не могли ошибаться.
5️⃣ Подходят фото с вечеринок - лица друзей со свадьбы отлично отвлекут вас от низких показателей KPI
6️⃣Смена фото от времени суток - это никуда не годится, ведь ваш пользователь захочет чаще переключать фото. Нужен переключатель

Моя версия в табло

Охотно приму ваши версии бест практик использования бекграундов и примеры ваших щикарных дашбордов с фонами
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Коротко о встрече вчера с https://www.getdot.ai - еще одним проектом, развивающим data ассистента со звучным слоганом 'Chat with your data warehouse'

Архитектура уже ожидаемая:
-- подключение к набору таблиц с чтением метадаты. в идеале семантический слой dbt или snowflake, но есть и другие
-- GPT-4 под капотом конвертит запрос пользователя в промт и генерит в SQL-скрипт
-- скрипт выдает примитивный визуал в чат с возможностью посмотреть код
-- можно дать обратную связь, но это не приводит к истинному обучению

Ценник умеренный от 500 евро в мес для небольшой компании. мутное ценообразование от утилизации капасити юнитов. есть onprem. дешевле thoughtspot и явно гибкие ребята в плане кастомизации под клиента

Есть как свой интерфейс чата, так и бот для слака и тимз. разумно.

Консерны:

- сами данные в промт не льются. нет пока решения проблемы емкости. поэтому вопрос из разряда 'найди мне что-то интересное в моих данных' бесполезен.
- тул по общему мнению с его основателем комплементарная надстройка к дашбордам, в которой юзер может узнать значение метрики с учетом фильтров, отклонения метрики, топы по метрике и контрибьюторов дельты. дескриптивная и немного диагностическая штука. немало в принципе, но на этом все
- сам интерфейс сырой, но базово все есть. Зачем то грузят юзера кодом, вместо проработки визуала
- обсудили как применять политики доступов пользователя для такого сервиса. Говорят аналог RLS прикрутили сейчас для looker и snowflake. Управление доступом по колонкам и таблицам - есть в коробке.
- поразгоняли как можно встроить WolframAlfa с его движком работы с цифрами в архитектурy. Неочевидно пока

Ощущение чуда и неотложности утихает)
Просто перспективная тема для пилота в рабочем режиме
Есть две главные проблемы data governance проекта: 1я - data, 2я - governance.

Если серьезно, из всех проблем кажется чаще других упоминается: Вовлечение и мотивация бизнес и data людей делать что-то новое в DG фреймворке, смысл чего им бывает сложно понять и найти для этого время.

Наткнулся на видео про микс DG проекта с …геймификацией.
Как я понял игровые механики на видео примитивные - gamemap (на Sharepoint!?) с маршрутами и точками отражающие стримы и подстримы DG проекта. Они же факторы DG maturity модели компании, оцениваемые по некой шкале.
Выглядит скучно, да и непонятно где здесь собственно игра. Но сама идея крутая.

🤨 Несколько мыслей поверх:

🎮 Логично делать интерфейс аля board-game (их все любят) с забегом по маршруту или прокачка героя или строительство своего дома (типа homescapes от playrix). Можно повеселиться выбирая тему и механики.

🎲 Нужны режимы для персонального /соревновательного трека, а также сценариями для команды/отдела и отдельного сотрудника/роли

🎪 Возможно замахиваться сразу на геймификацию всей Data Platform (тем более если у вас Data Mesh, SSBI и федеративный DG).
Например, Сценарий для дата стюардов и дата/BI аналитиков - где они получают баллы, бейджы, доспехи и проч хрень за выполнение целевой работы - заведения DQ метрик, достижение полноты метадаты, апрувы терминов, релизы дата продуктов и их популярности, написание политики, качественные запросы
Плюс нишевые номинации, редкие бейджи, лидерборды, награды, миссии, конкурсы и т.д.

🤹‍♀️Тема имеет хорошие шансы успеха в среде где много дата людей в open minded аджальной структуре где культура способствует игре и есть ресурс творить.

🧸 Такой проект должен сращиваться с skill belt программой обучения и Data literacy. Если уж вписываться в такое то, по-крупному.

(гоним мысль о том, что хорошую геймификацию настраивать не намного быстрее и дешевле, чем сам data governance)

Кто найдет бюджет на такое - позовите консультантом)
Добавляю пока в общий гайд по внедрению Data Governance
Please open Telegram to view this post
VIEW IN TELEGRAM
Пара дней отпуска проведены с мощной data office team в exness - некоторые мысли, вдохновленные интенсивным воркшопом по data management, стали еще яснее:

⁃ Проблема вовлечения data stewards в роль - тотальна и фатальна. И это главный обман DAMA DMBOK. Она не решается никакими методами - ни манипулятивно, ни рационально через KPI. Возможны только отдельные успехи. Формальное навязывание участия неэффективно. При совмещении с прямыми бизнес задачами - таски DG никогда не поднимаются в исполнимую часть беклога. Федеративная структура DG проекта модельно верна, но то, что применимо к BI сильно сложнее для DG - введение выделенных data stewardship ролей в бизнес функции это роскошь, доступная разве что большим банкам.

- Прогресс в DG проекте попадает в жесткую зависимость от проактивности data / BI / CDO office team, у которой всегда будет нехватка «бизнесовости» и ресурса на полномасштабную работу в бизнес направлениях. Прокачка каналов коммуникации и кросс-командные проекты data team и business stewards - единственный путь к свету. Но чтобы их строить нужна сверхволя.

⁃ Получить осознанный и активный спонсоршип executive management - другой миф. Ждать от бизнес лидеров инициативы в этом направлении глупо. Решение насущных бизнес задач имеет заведомо больший эффект на карьеры людей, чем долгосрочное развитие дата ландшафта, процессов качества данных и проч. Бизнес ценность data governance всегда опосредована слоями других факторов, невозможно провести прямую линию от бизнеса к DG проекту. Все группы драйверов от регуляторки до экономий и монетизации в бизнес-проектах работают на бумаге и не пробивают business-as-usual инерцию

продолжение далее..
(продолжение)

⁃ Data catalog делается только для касты power users. Все остальные утверждения это маркетинг вендоров и самообман. Уговаривать группу business data stewards вести самим глоссарий в каталоге следует все равно. Это не безнадежно. Для остальных casual users - интерфейс слишком избыточный, чтобы использовать в нем только фичу поиска отчетов. Для Business users - gpt-based бот в корп мессенджере в качестве интерфейса навигации - самое оно. Data quality tool и data catalog необходимо сращивать - см Ataccama. Слишком сложно и дорого адопнить каждый их них отдельно. И аудитория у них получается одна.

⁃ Роль тех команд владельцев систем (data producers) в DG часто недооценена. Ее часто нет на красивых схемах фреймворков. При этом их влияние на качество данных часто выше data stewards и BI аналитиков, но мышление своих данных как активов, а аналитиков как клиентов - очень редко. Внедрение data contracts это тех проект между data producers и DWH. И проект конкретный и важный.

Вместо морали. Нет универсального DG решения - есть только поиск сложного баланса и внедрение отдельных элементов DG с творческим осмыслением места data catalog в ваших рабочих процессах
State of Analytics Engineering - Обзор мировых трендов от dbt
Цвета на неотсортированных чартах - из моих страшных снов, но выводы интересные:

- 46% опрошенных дата лидеров планируют увеличить инвестиции в data quality и observability в этом году — это самая популярная область для будущих инвестиций. Кажется реально пора

- Отсутствие координации между data producers и потребителями данных воспринимается всеми опрошенными как основная угроза для экосистемы в этом году. Data contracts в топе приоритетов

- 71% опрошенных положительно оценили продуктивность и гибкость команд по обработке данных, тогда как внедрение data ownership стало основной проблемой для большинства.

- Только 19% data лидеров полностью удовлетворены статусом внедрения self-service аналитики (и это после 15 лет эпохи SS BI)

- Лидеры аналитики поголовно обеспокоены потребностями стейкхолдеров. 42% говорят, что их главная проблема заключается в том, что "Данные не находятся там, где в них нуждаются бизнес". Поэтично

https://www.getdbt.com/state-of-analytics-engineering-2023
Источник ссылки - @trumassive
Когда у Lisa Charlotte Muth выходит новая статья приходится все бросать и читать. Это всегда неповерхностно и свежо.
На этот раз раскрывает смысл своей мысли про то, что “Grey is your best friend in data vis”

https://blog.datawrapper.de/emphasize-with-color-in-data-visualizations/

Если еще не - прочтите и другие статьи автора в блоге datawrapper
Left Join кажется даже их переводили частично

Кажется пора сделать учебный miro борд со всеми ее графическими примерами чтобы залипать было удобнее 🧐
🤬Минутка нарциссизма случилась с известным dataviz-блоггером. Человека в такие минуты нужно поддержать даже если это требует присоединиться к такому акту шейминга плохого вкуса в дизайне.

▪️Про градиенты в форматировании чартов - тут все просто: их используют дегенераты от дашбординга, отнимайте BI тул у таких сотрудников.

▪️Про скругления - важно добавить. Нельзя это делать не только с барами, но и с плашками (такие прямоугольники под графиками). Это не нужно.. никогда. Является явным проявлением "декоративности", создающего когнитивную нагрузку пользователю на пустом месте и без всякой пользы

▪️Про бездумную покраску баров в цвета брендбука без учета цветовых коннотаций - камон, не верю, что кто-то так делает. Явный перегиб рассерженного Романа.

▪️Забыт страшный зашквар - огромные внешние паддинги между объектами и обратная крайность - нехватка внутренних отступов внутри рамки графика. Одно жуткая пошлость и расточительство, второе уродство. Хуже только добавление теней.

▪️Наброс на специальные сервисы несправедлив, людям не повезло с BI системой и они просто хотят делать нестыдные палитры. Нельзя быть таким категоричным.

Надо ли говорить что типовую разметку дашборда нашей команды я считаю образцовой.

В отличие от Романа - у меня нет позитивного финала этого поста. Я не считаю, что информационный дизайн и визуализация данных как навыки можно кардинально развить. Это как ...с музыкальным слухом, можно выучить аккорды, не более.

В счастью BI дашборды - вещь прямо скажем маловажная, имеющая локальное значение даже для аналитики, не то что для мира. Соблазн ставить их в абсолют работы - гордыня (о как я грешен). В мире ИИ и нейроинтерфейсов у дашборда не будет музея. Раунд.

🤡
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM