В последнее время требования, которые нам предъявляет этот мир, меняются так быстро, что мы почти уже не помним, что было неделю назад. Если вы тонете в количестве информации также, как и я, то нам однозначно по пути. Так что запасаемся оставшимися вредными шоколадными батончиками, и топаем в новую реальность, котятки🐱.
Что я сформулировала для себя за последнее время, чтобы избавиться от тщетности бытия в BI-разработке:
1) Ваши аналитические навыки и компетенции никуда не делись, даже если куда-то делось ПО. Как я себя успокаиваю:
• Roadmap альфа-банка: это весьма условный перечень, в котором замиксованы концепты, стандарты, утилиты и навыки, и он по-хорошему больше пригоден для бизнес/системного аналитика, но он мне как нравился, так и продолжает нравиться. https://habr.com/ru/company/alfa/blog/457864/
• Матрица Компетенций Романа Бунина: пожалуй, лучший формат самооценки для тех, кто полюбил хардовый энтерпрайз с его кучей условностей, и даже там может делать своим пользователям быстро и прекрасно: https://revealthedata.com/blog/all/matrica-kompetenciy-bi-analitika/
• Калибровка роли: когда в прошлом году я предложила разделение на BI-аналитика, разработчика и администратора, меня восприняли мягко говоря сомнительно, но я всё ещё калибрую каждую задачу с учетом свое роли, основываясь на простеньком разделении вот этой статьи: https://social.technet.microsoft.com/wiki/contents/articles/25319.business-intelligence-roles-and-team-composition.aspx Она же помогает понять, что каждую роль можно выполнять своими инструментами, а не всё делать на BI-инструменте.
• Определение приоритетов: бесполезно хвататься за всё и сразу и быстро доучивать сторителлинг, если собираетесь работать в каком-нибудь банке на проекте операционной аналитики типа «отчёт-табличка». Какие технологии/навыки были (раньше) важны по индустриям, можно посмотреть тут: https://blogs-images.forbes.com/louiscolumbus/files/2018/06/Technologies-and-Initiatives-Strategic-to-Business-Intelligence-Objectives-by-Function.jpg
2) Сформулировать ценности – свои и для бизнеса. Компания Ventana Research провела анализ индекса ценности в мире BI, и увы, наши бывшие фавориты там не в тренде. Причина простая: когда мы говорим про BI-инструменты, мы часто опускаем подробности, что ведем речь только о чистых BI-продуктах. Рынок же встроенной, платформенной, гибридной и прочей BI-аналитики максимально широк. Исследование можно почитать тут: https://www.qlik.com/us/-/media/files/resource-library/global-us/register/analyst-reports/ar-ventana-research-analytics-data-value-index-2021-en.pdf
3) Если уж что-то менять, то в лучшую сторону. Фреймворк миграции на себя пишет каждое уважающее себя ПО (за что и люблю Клик), чек-листов миграции сейчас просто море. Например, вот это: https://www.element61.be/en/resource/elementary-bi-pm-migration-projects Я когда-то писала себе полный гайд с миграционными коридорами, но, увы, смысла в нём немного – кто пользовал опенсорс/бесплатное ПО, тому это не нужно, а там, где нужно, нетехнологические факторы принятия решений играют огромную роль.

​​После вебинара: по горячим следам
Что показал краш-тест Visiology💥

Вчера провел вебинар, где рассказал о том, что умеет и что не умеет российская BI-платформа Visiology. Делюсь краткими выводами.

Обрадовало 🤩

Конструктор веб-форм сбора данных. Этого нам много лет не хватало, ведь у заказчиков всех данных в базе никогда нет. Приходилось либо делать костыли из Экселя и гугл-таблиц, либо прикручивать внешние сервисы. Но с ними уже сложнее, любые модификации требуют переписывать ETL. А тут просто привязываешь к измерению — и данные попадают в модель!

Разочаровало 💩

Нет представления схемы данных. Совсем нет! Для меня как визуала это критично. Я не могу понять, звезда у меня или снежинка, если перед глазами только перечень таблиц и ключевых полей.

И дальше такой же подход: в дизайнере дашбордов я не вижу справа перечня полей модели. Мне надо выбрать тип визуала и в него добавить измерения и показатели. При этом помнить, в каких «подпапках» они лежат.

Успокоило 😌

Дашборд из Power BI удалось повторить на 98%. Возможности кастомизации на уровне self-service небогатые, но каждый объект можно тут же тонко настроить на JavaScript. Для меня это минус, для хардкорных биайщиков, скорее, плюс.

Зато порадовало, что есть сущности, аналогичные страницам-подсказкам и закладкам. То есть интерактив, дополнительные слои информации — это естественные для платформы понятия, а не кастомный функционал.

Не берусь ставить оценки по критериям, пока не протестил другие системы. Пока — главное впечатление: это еще не self-service, но уже зрелый low-code.

Вебинар можно посмотреть по ссылке.

#краш_тест #visiology

Все основные BI вендоры уходят из России, в том числе и Табло. Приостановлены продажи и продление новых лицензий, отзываются лицензии у компаний попавших под санкции. Официальные представители не могут ответить, что именно будет дальше. Поэтому компании ищут или возможность покупки лицензий через зарубежные юр. лица, или переходят на другие платформы: open-source или от российских производителей.

Open-source
Самый большой и подробный гайд по BI-систем собрала команда Left Join, там есть и платные, и open-source решения. Изучение open-source начал бы именно с этого гайда, всё очень подробно и с примерами. Ребята готовят видео по Superset, но пока его нет можно посмотреть выступление Петра Ермакова про опыт Lamoda.

Отечественные
Сравнение отечественных систем можно посмотреть в краш-тесте Алексея Колоколова или в анализе на манер квадрата Гартнера от Сергея Громова. Ещё появился чат про русские BI-платформы.

Мнение
Я думаю, что Табло частично останется в России. Его смогут использовать зарубежные компании, сохранившие бизнес в России, плюс думаю, что найдутся пути для закупок. Возможно со временем они вернут продажи, но даже при этом Табло станет меньше.

Из open source я лично работал только с Metabase, это хорошее решение для простых задач. Делать выводы и получать инсайды можно и там. Наиболее продвинутыми с точки UI, гибкости и визуализаций выглядит Apache Superset. Канал и чат про этот инструмент.

Из русских систем я работаю только c DataLens — мы используем его на работе и помогал ребятам с учебным марафоном. По функционалу инструмент решает все те же задачи, что и open-source, но гораздо более user-friendly для старта работы, более продвинутые карты и без проблем работает с ClickHouse. Но может находиться только в облаке, что подойдет не всем компаниям. Учебный марафон и чат про этот инструмент.

В целом я верю, что с помощью любой платформы можно получить хороший результат.

Навыки
Я не думаю, что рынок специалистов BI сильно упадёт, но изменятся требуемые навыки. Более важными станут навыки подготовки данных и оптимизации работы витрин — все опенсорс решения опираются в первую очередь на live подключения к БД и в них нет встроенных ETL-инструментов. Для создания кастмоных визуализаций и оформления понадобиться знание JS и CSS. Из нетехнических навыков останется важным сбор требований и дизайн, особенно важным станет UX, так как с более простым инструментарием придется придумывать более элегантные подходы, которые бы удобно решали задачу пользователя. Важно помнить, что инструмент визуализации, лишь один из 6 навыков, необходимых для хорошего BI-специалиста.
#наблюдение #ссылка

Всем изучающим #datalens будет полезен демо-дашборд не просто показывающий возможности системы, но и дающий ссылки на справку с примерами использования функций. Очень рекомендую.

Сборник видеоуроков по apache superset для начинающих.

И отличное видео с матемаркетинга об опыте использования superset

​​Продолжаю краш-тесты русских BI. В эту среду будет Yandex DataLens✨

Продукт уже известен на рынке и позиционируется как self-service. Но вот хватит ли его для требовательных корпоративных заказчиков?

Снова буду искать баланс, где хватает коробочного фунционала, а где нужна кастомная разработка🤔

Вот запись прошлого с Visiology. На этот раз планирую уложиться в 1 час демо, остальное на вопросы-ответы. У меня упор на front-end, но все равно через сквозной кейс мы вытягиваем возможности и ограничения работы с данными. И за 1 час вы получаете концентрат, независимое мнение о продукте.

Регистрируйтесь, готовьте свои вопросы.
⬛ Среда 30 марта 18:00

#краш_тест

Полезные ссылки для знакомства и работы с DataLens

Большой функциональный демо дашборд:
- datalens.yandex/demo - публичный, только чтение
- Развернуть дашборд в своем DataLens для редактирования

Сообщество:
- Телеграм чат (вы сейчас тут)
- Предложить и проголосовать за новую фичу
- Плейлист официальных мероприятий на YouTube

Обучение:
- Быстрый старт, пошаговая инструкция
- Более детальные пошаговые инструкции по сценариям
- Туториалы по аналитическим функциям: агрегации, оконные функции, Level-of-Detail выражения
- Образовательные проекты

FAQ в документации:
- https://cloud.yandex.ru/docs/datalens/qa/

Публичные истории внешних пользователей DataLens:
- КазаньЭкспресс - Аналитика retail маркетплейса
- Правительство С.-Петербурга - Аналитика городских сервисов
- Окраина - Аналитика на мясоперерабатывающем заводе
- МВидео - Платформа данных в облаке, геоаналитика
- Rubetek - Аналитика IOT по датчикам домов и квартир застройщика ПИК
- Moneycare - Кредитный брокер, корпоративный BI
- AnywayAnyDay - Аналитика онлайн туристического агентства
- JustSchool - Аналитика над CRM школы английского языка
- SevenTech - Аналитика технологического стартапа над ClickHouse
- НефтеТрансСервис - Промышленная аналитика интернета вещей
- RADAR - Аналитика аудитории наружной рекламы по всей России
- Цифровое образование - Аналитика олимпиад, учеников, школ
- Биологический Факультет МГУ - Предсказание и аналитика урожая
- tproger – Веб аналитика портала
- Car-Taxi - Продуктовая аналитика сервиса эвакуации авто

Примеры публичных дашбордов:
- Анализ качества воздуха
- Статистика коронавируса
- Погода
- Показатели Российских ВУЗов
- Демография Ставрополья
- Исследование про работу вахтовым методом в РФ
- Безработица РФ
- Пример с LOD выражениями от @ab0xa
(присылайте ваши примеры в чат, если хотите поделиться своим опытом!)

Презентации:
- DataLens
- Yandex Cloud Data Platform

Помощь:
- Обсудить ваш проект
- Завести тикет в техподдержку
- Найти партнера для проекта

Раньше уже была ссылочка на визуальный туториал по pandas.
А сегодня — визуализизатор SQL-запросов.

#ссылка

Небольшой конспект по python decorators. Я их еще не использую, но планирую применять для логирования трансформация в PySpark. Условно у меня есть функция, которая умеет делать spark.read и другая функция, которая умеет делать spark.write.

Моя задача собирать дополнительную информацию о работе функции - logging. Я хочу знать сколько времени функция работала (timestamp start, timestamp end), сколько строчек я прочитал и сколько строчек записал.

Для этого мне нужно выполнить одни и те же команды перед началом функции и после функции. То есть, как бы обернуть каждую функцию (wrap) в дополнительные команды. Именно это и делает декоратор, и если в коде вы видите @ символ перед функцией, значит кто-то использует декоратор.

Вот материалы по python decorator:
Python Decorators in 15 Minutes - прям офигенно.
Python Next Steps: Functions, Parameters, Closures, & Decorators - O'Reilly workshop, возможно можно найти запись.
Primer on Python Decorators - примеры, чтобы воспроизвести
Python Decorators - еще примеры
Видео на русском.

А вот реальные кейсы использования и примеры:
5 reasons you need to learn to write Python decorators - статья от O'Reilly
What are some common uses for Python decorators? - наш любимый stackoverflow

Мой PDF ниже
👇👇👇

7 апреля Glowbyte представит на веб-конференции замену для табло - китайскую FineBI. Начало в 10-00

Регистрация

Вот и братья китайцы подсуетились. Очень интересно)

Яндекс Практикум запускает программу по обучению SQL

За полтора месяца курса студенты с нуля пройдут путь от новичка до уверенного пользователя SQL.

Программа предназначена для:
начинающих и продолжающих обучение аналитиков;
продакт- и проджект-менеджеров;
маркетологов;
специалистов техподдержки;
UX-исследователей;
специалистов по финансам;
новичков, которые хотят составлять SQL-запросы и работать с СУБД, даже если у них нет опыта в базах данных и html.

В рамках курса студенты научатся:
➡️проводить маркетинговые исследования, чтобы оценить успешность бизнеса или продукта;
➡️находить и отфильтровывать данные при помощи SQL-запросов;
➡️рассчитывать продуктовые метрики, чтобы сравнивать товары и услуги;
➡️хранить, обрабатывать и управлять данными в СУБД.

Создатели и преподаватели курса – действующие специалисты с большим опытом работы в SQL из ведущих российских компаний.

В программе:
✅2 блока учебного материала, каждый из которых представлен в двух форматах: текст и видеоуроки;
практика в SQL-тренажёре;
✅актуальные знания и реальные кейсы;
✅разбор заданий на еженедельных воркшопах с наставником;
✅2 бизнес-проекта на основе требований заказчиков.

По завершении обучения студенты получат удостоверение о повышении квалификации.

Стоимость обучения:
Вводная часть бесплатна: пользователи смогут выполнить несколько заданий в SQL-тренажёре, что поможет оценить формат, содержание и уровень сложности.
39 000 ₽ при оплате всего курса.
От 4 035 ₽ в месяц при помесячной оплате.

‼️Подробности по ссылке.

​​Yandex DataLens: «Tableau на минималках». Для тех, кому ехать, а не шашечки

Power BI широко зашел в SMB-сегмент со своей бесплатной полнофункциональной версией. На краш-тесте я убедился, что для этой аудитории DataLens — вполне рабочая альтернатива. Тем, кому надо ехать, а не шашечки😎

Архитектура и интерфейс сильно напомнили Tableau. Но я за то, чтобы копировать лучшие практики, а не изобретать велосипед.

Быстро подключил источники, построил стандартные графики. Все реально быстро. Но для наших корпоратов дальше нужна кастомизация: условное форматирование, разрядность и т.д. Этого не но что кодом, вообще никак не настроить. Даже цвета не поменять, можно только выбрать из нескольких палитр🤔

С точки зрения бизнеса и продукта я понимаю: такая защита от дурака не позволит накосячить с визуализацией. Но корпоративные клиенты не пойдут на такой компромисс. А вендор и не собирается прогибаться под «кровавый энтерпрайз», у них есть четкая стратегия, какие фичи они будут делать, а какие нет. Я рад, что хоть взаимная фильтрация через визуалы есть в бэклоге (а то сейчас надо отдельно кучу фильтров на лист добавлять).

Резюме. Продукт для задач моего уровня не подходит. Но ему всего 3 года, и я реально верю в DataLens — у него классная команда и ресурсы Яндекса за спиной. Так что, русские вендоры, не расслабляйтесь! 😁

Как мы проверяли возможности платформы и что обнаружили — в записи вебинара https://youtu.be/UUKq00be6i0

А я надеваю шлем и иду краш-тестить Форсайт, как вы и просили.

#краш_тест

👆По ссылкам выше можно скачать и пощупать китайскую FineBI. Обещают даже бессрочную и без функциональных ограничений бесплатную лицензию для персонального использования. Китайцы наступают на российский рынок BI) будет интересно)

Приглашаем на Открытое техревью!

Тема встречи 8 апреля в 16.00 — Эстетика разработки в Tableau.
😢 Приходилось ли вам мучительно долго разбираться в собственном дашборде, вернувшись к нему через месяц? Или расшифровывать «начинку» чужого? Если да, это техревью для вас.
📃Апрельский манифест нашего Открытого техревью: «За эстетику и красоту BI разработки!». И это не про красоту ради красоты. Но ради спасения времени, сил и здравого смысла.
🎯В эту пятницу мы поговорим о том, почему важно уделять внимание «швам» в разработке — названиям полей, созданию папок, комментированию расчетов и не только.
В качестве ориентира на Открытом техревью разберем для вас на практике чеклист базы дашборда.
🔮В конце покажем лайфхак, как можно быстро отловить абсолютно все формулы, содержащие типовые ошибки на сервере.

👏Присоединяйтесь, готовьте вопросики, мнения, дополнения! Ждем вас в пятницу.
Ссылку на эфир вышлем после регистрации. https://vizuators.by/techreview

#tableau #vizuators #techreview

Самый надежный дашборд, который не зависит ни от каких санкций)))) #юмор