В начале года на работе занимаюсь 2-мя вещами

1. Планирование
2. Чистка всего неактуального

Вчера актуализировал список аналитических витрин. У нашей команды их больше 100 штук, часть со временем становятся неактуальными, вот чтобы лишний раз не тратить время на их поддержку и обновление - архивируем или делаем данные статичными.

Сегодня чистил задачи в Jira и обсуждали плановые задачи на квартал.

Чтобы найти ресурсы для нового нужно подчистить старое)

Что такое витрина данных

Новая роль в компании

С понедельника включаюсь в другой проект компании и его задачи. В первую очередь погружаюсь в
📍 бизнес составляющую направления. Какие бизнес-процессы работают и как аналитика в них участвует
📍состав команды и коллег. Кто чем занимается и за что отвечает, а также как взаимодействует с аналитикой
📍 источники данных. Откуда берем данные
📍 потоки данных до конечных пользователей. Витрины данных, джобы автоматизации, отчеты, алерты
📍 доступы. Запрашиваю постепенно доступы ко всем нужных ресурсам которые в прошлых пунктах нашлись

Сейчас главная задача погрузиться во все процессы и текущие активности (их много), чтобы на встречах понимать о чем идет речь и с чем это связано, а не просто умные слова слышать 😄

Как не выгорать на работе

📍Четко раздели рабочее время и отдых (особенно важно для удаленщиков) 

📍Обучайся всегда новому, это дает мозгу позитив и возможность менять/расширять свою деятельность

📍Старайся менять задачи или подход к их решению. Так избавишься от рутины

📍Следи за здоровьем. Причина выгорания не всегда связана с работой, это признак ментальной и физической усталости

📍Найди и выдели время на хобби - то что реально приносит удовольствие

Лично мне помогает смена обстановки в виде поездок, мини-путешествий, прогулок по городу и вечера детокса от всех гаджетов

Конструкция фильтрация для функций агрегации

Хочу рассказать про удобную конструкцию, про которую знают далеко не все. Часто возникают ситуации, когда при агрегации нужно учесть не все строки данных, а только подходящие под определенные условия.

Конструкция такая:

функция агрегации FILTER (WHERE условие фильтрации данных для учета в этой метрике)

Например, нам нужно посчитать несколько метрик
- кол-во всех клиентов по customer_id
- кол-во клиентов, у которых источник регистрации будет один из этих: direct, form, vk

Пишем запрос

SELECT 
COUNT(DISTINCT customer_id),
COUNT(DISTINCT customer_id) FILTER (WHERE reg_source IN ('direct', 'form', 'vk')
FROM customers

Можно конечно писать через CASE, но конструкция с фильтром более наглядная, емкая и эффективная в плане оптимизации

SELECT 
COUNT(DISTINCT customer_id),
COUNT(DISTINCT 
        CASE
            WHEN reg_source IN ('direct', 'form', 'vk') THEN customer_id
            ELSE NULL
        END)
FROM customers

Еще больше фишек SQL на продвинутом курсе, запись в группу

Иногда в выходные буду делиться рекомендацией фильмов и сериалов (не всегда про IT), но сегодня начнем с классики, наверняка многие не смотрели

Сериал "Силиконовая долина"

Комедийный сериал о группе программистов, которые создают стартап в Кремниевой долине. Главный герой Ричард Хендрикс случайно разрабатывает революционный алгоритм сжатия данных, который привлекает внимание крупных IT-корпораций. Сериал показывает внутреннюю кухню стартапов: технические задачи, поиск инвесторов, офисные интриги и конкуренцию на рынке.

#рекомендация_фильмы

PostgreSQL + Airflow + Github - как устроена инфраструктура на курсе

В рамках обучения ученики будут работать в построенной инфраструктуры, которую описал на схеме.

PostgreSQL - используется как аналитическое хранилище, в котором данные разделены по слоям хранения.
RAW - сырые данные, которые динамически обновляются
CORE - общие преобразованные данные в чистые таблицы
MART - слой витрин, который каждый ученик будет разрабатывать в рамках практики

Apache Airflow - автоматизирует процесс сборки таблиц и витрин через DAGи. что это и как писать разбираем в теории и практике.

GitHub - у каждого есть свой рабочий репозиторий, который играет 2 задачи
- хранение скриптов со всей логикой сборки данных
- создание и деплой DAG в Airflow для написания автоматизации
Если не было раньше практики с git, не проблема, на курсе все разбирается

Такая практика и погружение в реальные инструменты позволяет максимально прокачать твои харды! 🔥

Чтобы у тебя даже в мыслях не было сказать
- "я не уверен в своих знаниях"
- "я не силен в технических навыках"
- "я могу решать только простые задачи"

Если что-то непонятно, пишешь вопросы, я веду группу учеников лично

Предзапись на курс

Многие аналитики привыкли решать задачи в виде разовых запросов. Ну например к вам пришел менеджер и спросил

Какую выручку заработали за вчера?

И ты идешь собираешь информацию по разным таблицам или выполняешь свой "шаблонный" запрос на этот случай, потому что посчитанных готовых метрик под рукой просто нет. Знакомо?

❓❓❓А если таких вопросов будет много или каждый такой вопрос от бизнеса будет более комплексным? Такие запросы буду съедать все твое время и задачи превратятся в рутину(

В таком случае удобно создавать витрины данных

Витрина данных - таблица с достаточными, очищенными, преобразованными данными для решения конкретной задачи.

Данные перед витриной проходят нужные шаги сборки и обработки: объединяются, фильтруются, чистятся, агрегируются, считаются нужные метрики.

Дальше витрина данных становится основным источником правды для всех ответов на вопросы от бизнеса и может быть использована
- в BI отчетах
- для рассылки метрик в мессенджеры
- для обычных выгрузок в excel
- для отправок по другим каналам связи типа email

На обучении "Продвинутый SQL и автоматизация витрин данных" за 1.5 месяца научишься создавать качественные витрины данных под любые задачи

Записаться в группу

Хочешь быстро проверить, насколько хорошо разбираешься в аналитических витринах данных и автоматизации?

Предлагаю пройти короткий тест из 10 вопросов — за 3-5 минут оценишь свой уровень в SQL, Airflow, Git и облачных сервисах.

А после теста получишь развёрнутые пояснения к техническим вопросам и рекомендации

Пройти тест

Текущая ситуация на рынке IT

Сейчас рынок работодателя:
🔹 соискателей больше чем вакансий
🔹деньги дорогие как для нас, так и для компаний, поэтому новых проектов или глобальных расширений проектов нет
🔹с этим связаны оптимизации костов и как следствие сокращения

Буквально сам знаю историю, что человек сейчас готов перейти в другую компанию с понижением грейда и существенно просесть в ЗП после сокращения в одном бигтехе. И это к сожалению не единичные случаи.

Что это значит для нас - аналитиков, инженеров и других спецов

🚩 Сегодня основная цель - это закрепиться на рынке. Компании оставляют сильных и эффективных сотрудников, умеющих решать сложные задачи.

Всю рутинную работу стараются автоматизировать, а если не получается - то вообще избавиться от нее или перераспределить по другим людям. Нет сейчас бюджетов держать отдельного сотрудника на довольно узкий спектр задач.

Поэтому усиление своих hard навыков сейчас не потребность для увеличения ЗП, а способ удержаться на кризисном рынке.

Я лично всегда придерживался позиции быть многофункциональным: сегодня могу отчет в BI собрать, а завтра закопаться в бизнес-процесс и найти способ его автоматизировать на python, чтобы руками меньше делать приходилось.

Поэтому дерзай и усиливай свои прикладные навыки вместе со мной https://datastudy.ru/ (ближайшее уже 2 февраля)

Запись на старт обучения