Аналитика данных / Data Study
9.45K subscribers
557 photos
53 videos
25 files
423 links
Помогаю аналитикам расти в профессии и доходе

Курс по продвинутому SQL и автоматизации потоков данных https://datastudy.ru/

По всем вопросам: @daniildzheparov

Моя жизнь, опыт, аналитика и инженерия данных
Download Telegram
SQL + Python = универсальная связка для работы с данными

Если умеешь правильно работать в связке с SQL и Python, то можешь решать сразу широкий спектр задач ⤵️

🔜 собирать аналитические таблицы для отчетов и обновлять в них данные автоматически

🔜 посчитать метрики и отправить сообщение в любой мессенджер

🔜 переложить данные из одной системы или базы в другую автоматически

🔜 проверять автоматически качество ваших данных в любой системе перед тем как им верить и принимать решения

🔜 интегрировать AI в ваши бизнес-процессы, а готовить и предоставлять данные для него автоматически с помощью SQL+Python

...и много других примеров

Поэтому если хочешь иметь востребованные навыки на рынке и расти как аналитик-инженер, жду тебя на обучении "Продвинутый SQL и автоматизация витрин данных" 👨‍💻

Освоишь на продвинутом уровне следующий стек:
- PostgreSQL
- Apache Airflow
- Cloud Functions
- Github

Выходи на новый уровень в профессии и работы с данными!

Предзапись в группу или оплата на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
👍104
Как не выгорать на работе

📍Четко раздели рабочее время и отдых (особенно важно для удаленщиков) 

📍Обучайся всегда новому, это дает мозгу позитив и возможность менять/расширять свою деятельность

📍Старайся менять задачи или подход к их решению. Так избавишься от рутины

📍Следи за здоровьем. Причина выгорания не всегда связана с работой, это признак ментальной и физической усталости

📍Найди и выдели время на хобби - то что реально приносит удовольствие

Лично мне помогает смена обстановки в виде поездок, мини-путешествий, прогулок по городу и вечера детокса от всех гаджетов
🔥2110👍4
Конструкция фильтрация для функций агрегации

Хочу рассказать про удобную конструкцию, про которую знают далеко не все. Часто возникают ситуации, когда при агрегации нужно учесть не все строки данных, а только подходящие под определенные условия.

Конструкция такая:
функция агрегации FILTER (WHERE условие фильтрации данных для учета в этой метрике)


Например, нам нужно посчитать несколько метрик
- кол-во всех клиентов по customer_id
- кол-во клиентов, у которых источник регистрации будет один из этих: direct, form, vk

Пишем запрос
SELECT 
COUNT(DISTINCT customer_id),
COUNT(DISTINCT customer_id) FILTER (WHERE reg_source IN ('direct', 'form', 'vk')
FROM customers


Можно конечно писать через CASE, но конструкция с фильтром более наглядная, емкая и эффективная в плане оптимизации
SELECT 
COUNT(DISTINCT customer_id),
COUNT(DISTINCT
CASE
WHEN reg_source IN ('direct', 'form', 'vk') THEN customer_id
ELSE NULL
END)
FROM customers


Еще больше фишек SQL на продвинутом курсе, запись в группу
🔥16🤓13👍31
Иногда в выходные буду делиться рекомендацией фильмов и сериалов (не всегда про IT), но сегодня начнем с классики, наверняка многие не смотрели

Сериал "Силиконовая долина"

Комедийный сериал о группе программистов, которые создают стартап в Кремниевой долине. Главный герой Ричард Хендрикс случайно разрабатывает революционный алгоритм сжатия данных, который привлекает внимание крупных IT-корпораций. Сериал показывает внутреннюю кухню стартапов: технические задачи, поиск инвесторов, офисные интриги и конкуренцию на рынке.

#рекомендация_фильмы
12👍6🔥3
PostgreSQL + Airflow + Github - как устроена инфраструктура на курсе

В рамках обучения ученики будут работать в построенной инфраструктуры, которую описал на схеме.

PostgreSQL - используется как аналитическое хранилище, в котором данные разделены по слоям хранения.
RAW - сырые данные, которые динамически обновляются
CORE - общие преобразованные данные в чистые таблицы
MART - слой витрин, который каждый ученик будет разрабатывать в рамках практики

Apache Airflow - автоматизирует процесс сборки таблиц и витрин через DAGи. что это и как писать разбираем в теории и практике.

GitHub - у каждого есть свой рабочий репозиторий, который играет 2 задачи
- хранение скриптов со всей логикой сборки данных
- создание и деплой DAG в Airflow для написания автоматизации
Если не было раньше практики с git, не проблема, на курсе все разбирается

Такая практика и погружение в реальные инструменты позволяет максимально прокачать твои харды! 🔥

Чтобы у тебя даже в мыслях не было сказать
- "я не уверен в своих знаниях"
- "я не силен в технических навыках"
- "я могу решать только простые задачи"

Если что-то непонятно, пишешь вопросы, я веду группу учеников лично

Предзапись на курс
🔥84🤓2
Многие аналитики привыкли решать задачи в виде разовых запросов. Ну например к вам пришел менеджер и спросил
Какую выручку заработали за вчера?

И ты идешь собираешь информацию по разным таблицам или выполняешь свой "шаблонный" запрос на этот случай, потому что посчитанных готовых метрик под рукой просто нет. Знакомо?

А если таких вопросов будет много или каждый такой вопрос от бизнеса будет более комплексным? Такие запросы буду съедать все твое время и задачи превратятся в рутину(

В таком случае удобно создавать витрины данных

Витрина данных - таблица с достаточными, очищенными, преобразованными данными для решения конкретной задачи.


Данные перед витриной проходят нужные шаги сборки и обработки: объединяются, фильтруются, чистятся, агрегируются, считаются нужные метрики.

Дальше витрина данных становится основным источником правды для всех ответов на вопросы от бизнеса и может быть использована
- в BI отчетах
- для рассылки метрик в мессенджеры
- для обычных выгрузок в excel
- для отправок по другим каналам связи типа email

На обучении "Продвинутый SQL и автоматизация витрин данных" за 1.5 месяца научишься создавать качественные витрины данных под любые задачи

Записаться в группу
👍74🔥3
На каком ты уровне?
Anonymous Poll
11%
1
2%
2
11%
3
11%
4
29%
5
15%
6
8%
7
4%
8
10%
не знаю SQL
👍32
Хочешь быстро проверить, насколько хорошо разбираешься в аналитических витринах данных и автоматизации?

Предлагаю пройти короткий тест из 10 вопросов — за 3-5 минут оценишь свой уровень в SQL, Airflow, Git и облачных сервисах.

А после теста получишь развёрнутые пояснения к техническим вопросам и рекомендации

Пройти тест
👍81
Текущая ситуация на рынке IT

Сейчас рынок работодателя:
🔹 соискателей больше чем вакансий
🔹деньги дорогие как для нас, так и для компаний, поэтому новых проектов или глобальных расширений проектов нет
🔹с этим связаны оптимизации костов и как следствие сокращения

Буквально сам знаю историю, что человек сейчас готов перейти в другую компанию с понижением грейда и существенно просесть в ЗП после сокращения в одном бигтехе. И это к сожалению не единичные случаи.

Что это значит для нас - аналитиков, инженеров и других спецов

🚩 Сегодня основная цель - это закрепиться на рынке. Компании оставляют сильных и эффективных сотрудников, умеющих решать сложные задачи.

Всю рутинную работу стараются автоматизировать, а если не получается - то вообще избавиться от нее или перераспределить по другим людям. Нет сейчас бюджетов держать отдельного сотрудника на довольно узкий спектр задач.

Поэтому усиление своих hard навыков сейчас не потребность для увеличения ЗП, а способ удержаться на кризисном рынке.

Я лично всегда придерживался позиции быть многофункциональным: сегодня могу отчет в BI собрать, а завтра закопаться в бизнес-процесс и найти способ его автоматизировать на python, чтобы руками меньше делать приходилось.

Поэтому дерзай и усиливай свои прикладные навыки вместе со мной https://datastudy.ru/ (ближайшее уже 2 февраля)

Запись на старт обучения
👍16🔥7
Немного пушистой булочки вам в ленту
49🔥15
Посмотрел ваши ответы на тест и решил собрать все мысли в материал по развитию в профессии в скажем так не очень простое время

Подготовил чек-лист «как сейчас удерживаться на рынке и расти во время оптимизации (кризиса)»

Все основано на анализе рынка и вакансий, там узнаете почему я так топлю за SQL+Python и автоматизацию.

Спойлер: они требуются в большинстве вакансий на аналитика.

Время навыков формата что-то посчитать и свести в эксельку закончилось, СЕЙЧАС ТРЕБУЮТ БОЛЬШЕГО. И это становится «базовым минимумом»

📍Как быть максимально ценным для компании
📍Что из навыков сейчас востребовано в вакансиях
📍План твоего развития на ближайшие 3-6 месяцев

Прочитать чек-лист

Уже 2 февраля старт обучения «SQL и автоматизация витрин данных» - записаться
5👍4🔥2
Сегодня написал автоматизацию создания репозиториев для учеников с помощью GitHub API

Раньше каждый раз у меня уходило по 40-45 минут на монотонные действия
- создать репозиторий из шаблонного
- добавить нужные секреты для деплоя
- добавить права доступа ученику

Сейчас все это можно сделать буквально за 3 минуты 👨‍💻
- закинул на вход нужные параметры
- на выходе получил эксельку с ссылками на готовые репозитории с привязкой к ученику

До этого также написал автоматизацию по доступам в БД
- создать схему
- создать пользователя
- накинуть все нужные права и роли
- закинуть креды в таблицу учеников
- сформировать сообщение для отправки кредов в телеграм каждому индивидуально

ну кайф просто, скоро в DevOps подамся 😄
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥23👍83
Кто такой же кот? 😁
😁34🔥7🥰52
На прошлой неделе проводил несколько интервью в поисках аналитика

Каждому кандидату задал вопрос использует ли он временные таблицы при написании SQL запросов? и если да, то для каких целей

И каждый почему-то перепутал временную таблицу с CTE. Это совсем разные вещи, хоть и схожи в целях их применения - получить промежуточный результат для дальнейшей обработки данных.

Больше информации писал здесь

📍 про CTE
📍 про TEMPORARY TABLE
👍18🎉21
Делюсь фильмов на выходные

Скажу честно, я обожаю животных, поэтому фильмы с сюжетом вокруг животных мне сильно нравятся. Рекомендую к просмотру в уютный пятничный или выходной вечер фильм "Марли и я"

Очень трогательный фильм оказался для меня, думаю вам тоже понравится
9🔥3👍1
Собеседования для аналитиков

Еще пару лет назад участвовал в проведении мок-собеседования на роль BI аналитика.

Кто сейчас в поиске, можно погрузить себя в атмосферу собеса, посмотреть что спрашивают у аналитиков
по разным направлениям:
- BI
- Продуктовая
- Системная
- Data

Собеседования проводились для кандидатов уровня junior

📍Моковое собеседование Junior BI-аналитик | Даниил Джепаров, Senior BI Analyst, RNT Group

📍Моковое собеседование Junior Бизнес-аналитика | Ольга Мазур, Head of Business Analysis, Samokat.tech

📍Моковое собеседование на позицию Junior Системного аналитика | Наталья Золотова, Ведущий системный аналитик

📍Моковое собеседование на позицию Junior Data Analyst | Дмитрий Лапин, DA/DS Team Lead, JSA Group
👍192
Собрал пиццу, вообще это мое наверно одно из самых любимых блюд с детства. Помню как в детстве еще собирал ее дома с мамой, потом уплетал, запивая черным чаем с сахаром 😋

Рецепт:
- слоеное без дрожжевое тесто
- копченая колбаса
- шампиньоны маринованные
- помидоры
- сыр

В духовку на 30-40 минут и готово
👍15🔥87