Аналитика данных / Data Study
9.45K subscribers
557 photos
53 videos
25 files
423 links
Помогаю аналитикам расти в профессии и доходе

Курс по продвинутому SQL и автоматизации потоков данных https://datastudy.ru/

По всем вопросам: @daniildzheparov

Моя жизнь, опыт, аналитика и инженерия данных
Download Telegram
На прошлой неделе проводил несколько интервью в поисках аналитика

Каждому кандидату задал вопрос использует ли он временные таблицы при написании SQL запросов? и если да, то для каких целей

И каждый почему-то перепутал временную таблицу с CTE. Это совсем разные вещи, хоть и схожи в целях их применения - получить промежуточный результат для дальнейшей обработки данных.

Больше информации писал здесь

📍 про CTE
📍 про TEMPORARY TABLE
👍18🎉21
Делюсь фильмов на выходные

Скажу честно, я обожаю животных, поэтому фильмы с сюжетом вокруг животных мне сильно нравятся. Рекомендую к просмотру в уютный пятничный или выходной вечер фильм "Марли и я"

Очень трогательный фильм оказался для меня, думаю вам тоже понравится
9🔥3👍1
Собеседования для аналитиков

Еще пару лет назад участвовал в проведении мок-собеседования на роль BI аналитика.

Кто сейчас в поиске, можно погрузить себя в атмосферу собеса, посмотреть что спрашивают у аналитиков
по разным направлениям:
- BI
- Продуктовая
- Системная
- Data

Собеседования проводились для кандидатов уровня junior

📍Моковое собеседование Junior BI-аналитик | Даниил Джепаров, Senior BI Analyst, RNT Group

📍Моковое собеседование Junior Бизнес-аналитика | Ольга Мазур, Head of Business Analysis, Samokat.tech

📍Моковое собеседование на позицию Junior Системного аналитика | Наталья Золотова, Ведущий системный аналитик

📍Моковое собеседование на позицию Junior Data Analyst | Дмитрий Лапин, DA/DS Team Lead, JSA Group
👍192
Собрал пиццу, вообще это мое наверно одно из самых любимых блюд с детства. Помню как в детстве еще собирал ее дома с мамой, потом уплетал, запивая черным чаем с сахаром 😋

Рецепт:
- слоеное без дрожжевое тесто
- копченая колбаса
- шампиньоны маринованные
- помидоры
- сыр

В духовку на 30-40 минут и готово
👍15🔥87
Топ баз данных по популярности

Почитал исследования по рынку по популярности использования разных баз данных. В целом топ привычных реляционных баз устойчив: корпоративный гигант Oracle и широко известные MySQL, PostgreSQL, SQL Server в топе

Рейтинг здесь

MongoDB широко применяется, но она не хранит данные в привычном табличном виде и SQL запросы к ней не попишешь - она чисто применяется для backend части информационных систем.

А вот топ аналитических (OLAP) баз много где возглавляет Clickhouse. И много где на 2-3 месте стоят Apache Druid и Apache Pinot. Нужно потрогать их, возможно добавлю в песочницу на курс для учеников.
🔥13👍52🤓1
Завтра выступаю на конференции c докладом

Расскажу чем занимались в компании прошлый год в рамках клиентской аналитики, приходите послушать в 14:00

- определение клиентского статуса в зависимости от целевого действия
- атрибуция клиента на уровне компании и отдельных продуктов
- техническая реализация единой аналитической витрины клиентских продуктовых действий

Регистрация
👍9🔥53
Книги по SQL

📗 SQL: быстрое погружение / Уолтер Шилдс

📗 SQL. Сборник рецептов / Энтони Молинаро, Роберт де Грааф

📗 Изучаем SQL / Алан Бьюли

📗 SQL для чайников / Аллен Тейлор

Книги конечно хорошо, но потом наступает этап когда нужно закреплять и усиливать свои знания на практических задачах, а не в симуляторе или в теории. А если нет опыта или возможности сразу брать задачи на работе, то максимально приближенные к рабочим условия создал на курсе по продвинутому SQL - старт 2 марта
16👍6
У нас в группе обучения собрались очень классные специалисты из разных компаний, разным опытом и сферой деятельности. Очень ценно, что у каждого есть своя цель в обучении:
🎯 научиться оптимизировать SQL запросы
🎯 освоить автоматизацию через Airflow
🎯 самостоятельно разрабатывать витрину, не только ставить ТЗ инженерам
🎯 усилить знания и практику чтобы сменить работу

Все это максимально достижимо, стоит лишь выделить свой ресурс времени на 1.5 месяца и впитывать как губка все материалы и практику

Подробно про обучение

➡️ предзапись в группу через созвон со мной
👍9🔥31
Оптимизируем SQL запросы

Кейс: использование подзапросов в джойнах
обычно такое встречается, когда хотят соединить таблицу только на определенную выборку данных из другой таблицы

Как переписать более оптимально: напиши обычный join, при этом добавь нужное условие соединения в on

Избавляйтесь от подзапросов в джойнах когда это возможно. Эффективней будет дописать условие соединения, чем вызывать подзапрос

--так не делай
SELECT *
FROM customer_reg r
LEFT JOIN (SELECT * FROM customer_auth WHERE rn_first = 1) af
ON r.customer_id = af.customer_id
LEFT JOIN (SELECT * FROM customer_auth WHERE rn_last = 1) al
ON r.customer_id = al.customer_id
;

--делай так
SELECT *
FROM customer_reg r
LEFT JOIN customer_auth af
ON r.customer_id = af.customer_id
AND af.rn_first = 1
LEFT JOIN customer_auth al
ON r.customer_id = al.customer_id
AND al.rn_last = 1
1👍147🔥7
Операторы в Apache Airflow

Для создания логики задач в Apache Airflow удобно использовать различные операторы. Это как готовая логика, в которую только передаешь нужные параметры на вход.

Например:
PythonOperator - используется для вызова python функций
SQLExecuteQueryOperator - используется для вызова SQL запросы к базе данных по указанному соединению
BashOperator - вызов команд терминала на Bash
EmailOperator - для формирования и отправки писем на электронную почту

Мы работаем с PythonOperator как самым часто применяемым в компаниях. Это дает максимальную гибкость в формировании логики задачи с помощью Python кода, в котором можно если нужно и SQL вызвать, и API запрос сделать, и на email письмо отправить. А что еще важней правильно сделать обработку ошибок, логирование и повторные попытки вызовов если необходимо.

#вопрос_от_ученика
👍63
С масленицей!

Весна в Москве пока не ожидается, опять все замело. Но не забываем себя радовать вкусными блинами)

Мой личный топ
1. незаменимая классика со сгущенкой
2. начинка из красной рыбы и творожного сыра, это максимально вкусно
3. блины с творогом и сметаной
4. блины из гречневой муки со сметаной. если не пробовали, очень рекомендую
5. если где-то заказываю, то ветчина/сыр или курица в сливочном соусе

пока писал пост от мыслей проголодался 😄
🔥174
This media is not supported in your browser
VIEW IN TELEGRAM
В работе нравится использовать ИИ помощников для ускорения разработки и анализа

Закрываю ИИ 2 задачи

1. Задать вопросы по документации или помочь исправить ошибку в коде. Для этого подходит любой ИИ-чат

2. Автодополнение кода. Использую когда пишу на Python, очень помогает ускорить работу, т.к. инструменты могут и просто строку дописывать или целые код-блоки

Вот для второй задачи есть бесплатно классное расширение - Kodacode

Использую его в VS Code, в документации все написано про установку и быстрый старт 🎹

Кто я | Навигация | Обучение
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18🤓1
Сейчас на курсе идёт 1-й практический спринт

1️⃣ Ученик разрабатывает логику сборки и обработки данных в хранилище на SQL, проверяет качество данных, считает нужные метрики. Важно, чтобы витрина соответствовала техническому заданию и данные в ней были верные и качественные.

2️⃣ Когда логика сбора данных готова, начинаем реализовывать автоматическую загрузку данных с помощью Airflow или Cloud Functions.
Можно сделать частичную или полную загрузку, создать таблицу или мат. представление.

При этом нужно учесть нюансы применения витрины из задания
- частота обновления и использования витрины
- количество источников и их тип загрузки и частоту обновления

И многое другое, о чем рассказано в уроках

Приглашаю тебя на бесплатный индивидуальный созвон
🔹обсудим твой опыт в аналитике и чего ты хочешь дальше
🔹найдем шаги развития в профессии конкретно для тебя
🔹покажу материалы обучения "Продвинутый SQL и автоматизация витрин данных"
🔹отвечу на любые вопросы в сфере аналитики/инженерии, обучения и карьеры

Записаться на бесплатную консультацию
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍3