Посмотрел ваши ответы на тест и решил собрать все мысли в материал по развитию в профессии в скажем так не очень простое время

Подготовил чек-лист «как сейчас удерживаться на рынке и расти во время оптимизации (кризиса)»

Все основано на анализе рынка и вакансий, там узнаете почему я так топлю за SQL+Python и автоматизацию.

Спойлер: они требуются в большинстве вакансий на аналитика.

Время навыков формата что-то посчитать и свести в эксельку закончилось, СЕЙЧАС ТРЕБУЮТ БОЛЬШЕГО. И это становится «базовым минимумом»

📍Как быть максимально ценным для компании
📍Что из навыков сейчас востребовано в вакансиях
📍План твоего развития на ближайшие 3-6 месяцев

Прочитать чек-лист

Уже 2 февраля старт обучения «SQL и автоматизация витрин данных» - записаться

Кто такой же кот? 😁

На прошлой неделе проводил несколько интервью в поисках аналитика

Каждому кандидату задал вопрос использует ли он временные таблицы при написании SQL запросов? и если да, то для каких целей

И каждый почему-то перепутал временную таблицу с CTE. Это совсем разные вещи, хоть и схожи в целях их применения - получить промежуточный результат для дальнейшей обработки данных.

Больше информации писал здесь

📍 про CTE
📍 про TEMPORARY TABLE

Делюсь фильмов на выходные

Скажу честно, я обожаю животных, поэтому фильмы с сюжетом вокруг животных мне сильно нравятся. Рекомендую к просмотру в уютный пятничный или выходной вечер фильм "Марли и я"

Очень трогательный фильм оказался для меня, думаю вам тоже понравится

Собеседования для аналитиков

Еще пару лет назад участвовал в проведении мок-собеседования на роль BI аналитика.

Кто сейчас в поиске, можно погрузить себя в атмосферу собеса, посмотреть что спрашивают у аналитиков
по разным направлениям:
- BI
- Продуктовая
- Системная
- Data

Собеседования проводились для кандидатов уровня junior

📍Моковое собеседование Junior BI-аналитик | Даниил Джепаров, Senior BI Analyst, RNT Group

📍Моковое собеседование Junior Бизнес-аналитика | Ольга Мазур, Head of Business Analysis, Samokat.tech

📍Моковое собеседование на позицию Junior Системного аналитика | Наталья Золотова, Ведущий системный аналитик

📍Моковое собеседование на позицию Junior Data Analyst | Дмитрий Лапин, DA/DS Team Lead, JSA Group

Собрал пиццу, вообще это мое наверно одно из самых любимых блюд с детства. Помню как в детстве еще собирал ее дома с мамой, потом уплетал, запивая черным чаем с сахаром 😋

Рецепт:
- слоеное без дрожжевое тесто
- копченая колбаса
- шампиньоны маринованные
- помидоры
- сыр

В духовку на 30-40 минут и готово ✅

Топ баз данных по популярности

Почитал исследования по рынку по популярности использования разных баз данных. В целом топ привычных реляционных баз устойчив: корпоративный гигант Oracle и широко известные MySQL, PostgreSQL, SQL Server в топе

Рейтинг здесь

MongoDB широко применяется, но она не хранит данные в привычном табличном виде и SQL запросы к ней не попишешь - она чисто применяется для backend части информационных систем.

А вот топ аналитических (OLAP) баз много где возглавляет Clickhouse. И много где на 2-3 месте стоят Apache Druid и Apache Pinot. Нужно потрогать их, возможно добавлю в песочницу на курс для учеников.

Завтра выступаю на конференции c докладом

Расскажу чем занимались в компании прошлый год в рамках клиентской аналитики, приходите послушать в 14:00

- определение клиентского статуса в зависимости от целевого действия
- атрибуция клиента на уровне компании и отдельных продуктов
- техническая реализация единой аналитической витрины клиентских продуктовых действий

Регистрация

Оптимизируем SQL запросы

Кейс: использование подзапросов в джойнах
обычно такое встречается, когда хотят соединить таблицу только на определенную выборку данных из другой таблицы

Как переписать более оптимально: напиши обычный join, при этом добавь нужное условие соединения в on

Избавляйтесь от подзапросов в джойнах когда это возможно. Эффективней будет дописать условие соединения, чем вызывать подзапрос

--так не делай
SELECT *
FROM customer_reg r
LEFT JOIN (SELECT * FROM customer_auth WHERE rn_first = 1) af 
ON r.customer_id = af.customer_id
LEFT JOIN (SELECT * FROM customer_auth WHERE rn_last = 1) al 
ON r.customer_id = al.customer_id
;

--делай так
SELECT *
FROM customer_reg r
LEFT JOIN customer_auth af 
ON r.customer_id = af.customer_id
AND af.rn_first = 1
LEFT JOIN customer_auth al 
ON r.customer_id = al.customer_id
AND al.rn_last = 1

Операторы в Apache Airflow

Для создания логики задач в Apache Airflow удобно использовать различные операторы. Это как готовая логика, в которую только передаешь нужные параметры на вход.

Например:
PythonOperator - используется для вызова python функций
SQLExecuteQueryOperator - используется для вызова SQL запросы к базе данных по указанному соединению
BashOperator - вызов команд терминала на Bash
EmailOperator - для формирования и отправки писем на электронную почту

Мы работаем с PythonOperator как самым часто применяемым в компаниях. Это дает максимальную гибкость в формировании логики задачи с помощью Python кода, в котором можно если нужно и SQL вызвать, и API запрос сделать, и на email письмо отправить. А что еще важней правильно сделать обработку ошибок, логирование и повторные попытки вызовов если необходимо.

#вопрос_от_ученика