Топ баз данных по популярности
Почитал исследования по рынку по популярности использования разных баз данных. В целом топ привычных реляционных баз устойчив: корпоративный гигант Oracle и широко известные MySQL, PostgreSQL, SQL Server в топе
Рейтинг здесь
MongoDB широко применяется, но она не хранит данные в привычном табличном виде и SQL запросы к ней не попишешь - она чисто применяется для backend части информационных систем.
А вот топ аналитических (OLAP) баз много где возглавляет Clickhouse. И много где на 2-3 месте стоят Apache Druid и Apache Pinot. Нужно потрогать их, возможно добавлю в песочницу на курс для учеников.
Почитал исследования по рынку по популярности использования разных баз данных. В целом топ привычных реляционных баз устойчив: корпоративный гигант Oracle и широко известные MySQL, PostgreSQL, SQL Server в топе
Рейтинг здесь
MongoDB широко применяется, но она не хранит данные в привычном табличном виде и SQL запросы к ней не попишешь - она чисто применяется для backend части информационных систем.
А вот топ аналитических (OLAP) баз много где возглавляет Clickhouse. И много где на 2-3 месте стоят Apache Druid и Apache Pinot. Нужно потрогать их, возможно добавлю в песочницу на курс для учеников.
🔥13👍5❤2🤓1
Завтра выступаю на конференции c докладом
Расскажу чем занимались в компании прошлый год в рамках клиентской аналитики, приходите послушать в 14:00
- определение клиентского статуса в зависимости от целевого действия
- атрибуция клиента на уровне компании и отдельных продуктов
- техническая реализация единой аналитической витрины клиентских продуктовых действий
Регистрация
Расскажу чем занимались в компании прошлый год в рамках клиентской аналитики, приходите послушать в 14:00
- определение клиентского статуса в зависимости от целевого действия
- атрибуция клиента на уровне компании и отдельных продуктов
- техническая реализация единой аналитической витрины клиентских продуктовых действий
Регистрация
👍9🔥5❤3
Книги по SQL
📗 SQL: быстрое погружение / Уолтер Шилдс
📗 SQL. Сборник рецептов / Энтони Молинаро, Роберт де Грааф
📗 Изучаем SQL / Алан Бьюли
📗 SQL для чайников / Аллен Тейлор
Книги конечно хорошо, но потом наступает этап когда нужно закреплять и усиливать свои знания на практических задачах, а не в симуляторе или в теории. А если нет опыта или возможности сразу брать задачи на работе, то максимально приближенные к рабочим условия создал на курсе по продвинутому SQL - старт 2 марта
📗 SQL: быстрое погружение / Уолтер Шилдс
📗 SQL. Сборник рецептов / Энтони Молинаро, Роберт де Грааф
📗 Изучаем SQL / Алан Бьюли
📗 SQL для чайников / Аллен Тейлор
Книги конечно хорошо, но потом наступает этап когда нужно закреплять и усиливать свои знания на практических задачах, а не в симуляторе или в теории. А если нет опыта или возможности сразу брать задачи на работе, то максимально приближенные к рабочим условия создал на курсе по продвинутому SQL - старт 2 марта
❤16👍6
У нас в группе обучения собрались очень классные специалисты из разных компаний, разным опытом и сферой деятельности. Очень ценно, что у каждого есть своя цель в обучении:
🎯 научиться оптимизировать SQL запросы
🎯 освоить автоматизацию через Airflow
🎯 самостоятельно разрабатывать витрину, не только ставить ТЗ инженерам
🎯 усилить знания и практику чтобы сменить работу
Все это максимально достижимо, стоит лишь выделить свой ресурс времени на 1.5 месяца и впитывать как губка все материалы и практику
Подробно про обучение
➡️ предзапись в группу через созвон со мной
🎯 научиться оптимизировать SQL запросы
🎯 освоить автоматизацию через Airflow
🎯 самостоятельно разрабатывать витрину, не только ставить ТЗ инженерам
🎯 усилить знания и практику чтобы сменить работу
Все это максимально достижимо, стоит лишь выделить свой ресурс времени на 1.5 месяца и впитывать как губка все материалы и практику
Подробно про обучение
➡️ предзапись в группу через созвон со мной
👍9🔥3❤1
Оптимизируем SQL запросы
Кейс: использование подзапросов в джойнах
обычно такое встречается, когда хотят соединить таблицу только на определенную выборку данных из другой таблицы
Как переписать более оптимально: напиши обычный join, при этом добавь нужное условие соединения в on
Избавляйтесь от подзапросов в джойнах когда это возможно. Эффективней будет дописать условие соединения, чем вызывать подзапрос
Кейс: использование подзапросов в джойнах
обычно такое встречается, когда хотят соединить таблицу только на определенную выборку данных из другой таблицы
Как переписать более оптимально: напиши обычный join, при этом добавь нужное условие соединения в on
Избавляйтесь от подзапросов в джойнах когда это возможно. Эффективней будет дописать условие соединения, чем вызывать подзапрос
--так не делай
SELECT *
FROM customer_reg r
LEFT JOIN (SELECT * FROM customer_auth WHERE rn_first = 1) af
ON r.customer_id = af.customer_id
LEFT JOIN (SELECT * FROM customer_auth WHERE rn_last = 1) al
ON r.customer_id = al.customer_id
;
--делай так
SELECT *
FROM customer_reg r
LEFT JOIN customer_auth af
ON r.customer_id = af.customer_id
AND af.rn_first = 1
LEFT JOIN customer_auth al
ON r.customer_id = al.customer_id
AND al.rn_last = 1
1👍14❤7🔥7
Операторы в Apache Airflow
Для создания логики задач в Apache Airflow удобно использовать различные операторы. Это как готовая логика, в которую только передаешь нужные параметры на вход.
Например:
Мы работаем с PythonOperator как самым часто применяемым в компаниях. Это дает максимальную гибкость в формировании логики задачи с помощью Python кода, в котором можно если нужно и SQL вызвать, и API запрос сделать, и на email письмо отправить. А что еще важней правильно сделать обработку ошибок, логирование и повторные попытки вызовов если необходимо.
#вопрос_от_ученика
Для создания логики задач в Apache Airflow удобно использовать различные операторы. Это как готовая логика, в которую только передаешь нужные параметры на вход.
Например:
PythonOperator - используется для вызова python функцийSQLExecuteQueryOperator - используется для вызова SQL запросы к базе данных по указанному соединениюBashOperator - вызов команд терминала на BashEmailOperator - для формирования и отправки писем на электронную почту Мы работаем с PythonOperator как самым часто применяемым в компаниях. Это дает максимальную гибкость в формировании логики задачи с помощью Python кода, в котором можно если нужно и SQL вызвать, и API запрос сделать, и на email письмо отправить. А что еще важней правильно сделать обработку ошибок, логирование и повторные попытки вызовов если необходимо.
#вопрос_от_ученика
👍6❤3
С масленицей!
Весна в Москве пока не ожидается, опять все замело. Но не забываем себя радовать вкусными блинами)
Мой личный топ
1. незаменимая классика со сгущенкой
2. начинка из красной рыбы и творожного сыра, это максимально вкусно
3. блины с творогом и сметаной
4. блины из гречневой муки со сметаной. если не пробовали, очень рекомендую
5. если где-то заказываю, то ветчина/сыр или курица в сливочном соусе
пока писал пост от мыслей проголодался 😄
Весна в Москве пока не ожидается, опять все замело. Но не забываем себя радовать вкусными блинами)
Мой личный топ
1. незаменимая классика со сгущенкой
2. начинка из красной рыбы и творожного сыра, это максимально вкусно
3. блины с творогом и сметаной
4. блины из гречневой муки со сметаной. если не пробовали, очень рекомендую
5. если где-то заказываю, то ветчина/сыр или курица в сливочном соусе
пока писал пост от мыслей проголодался 😄
🔥17❤4
This media is not supported in your browser
VIEW IN TELEGRAM
В работе нравится использовать ИИ помощников для ускорения разработки и анализа
Закрываю ИИ 2 задачи
1. Задать вопросы по документации или помочь исправить ошибку в коде. Для этого подходит любой ИИ-чат
2. Автодополнение кода. Использую когда пишу на Python, очень помогает ускорить работу, т.к. инструменты могут и просто строку дописывать или целые код-блоки
Вот для второй задачи есть бесплатно классное расширение - Kodacode
Использую его в VS Code, в документации все написано про установку и быстрый старт🎹
Кто я | Навигация | Обучение
Закрываю ИИ 2 задачи
1. Задать вопросы по документации или помочь исправить ошибку в коде. Для этого подходит любой ИИ-чат
2. Автодополнение кода. Использую когда пишу на Python, очень помогает ускорить работу, т.к. инструменты могут и просто строку дописывать или целые код-блоки
Вот для второй задачи есть бесплатно классное расширение - Kodacode
Использую его в VS Code, в документации все написано про установку и быстрый старт
Кто я | Навигация | Обучение
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18🤓1
Сейчас на курсе идёт 1-й практический спринт
1️⃣ Ученик разрабатывает логику сборки и обработки данных в хранилище на SQL, проверяет качество данных, считает нужные метрики. Важно, чтобы витрина соответствовала техническому заданию и данные в ней были верные и качественные.
2️⃣ Когда логика сбора данных готова, начинаем реализовывать автоматическую загрузку данных с помощью Airflow или Cloud Functions.
Можно сделать частичную или полную загрузку, создать таблицу или мат. представление.
При этом нужно учесть нюансы применения витрины из задания
- частота обновления и использования витрины
- количество источников и их тип загрузки и частоту обновления
И многое другое, о чем рассказано в уроках
Приглашаю тебя на бесплатный индивидуальный созвон
🔹обсудим твой опыт в аналитике и чего ты хочешь дальше
🔹найдем шаги развития в профессии конкретно для тебя
🔹покажу материалы обучения "Продвинутый SQL и автоматизация витрин данных"
🔹отвечу на любые вопросы в сфере аналитики/инженерии, обучения и карьеры
Записаться на бесплатную консультацию
Можно сделать частичную или полную загрузку, создать таблицу или мат. представление.
При этом нужно учесть нюансы применения витрины из задания
- частота обновления и использования витрины
- количество источников и их тип загрузки и частоту обновления
И многое другое, о чем рассказано в уроках
Приглашаю тебя на бесплатный индивидуальный созвон
🔹обсудим твой опыт в аналитике и чего ты хочешь дальше
🔹найдем шаги развития в профессии конкретно для тебя
🔹покажу материалы обучения "Продвинутый SQL и автоматизация витрин данных"
🔹отвечу на любые вопросы в сфере аналитики/инженерии, обучения и карьеры
Записаться на бесплатную консультацию
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍3
Какой у тебя уровень должности?
Anonymous Poll
30%
Junior
29%
Middle
12%
Senior
5%
Lead
4%
Руководитель отдела/направления
1%
Технический директор / CDO
20%
Затрудняюсь оценить свой уровень
👍3
Топ вакансий на аналитика-инженера с интересными задачами
BI/ Data Engineer (SQL, Airflow) - 250+ тыс.
Ключевой навык: Отличное знание SQL и опыт написания сложных запросов
Full Stack Data (engineer + analyst) - 220 тыс. на руки
Ключевой навык: уверенное знание SQL, понимание нормализации, опыт разработки витрин.
70% времени занимает аналитика, 30% разработка
Middle+/Senior Data-аналитик - 200-300 тыс.
Ключевые навыки: продвинутый SQL, опыт построения аналитических витрин,навыки работы в BI инструментах, опыт с ETL инструментами
Data-аналитик - 260-320 тыс. на руки
Ключевые навыки: опыт работы с ETL-процессами (описание, мониторинг, разработка), написание сложных SQL запросов для витрин данных
Data Analyst - 200 тыс. на руки
Ключевой навык: опыт подготовки системных требований формата source to target, уверенное владение SQL, разработка систем обработки данных на базе DWH и ETL
Кайфую от таких вакансий, потому что сам работаю на стыке аналитика и инженера данных и вижу что такое ценится на рынке и востребовано судя по кол-ву открытых вакансий
Кто я | Навигация | Обучение
BI/ Data Engineer (SQL, Airflow) - 250+ тыс.
Ключевой навык: Отличное знание SQL и опыт написания сложных запросов
Full Stack Data (engineer + analyst) - 220 тыс. на руки
Ключевой навык: уверенное знание SQL, понимание нормализации, опыт разработки витрин.
70% времени занимает аналитика, 30% разработка
Middle+/Senior Data-аналитик - 200-300 тыс.
Ключевые навыки: продвинутый SQL, опыт построения аналитических витрин,навыки работы в BI инструментах, опыт с ETL инструментами
Data-аналитик - 260-320 тыс. на руки
Ключевые навыки: опыт работы с ETL-процессами (описание, мониторинг, разработка), написание сложных SQL запросов для витрин данных
Data Analyst - 200 тыс. на руки
Ключевой навык: опыт подготовки системных требований формата source to target, уверенное владение SQL, разработка систем обработки данных на базе DWH и ETL
Кайфую от таких вакансий, потому что сам работаю на стыке аналитика и инженера данных и вижу что такое ценится на рынке и востребовано судя по кол-ву открытых вакансий
Кто я | Навигация | Обучение
🔥7👍5🆒3
Запись моего выступления с недавней конференции
Тема «Как мы строили единый CJM клиента компании, когда каждый продукт имеет свою воронку»
Тема «Как мы строили единый CJM клиента компании, когда каждый продукт имеет свою воронку»
rutube.ru
Как мы строили единый CJM клиента компании, когда каждый продукт имеет свою воронку
Видео — RUTUBE
🔥4❤2👍2
This media is not supported in your browser
VIEW IN TELEGRAM
С помощью SQL и Python автоматизируем сбор и отправку ежедневного отчета с метриками по продажам в телеграм
Что обсудим:
- функциональное программирование на Python
- напишем SQL запрос для сбора метрик
- напишем python функции для извлечения данных из базы и отправки сообщения в телеграм
- посмотрим как автоматизировать это все через Airflow
Начало в 19:00, ссылку пришлю здесь 25 числа
Запись будет, но участникам в онлайне дам бонус 😎
🔥 кто будет в онлайне или смотреть в записи
Кто я | Навигация | Обучение
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥57❤4
Мужчины, с праздником!
Желаю вам здоровья, уверенности в себе и своих действиях. Достигайте новых вершин в карьере, будьте добытчиком лучших ресурсов для своей семьи. Острый ум и высокий интеллект - ваше лучшее украшение и вложение в себя.
Пусть в ваших семьях всегда будет мир и согласие, а в доме будет уютно, тепло и спокойно.
Желаю вам здоровья, уверенности в себе и своих действиях. Достигайте новых вершин в карьере, будьте добытчиком лучших ресурсов для своей семьи. Острый ум и высокий интеллект - ваше лучшее украшение и вложение в себя.
Пусть в ваших семьях всегда будет мир и согласие, а в доме будет уютно, тепло и спокойно.
🔥17👍4