По какой логике создавать DAGи и делить их между собой?
На практике без опыта может возникнуть желание объединить все процессы обновления данных в рамках одного DAG, чтобы не плодить множество разных.
Но если копнуть глубже, то к задаче формирования DAG нужно подходить внимательно
1. Каждый DAG имеет свое расписание запуска. Если нужно разное расписание или частота запуска, тогда нужны разные DAGи
2. Объединение множества задач в один DAG может быть критичным, когда нам нужно остановить часть задач, а остальные оставить работать. Так сделать не получится, только переписывать DAG
3. В рамках обновления витрин удобно создавать отдельные DAG с разным расписанием, чтобы равномерно распределять нагрузку на кластер DWH и избавиться от пиковых нагрузок в одно время
#вопрос_от_ученика
Кто я | Навигация | Обучение
На практике без опыта может возникнуть желание объединить все процессы обновления данных в рамках одного DAG, чтобы не плодить множество разных.
Но если копнуть глубже, то к задаче формирования DAG нужно подходить внимательно
1. Каждый DAG имеет свое расписание запуска. Если нужно разное расписание или частота запуска, тогда нужны разные DAGи
2. Объединение множества задач в один DAG может быть критичным, когда нам нужно остановить часть задач, а остальные оставить работать. Так сделать не получится, только переписывать DAG
3. В рамках обновления витрин удобно создавать отдельные DAG с разным расписанием, чтобы равномерно распределять нагрузку на кластер DWH и избавиться от пиковых нагрузок в одно время
#вопрос_от_ученика
Кто я | Навигация | Обучение
🔥9❤2👍2
Аналитика данных / Data Study
Сегодня проведу практический стрим в 19:00
🔹Попишем код на SQL и Python, чтобы отправлять аналитическую сводку в телеграм на ежедневной основе
🔹Отвечу на ваши вопросы в процессе практики
🔹Обсудим что должен уметь аналитик-инженер
🔹Покажу внутреннюю структуру курса по разработке витрин данных и ETL автоматизации
🔹Расскажу кому обучение будет полезным а кому просто не подойдет
Ссылка на трансляцию
🔹Попишем код на SQL и Python, чтобы отправлять аналитическую сводку в телеграм на ежедневной основе
🔹Отвечу на ваши вопросы в процессе практики
🔹Обсудим что должен уметь аналитик-инженер
🔹Покажу внутреннюю структуру курса по разработке витрин данных и ETL автоматизации
🔹Расскажу кому обучение будет полезным а кому просто не подойдет
Ссылка на трансляцию
👍10🔥3
Начинаю трансляцию через пару минут
Вопросы можно писать в чате трансляции или в группе для вебинаров
Ссылка на трансляцию
Вопросы можно писать в чате трансляции или в группе для вебинаров
Ссылка на трансляцию
❤2
Запись стрима и ноутбук с кодом
VK Видео
Строим операционную аналитику по продажам с отправкой в телеграм - практический стрим
🔹Попишем код на SQL и Python, чтобы отправлять аналитическую сводку в телеграм на ежедневной основе 🔹Отвечу на ваши вопросы в процессе практики 🔹Обсудим что должен уметь аналитик-инженер 🔹Покажу внутреннюю структуру курса по разработке витрин данных и ETL…
❤20👍3
Приглашаю тебя на практическое обучение аналитике и инженерии данных, на котором научишься
✅ разрабатывать сложные аналитические витрины данных
✅ делать RFM-анализ, считать Retention, LTV, определять окна атрибуции и делать план-факт анализ
✅ строить ETL потоки данных с помощью Apache Airflow и Python
✅ работать в реальной инфраструктуре хранилища DWH
✅ комитить все изменения через Git-репозиторий
✅ оптимизировать SQL запросы
✅ автоматизировать проверку качества данных
Курс НЕ для тебя если
❌ привык учиться долго с перерывами на каникулы
❌ тебя все устраивает и не хочешь развиваться дальше в аналитике и инженерии данных
❌ работал с SQL только в симуляторах и не знаешь как подключаться к базе данных
❌ считаешь, что вся аналитика может существовать в Excel
🗓 Ближайший старт - 2 марта
Хочу на обучение
✅ разрабатывать сложные аналитические витрины данных
✅ делать RFM-анализ, считать Retention, LTV, определять окна атрибуции и делать план-факт анализ
✅ строить ETL потоки данных с помощью Apache Airflow и Python
✅ работать в реальной инфраструктуре хранилища DWH
✅ комитить все изменения через Git-репозиторий
✅ оптимизировать SQL запросы
✅ автоматизировать проверку качества данных
Курс НЕ для тебя если
❌ привык учиться долго с перерывами на каникулы
❌ тебя все устраивает и не хочешь развиваться дальше в аналитике и инженерии данных
❌ работал с SQL только в симуляторах и не знаешь как подключаться к базе данных
❌ считаешь, что вся аналитика может существовать в Excel
Хочу на обучение
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍2
Давайте посчитаем денежки сколько зарабатывают аналитики в IT) NewHr проводили данное исследование еще в 2024 году. Цифры по 2025 ждём, но уверен там вилки будут +- подобные, рынок в части компаний перекосило вниз из-за оптимизаций, а в части наоборот подросли.
Основная причина для пересмотра ЗП: смена компании. Да, если хочешь сильно вырасти, то проще это сделать сменив компанию, а не пытаться сделать иксы в текущей. И может быть после вашего ухода новый сотрудник на вашей позиции будет получать ту сумму, которую вы хотели)
Но не торопитесь бежать на рынок, сейчас на рынке условия диктует работодатель, не кандидат.
Стремитесь к тому, что влияет на высокую зарплату:
🔹 широкий инструментарий: DWH, ETL, BI
🔹 оптимизация расходов компании на работу с данными (даже оптимальность твоего sql-запроса или python кода на это влияет прямым образом)
🔹 развита коммуникация и понимание бизнес-контекста
Обучение для этого ☝️
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥4🆒2
Ребят, кто-то звонит от моего имени подписчикам
Это не я и у меня нет других людей, кто будет вам звонить от меня или от имени канала.
Пожалуйста, не ведитесь, ничему не верьте.
Все мои контактные данные указаны в профиле канала. Я могу написать сам лично только в ответ на вашу заявку, либо вы мне сами можете написать.
всех обнял и хорошего вечера пятницы
Кто я | Навигация | Обучение
Это не я и у меня нет других людей, кто будет вам звонить от меня или от имени канала.
Пожалуйста, не ведитесь, ничему не верьте.
Все мои контактные данные указаны в профиле канала. Я могу написать сам лично только в ответ на вашу заявку, либо вы мне сами можете написать.
всех обнял и хорошего вечера пятницы
Кто я | Навигация | Обучение
👌17❤2
👍16❤9
Сегодня стартовало обучение на моем курсе по созданию аналитической отчетности под ключ в качестве аналитика-инженера
Кто любит залетать в последний вагон, сегодня ваш шанс 😉
Сразу дам доступ к материалам и инфраструктуре, будете создавать потоки данных с аналитическими витринами
Пишите мне @daniildzheparov
Кто любит залетать в последний вагон, сегодня ваш шанс 😉
Сразу дам доступ к материалам и инфраструктуре, будете создавать потоки данных с аналитическими витринами
Пишите мне @daniildzheparov
🔥4👍3
В жизни столько всего происходит. В «мире» хаосе дак вообще жесть, даже в соц. сети заходить уже страшно
А я вот только рабочий ноутбук закрыл и не успеваю здесь поделиться своими новостями 😕
Новости основные 2
1. ко мне в команду вышел новый аналитик, сейчас онбординг проходим. Расскажу об этом в отдельном посте
2. Подал сегодня кое-какие документы, но подробнее расскажу когда все будет готово
Вы как?
♥️ - держусь
🤯 - новости в мире не дают спокойно жить
А я вот только рабочий ноутбук закрыл и не успеваю здесь поделиться своими новостями 😕
Новости основные 2
1. ко мне в команду вышел новый аналитик, сейчас онбординг проходим. Расскажу об этом в отдельном посте
2. Подал сегодня кое-какие документы, но подробнее расскажу когда все будет готово
Вы как?
♥️ - держусь
🤯 - новости в мире не дают спокойно жить
❤33🤯14👍3