С чего начать в аналитике? Самый частый вопрос у меня в ЛС

Вот 3 шага:

1. Найди 20-30 вакансий на аналитика, которые тебе интересны и хотел бы на них откликнуться

2. Из этих вакансий выпиши все требуемые навыки и инструменты, отсортируй их по частоте упоминания в вакансиях. Разметь их по тегам «знаю» / не знаю»

3. Составь план обучения этим навыкам. Сначала бесплатные материалы: видео, курсы, статьи, книги. Для более глубокого и быстрого обучения найди ментора или платный курс

Кто я | Навигация | Обучение

Оптимизируем аналитические SQL запросы

Написал практическую статью с правилами написания оптимальных SELECT-запросов. Начинающим аналитикам и кто имеет мало опыта с SQL просто must have для прочтения, все правила помогают избавиться от типичных и распространенных ошибок!

Прочитай обязательно если
✅ хочешь ускорить выполнение SELECT-запросов
✅ нужно сократить затраты ресурсов базы/хранилища данных на операции чтения
✅ нужен чистый аналитический код в едином стиле
✅ помнишь что техническая реализация запросов влияет также и на качество данных

P.S. для запуска запросов из статьи есть доступ к базе данных

ЧИТАТЬ СТАТЬЮ

Что с кошкой 🐈

У пушистой булки все хорошо, понервничала всех вчера, пошипела на врачей, теперь лежит. Анализы в норме, симптомы прошли, видимо внимания не хватало

Компания Anthropic, разработчик Claude, исследовали долю теоретического и реального на данный момент замещения ИИ профессий в 22 отраслях и сферах деятельности

Ну что, пора становится фермерами 🧑‍🌾👩‍🌾 Там ИИ пока бессильно. Нас и так куда-то в каменный век откидывает все больше, еще и технологии вытесняют 😁

Где практиковать навык создания аналитических витрин на реальных задачах

У текущей группы идет 2-й практический спринт, на скрине спрашиваю как в целом дела в процессе учебы идут.
Знаете что приятно, ученики с курса по основам анализа приходят на курс по разработке витрин и показывают сильные результаты. Оралбек завершил основы и сразу пошел на следующую ступень.

Ребята, ценю каждого из вас и ваше доверие ♥️

👉 Про курс разработки витрин https://datastudy.ru/
(формат/программа/стоимость/запись в группу)

P.S. а мы на обучении с помощью Яндекс Метрики проанализируем вашу активность на сайте и построим витрину с атрибуцией целевых действий 😉

Настало время распаковать эту имбу!

Каждый год доставать из коробок летние кроссовки - это отдельный вид удовольствия 😍
А вот обратную сторону осенью менять на ботинки не люблю.
Поэтому стремимся к новому уровню, чтобы круглый год можно было в кроссовках ходить 🔝

🔥 кто такой же

Библиотеки Python для работы с базами данных и SQL-запросами

1. sqlite3
Библиотека позволяет работать с базами данных SQLite, которые записывают и читают данные с файлов, а значит пользователю не нужно устанавливать сервер для БД, что очень удобно)

2. psycopg2
Модуль для работы с базами данных PostgreSQL. Также позволяет все основные функции с базой данных: работа с таблицами, написание запросов и т.д.

3. mysql-connector-python
Как уже понятно из названия, модуль позволяет подключаться к БД MySQL) Включает в себя все те же функции, что и описанные выше модули. Подробная документация доступна по ссылкам в названии модулей

4. pymssql
Модуль позволяет подключаться к БД Microsoft SQL Server

5. SQLAlchemy
Алхимия при работе с базами данных из python) Библиотека позволяет подключаться к различным БД. Есть множество функций: создание/изменение/удаление таблиц, извлечение/вставка данных, написание запросов, изменение данных. Библиотека позволяет работать с БД с помощью объектно-ориентированного кода, не используя при этом SQL

6. PandaSQL
Модуль позволяет расширить функционал pandas и писать SQL запросы прямо к датафреймам. Как вариант использования модуля с другими библиотеками, после подключения к БД и извлечения данных, к датафрейму можно писать запросы как будто бы к обычной таблице в БД, не используя синтаксис pandas

👍 если пост полезен

Кто я | Навигация | Обучение

Другое дело! обожаю вас ♥️♥️♥️

Работать в корпорации VS в маленькой компании

Давайте раскидаю на плюсы и минусы работу в гигантских компаниях с большими отделами, БигТехе, больших интеграторах и среднем либо малом бизнесе

📍Плюсы корпорации
- сформированная аналитическая культура. Есть общие подходы и best practise, по которым принято работать
- стек технологий широкий, распространенный, большая часть мелочей автоматизирована
- творческое рабочее пространство и гибкие рамки. Это относится как в формату удаленки/гибриду, началу рабочего дня. А если даже есть требование ходить в офис, то офисы в корпорациях как правило крутые: удобные коворкинги, релакс-зоны, спортзалы, сауны, куча еды.

У меня друг сейчас работает в Яндексе, перешел туда после около-государственных компаний. В этот раз обсуждали как его впечатлили орешки в офисе в неограниченном количестве 😁.

- большой коллектив, наличие старших аналитиков, лида. Это очень важно когда ты находишься на уровне junior/middle, чтобы кто-то более опытный был с тобой в команде и мог либо подсказать либо просто дать описанную сразу задачу. Тогда не придется изобретать самому велосипед и сидеть гадать правильно ли сделал или нет.

📍Плюсы маленькой компании
Можешь удивиться, но они есть)
- минимум бюрократии и бизнес-процессов. Как следствие многие задачи могут быть выполнены сильно проще и быстрей.
- повезло, если компания не выживает, а находится в бурной стадии роста. Это супер время вырасти по должности и ЗП, при этом затрачивая столько же усилий сколько в корпорации, но получая по итогу «молодец» за твое старание.
- задачи могут быть проще, просто потому что опять же есть сильно меньше бизнес-процессов, людей, клиентов, corner-кейсов и самих данных по объему, чтобы строить аналитику

На консультациях часто обсуждаем вопрос где лучше работать, где комфортней, какие плюсы и минусы есть.
Давайте наберем 50 🔥 и в следующих постах пройдусь наоборот по минусам корпораций и малых компаний, там ситуация даже поинтереснее чтобы понять где лучше работать

Кто я | Навигация | Обучение

Рост моей ЗП год к году

В общем захотел на своем примере показать вам наглядно когда и как растет ЗП, и самое главное какие факторы влияют на это, погнали!

📍2019 год - стажировка, начало карьеры. считаем это как точка отсчета для следующих показателей.
📍2020 год - успешно перешел в штат = пересмотр ЗП. Спустя полгода усердной работы я изучил с нуля SQL, Python, Tableau, взял новые задачи и успешно справился с ними. В общем на этом этапе впитывал в себя все как губка, поэтому получил пересмотр ЗП на уровень middle системного аналитика. К концу 2021 это дало X5 к ЗП, что сначала получал на стажировке.
Да, 2020 год при этом был максимально насыщенный, работал по 10 часов, учился на 4-м курсе бакалавриата, писал научные работы и диплом, проходил практические курсы. Но и результат получился отличным.

📍2021 год - перехожу в EPAM Systems на должность Ведущего BI аналитика. Я успешно прошел собесы в сам EPAM и на международный проект Nike, куда брали далеко не всех. И там началось просто лютое обучение новому стеку технологий, внутренние тренинги и повышения квалификаций, участие в отборе и найме аналитиков на другие проекты. При этом я поступил в магистратуру на английском языке на вечернее обучение в НИУ ВШЭ.
Как выглядел мой график: работа с 9:00 до 18:00, едешь на пары с 18:00 до 21:00, возвращаешься работать и делать практику/учебу и все что связано с обучением до 1:00 часа ночи или позже. При этом я учился и работал на английском языке! Это само по себе уже дает мозгу больше нагрузки.

Привет всем кто жалуется, что не может найти время на свою учебу и развитие! Я прошел стресс-тест одновременной учебы в топовом ВУЗе страны на английском, работы в международном консалтинге, выстраивании семейного быта в Москве одновременно

📍2022 год - сами знаете что было. хаос, непонимание, релокация, закрытие проектов, выход компании из страны. я отказался от релокации за счет EPAM, остался в сформированной компании в РФ. новый проект, поиск новых смыслов, внутренних сил в новой реальности. Как вспомню так вздрогну что мы с вами пережили. Как итог был пересмотр на 14% по году, но с учетом уже высокой базы ЗП в абсолюте получается очень неплохая сумма + премии (они здесь не учтены).
В этом же году начинаю вести свои соц. сети, а потом и обучать людей аналитике по их личным запросам. Вот тут и закрутились сначала личные обучения, потом групповые.

📍2023 год - переход в Сравни. наглядный пример, когда при смене компании рост может быть сильней, чем пересмотры внутри одной компании. именно с этим и связаны +33% год к году

📍2024 год - работаю на senior позиции, решаю супер-интересные задачи как аналитик-инженер, проводим стажировку для аналитиков и расширяем тем самым свою команду. в процентах прирост 11% к самой ЗП, без учета премий

📍2025 год - переход на уровень лида. есть команда. а значит ее нужно технически лидировать. это другой уровень задач, ответственности, где ты становишься "играющим тренером". Сам выполняешь свои задачи и несешь ответственность за задачи своей команды, а значит должен быт в курсе всего. Но пересмотры грейдов дают свои плоды, итог +27%

Тезисы:
- чтобы был результат, нужно херачить днями и ночами, а не жалеть себя и не ныть что нет времени. у нас у всех 24 часа в сутках, только у кого-то они проходят гораздо эффективней
- без обучения, насмотренности и твоего любопытства не будет никакого роста. нужно просто брать и делать
- главные твои большие прыжки в ЗП скорее всего будут в начале карьеры при переходах от junior до middle+/senior позиции
- дальше в процентах тебе будет казаться, что ты слабо растешь, но здесь играет эффект высокой базы, когда в абсолюте может быть хороший пересмотр, но относительно процентов он будет скромный
- на рост в доходе сильней влияет смена компании, либо пересмотры грейда. если сидеть и ждать простой индексации, такого роста не будет.

У тебя все получится, главное действуй эффективно! 🔥 или 👍 за пост

Кто хочет перенять мой опыт, у вас есть прекрасная возможность это сделать с 13 апреля на практическом обучении https://datastudy.ru/

Форма регистрации

Ох уж эти новички 😁

Вопрос возник, когда обсуждали типовую ошибку "фиктивного инкремента" или поздней фильтрации данных, когда работаем на большом объеме данных и только в конце применяем фильтрацию, хотя ее можно применить в начале скрипта.

База данных будет строить оптимально возможный план запроса из того, что ей доступно в моменте, например на сколько актуальная статистика используемых таблиц и есть ли доступные индексы.
Но движок базы также как и мы может ошибаться и запускать запрос с неоптимальным планом. и стоит вам поменять немного свой запрос самим на более оптимальное написание, движок будет предлагать более быстрый план запроса.

Также стоит понимать, что задача может решаться не в рамках одного длинного запроса, а с помощью
- временных таблиц
- промежуточных таблиц
В таком случае планировщик вам мало чем поможет и задача оптимизации будет на вас.

И тогда вопрос сохранения в эти таблицы лишних и ненужных данных встает уже сильно острее, если они на следующем шаге будут все равно отфильтрованы.

Фильтруй сначала - потом преобразовывай.

Кто пропустил, я написал целую статью по оптимизации аналитических SQL запросов - читайте здесь

Кто я | Навигация | Обучение

#вопрос_от_ученика