💬 В тему Semantic Layer и, в частности, Cube.js:

У нас недавно был классный выпуск подкаста со множеством тем, ситуаций и прогнозов по развитию.

Если у вас всё же остаются вопросы и живой интерес к теме, либо вы на пути внедрения Cube в свои проекты, то приглашаю вступить в Tg-группу Cube.js русскоговрящий чат

🔸 Там в общении с другими людьми на разных этапах внедрения вы сможете найти ответы на вопросы:

— Зачем мне в 2025 семантический слой
— Production checklist / Architecture
— BI-интеграции (Superset, Metabase, Tableau и др.)
— Семантические слои в целом – best practices в B2B-аналитике и data-инфре
— Разница между Cube core / Cube cloud / Synmetrix
— И прочие

📊 Ссылка на TG-чат: https://xn--r1a.website/cubejsru

💡 Если что в чате есть @jfokeev — один из первых сотрудников statsbot, в котором был разработан фреймворк cube.js и автор synmetrix (https://github.com/synmetrix/synmetrix)

➕ ОФФЛАЙН МИТАП в Сочи: dbt как де-факто стандарт создания Хранилищ Данных

Салют!

Выступлю в Сочи на площадке ИТ-хаба СБЕР

У меня будет ~30 минут чтобы зарядить вас, сделать увлекательно, интересно и познавательно:

— Ликбез для тех, кто пока не в курсе, что такое dbt
— Обзор эволюции развития dbt и продуктов dbt Labs
— Зачем вам dbt? Сравнение До / После
— Лучшие практики без воды после моих 5+ лет в проде

💡Время: 15 мая, сбор с 18:30, старт в 19:00
📍Где: ул. Войкова, 2 — IT-офис Сбера, Сочи

Регистрация: https://public.oprosso.sberbank.ru/p/hw0rd7yo

🔻 У кого есть возможность прийти и пообщаться – буду рад.

Запись тоже постараюсь сделать.

🌐 @data_apps | Навигация по каналу

▶ СЛАЙДЫ dbt как де-факто стандарт создания Хранилищ Данных

Привет,

По следам доклада на ОФФЛАЙН митапе в Сочи:

📊 Смотреть слайды: https://drive.google.com/file/d/17nZnuRBzH6xDL5Cku56daA1Uqs2t5Ssr/view?usp=sharing


✅ Основные идеи:

🏆 dbt - индустриальный стандарт для трансформации данных в DWH
✍️ Позволяет писать, тестировать, документировать трансформации как SQL-код
☁️ Работает поверх современных облачных и on-premise платформ (Snowflake, BigQuery, Redshift, Databricks, Postgres и др.)
🏆 Использует лучшие практики разработки: версионирование, модульность, CI/CD, документация


Было много вопросов и заблуждений по поводу концепта dbt, поэтому дублирую:

— С т.з. манипуляции данными dbt умеет ровно столько, сколько умеет ваша аналитическая БД
— dbt не пропускает данные через себя, а лишь "раздает" команды БД, которая выполняет все операции (heavy lifting)
— dbt это просто python package с удобным CLI
— Рассматривайте dbt как мультитул-автоматизацию для работы с вашей аналитической БД


❤ Наблюдения и выводы:

— Тема вызвала живой интерес и поток вопросов (которые продолжились после выступления)
— Отметил, что даже сложные концепты в подаче с простыми примерами и доступными формулировками легко воспринимаются даже неподготовленным слушателем
— Обрел старых (Станислав, привет 🙂!) и новых друзей и единомышленников
— Стихийно организовалась afterparty в соседнем ресторане с обсуждением смежных тем, обменом опыта и знакомствами
— Зарядился на дальнейшие планы и шаги, о которых буду сообщать


Запись, к сожалению, не велась.

😘 Если будет хотя бы 3-5 комментариев-запросов, то я сделаю видеозапись по этим слайдам и идеям и выложу на YouTube / RuTube.

🌐 @data_apps | Навигация по каналу

🪙 Почему люди ищут новую работу и проекты?

Привет! Рассуждаю вслух и делаю выводы из своего опыта:


🟡 Востребованность результатов

— Делать что-то и видеть, как это помогает другим людям
— Создавать нечто новое, ранее не существовавшее
— Помогать получать конкурентные преимущества и выигрывать борьбу
— Непосредственно участвовать в создании ценности
— Чувствовать себя незаменимым и востребованным

Определенно, это лучше чем:

— Быть винтиком системы, который ни на что не влияет
— И может быть легко заменен
— Не видеть смысла в своей работе
— Или обманывать себя насчет этого смысла
— Забыть про драйв и позитивные эмоции, связанные с работой


🔵 Технологии, с которыми вы работаете

— Использование гибких, передовых решений, отвечающим духу времени
— Создание собственных решений
— Иметь инструменты и влияние на то как осуществляются операции
— Сравнивать и оценивать подходы и инструменты, выбирать лучшее

Против:

— Работа в заданных рамках со стеком, который вы не выбирали
— Копошение в legacy, порожденном чужими ошибками и неправильным выбором
— Отставание, устаревание, следование на несколько шагов позади
— Невозможность найти адекватное решение для возникающих задач


🩷 Команда и окружение

— Работа бок о бок с сильными специалистами
— Которые вдохновляют и мотивируют
— У которых есть чему учиться
— И нет страха показаться глупым или задать вопрос

Против:

— Работа в токсичной среде
— Работа ради выполнения KPI (написания письма, закрытие тикета)
— Где нет рычага и ощущуения, что команда это нечто большее чем каждый человек по-отдельности
— Где все позиции, продвижения, премии выдаются не за достижения, а "по связям"


🟢 Деньги

Это важный аспект, но его ставлю на последнее место.

Определенно, труд должен быть оплачен соразмерно результатам и усилиям, в этом сомнений нет. Сегодня размер заработной платы - это одно из основных мерил привлекательности. Плохо, когда она - единственный критерий.

Я мыслю с другой стороны:

🪙 Деньги придут, если вы занимаетесь востребованными и интересными вещами, и делаете это лучше других.


🔥Сегодня мой друг Николай Валиотти из LEFT JOIN ищет человека с навыками BigQuery, GCP и dbt.
Это отличный способ получить международный опыт в динамичной и конкурентной среде с востребованными технологиями.

📊 Посмотреть предложения и откликнуться: https://valiottianalytics.huntflow.io/


Немного позже я поделюсь своим видением (путеводной звездой) того, что хотел бы предложить рынку:

— В плане технологического стека
— В плане решения востребованных бизнес-задач и создания ценности
— В плане организации команды и партнерства, где каждый может развиваться


🌐 @data_apps | Навигация по каналу

🆕 Полностью БЕССЕРВЕРНЫЕ Аналитические Приложения на dlt, DuckDB, dbt, Observable (Streamlit)

Или как собрать аналитическое приложение за $2 в месяц.

Изучая стек dlt + DuckDB + dbt + Observable (Streamlit), я наткнулся на интересную архитектуру. Оказывается, можно создать функциональное, но в то же время легковесное аналитическое приложение, которое работает почти без серверов.


🟡 Конкретная схема:

GitHub Actions (CI) → dlt загружает данные →
dbt трансформирует → DuckDB файл → S3/Object storage →
Observable/Streamlit читает DuckDB-WASM в браузере

🔵 Реальные цифры:

— Object storage / S3: $0.015 за GB хранения
— GitHub Actions: 2000 минут бесплатно
— Observable: бесплатно
— Итого: ~$2/месяц для приложения с 10GB данных


🟢 Что получается:

✅ Дашборд грузится за 200ms (всё в браузере)
✅ Работает офлайн после первой загрузки
✅ Выдерживает любые нагрузки (статика!)
✅ Автообновление через GitHub Actions


🔴 Ограничения (честно):

❌ Размер данных ограничен памятью браузера (~2-4GB), но вряд ли нам вообще понадобится больше (ведь хранить мы будем агрегированные витрины)
❌ Сложные real-time обновления проблематичны
❌ Нет серверной логики для сложной авторизации
❌ Ограниченная интерактивность и self-service (для этого нужны BI типа Superset)



🟤 Где это работает лучше всего:

— B2B SaaS аналитика для клиентов / Сквозная аналитика / Sales, Markeplace metrics, etc.
— Встраиваемая (Embedded) в web / mobile apps аналитика
— Демонстрационные стенды (showcasing)
— Публичная аналитика (типа COVID дашбордов)
— Дашборды для внутреннего контура компании (до 1000 сотрудников)
— Персональные и pet-проекты с историческими данными

✅ Такой подход особенно хорош для стартапов и небольших команд - вместо настройки сервисов, Kubernetes кластеров, организации потоков данных можно получать результат за один коммит в моно-репо в GitHub.



⬇ Конкретный пример использования:

— Собираем данные Я.Метрика, Я.Директ, AmoCRM (Bitrix) с помощью dlt в DuckDB
— Варим эти данные, чистим, нормализуем, объединяем, считаем витрины (dbt + DuckDB)
— Создаем интерактивное приложение на основе Observable с DuckDB-WASM под капотом (т.е. бразуер = сервер, который процессит витрину в DuckDB)
— В приложении видим динамику ключевых метрик Marketing, Sales разрезах: даты, каналы, георгафия, воронки, sales-менеджеры
— Приложение = статический вебсайт, который размещается на любом хостинге (Object storage / S3) и не требует сервера


💬 У кого какие мнения на этот счет?
Где еще можно (нужно) применить такой подход?
Кто пробовал похожие решения?

🌐 @data_apps | Навигация по каналу

🆕 Что насчет StarRocks?

Салют!

19 июня в 19:00 МСК будем слушать 2 шикарных доклада и беседовать с практиками:

— Как мы нашли замену vertica, clickhouse и hadoop – Станислав Лысиков
— Опыт использования Starrocks как Unified SQL Engine – Алексей Дёмин

🟡В этот раз я буду модератором, готовлю интересные вопросы и гипотезы, и вам рекомендую!

📊 Митап состоится онлайн, регистрация по ссылке.

Сообщество пользователей подготовило 2 доклада, охватывающие весь спектр задач - от типичного dwh небольшой компании до использования lakehouse движка поверх S3 и открытых форматов. От часовых витрин до bi безумия из сотен тысяч запросов. Мы постараемся ответить - жив ли еще опенсорс, есть ли альтернатива кликхаузу, гринпламу или трино. А если вдруг что-то забудем, то после докладов приглашаем вас на сессию вопросов и ответов в zoom к докладчикам 👍

🌐 @data_apps | Навигация по каналу

😘 Новый доклад: Магия контейнеров для разработки и развертывания (любых!) ваших приложений 🪄

Поделюсь опытом использования Development Containers – технологии, которая радикально упрощает настройку среды разработки для любых проектов.

🎯 О чём расскажу:
— Реальный кейс моделирования данных с dbt
— Как забыть о "у меня не работает" в команде
— Почему devcontainers – это game changer
— Практические примеры конфигурации
— Оптимизация для CI/CD

💡 Особенно полезно будет:
— Тимлидам и техлидам
— Data-инженерам
— Разработчикам на любом стеке
— DevOps-инженерам

⚡️ Ключевые моменты:
— Единая среда разработки для всей команды
— Работа с микросервисами через docker-compose
— Предварительная сборка образов
— Поддержка нескольких архитектур (AMD64/ARM)

📺 Смотреть доклад: https://www.youtube.com/watch?v=qTtRF6xpieI
📊 Смотреть слайды: https://drive.google.com/file/d/1-89LR6YQYpHXwzcsGtX4HBquK8vpYHi5/view?usp=sharing

🔗 Полезные ссылки из доклада:
— https://containers.dev
— https://github.com/devcontainers/spec

#devcontainers #development #docker #dbt #dataengineering

💬 P.S.: Задавайте вопросы в комментариях – с радостью отвечу и поделюсь дополнительными материалами! 🙌

🌐 @data_apps | Навигация по каналу

⚡ ПЕРЕЗАГРУЗКА этого блога

Друзья, привет,

Всех с наступвшими праздниками, надеюсь все отдохнули и готовы врываться в 2026.


🟡 Регулярность постов в последнее время была довольно низкой.

И вот почему: нет целевого действия, призыва.

В какой-то момент я осознал, что контента и идей у меня много, но я не веду читателя к какому-то действию.
В целом, идеи появляются, об этом позже.


🔵 Напомню об истории и изначальной идее этого блога:

— Около 6 лет назад как практику внедрил создание .md-заметок обо всех выполненных задачах

— Задач решалось много (сейчас еще больше), технологии были максимально свежие, актуальные, интересные

— Фокус был (и остается) на результатах, создании ценности, рассмотрении задач и тулов через прикладные проблемы

— Первый пост в канале появился в 2021-01 (5 лет назад! Ура!)

— Минимум рекламы. Никогда не размещал за деньги, максимум: репост по сердцу

— Только органический рост аудитории


🟢 Теперь о том, что меня драйвит / зажигает / мотивирует / интресует сейчас:

— Продолжаем: Траблшутинг (решение актуальных бизнес-проблем) с использованием современных Data-технологий

— Овладение технологиями с т.з. решения конкретных бизнес-задач (кейсов)

— Рассмотрение технологий вглубь: сильные, слабые стороны, лучшие практики, применения для определенных ситуаций

— Быстрое создание MVP и тестирование гипотез (Рынку нравится? Есть спрос?)

— Смена парадигмы от монетизации часов (работы) к монетизации сервисов / продуктов


🩷 Что я думаю о блоггинге в Data и IT в целом

🔺 Поизучал ряд каналов. Мой подход и рецепт такой: изучаю последние 10-20 постов и оцениваю:

— Сколько из них запустили мыслительный процесс

— Сколько из них вдохновили сотворить какой-либо результат

— Сколько из них отразили личный опыт, путь, ошибки и достижения


🔹 Качественные материалы однозначно есть, но достаточно много таких:

— Ребята из ABC делают буллшит XYZ и у них очень круто получается. Вам обязательно надо попробовать (нет)

— Зайчата из ABC устраивают конфу и вам туда однозначно надо

— А вот вам интересная картиночка, а вот вам мемасик 🤪

— Хочу много деняк! Маловато будет! Буду торговаться, offer hunting, накрутка опыта, прочее 😆


🟤 Не откладывая, прямо сейчас пишу следующий пост на тему:

Я развивал Data Platform в Wheely 6 лет и вот что вышло

В нем расскажу, как начиналась и закончилась моя история в Wheely, поделюсь наблюдениями, выводами, мыслями.

📊 Я работал в Wheely 6 лет и вот результаты

Результат - единственная валюта, которую принимают в банке жизни 😌

— Спроектировал и реализовал миграцию аналитической платформы Redshift → Snowflake: -45% расходов в моменте ($3.6k → $2k/мес), без простоя бизнеса.

— Построил self-hosted платформу real-time streaming (Kafka + Debezium) вместо SaaS-инжеста: ~$20,000/год экономии и полный контроль по security/PII.

— Оптимизировал использование и лицензии Looker: ~50% (~$40,000/год) экономии при продлении без ущерба для процессов, и далее переход на Metabase (Open Source)

— Участие в разработке MetricView — высокопроизводительный BI-инструмент для C-level (на базе Observable Framework) с надежным CI/CD.

— Вёл функцию Data Engineering для компании из 150+ сотрудников; обеспечил 100% покрытие мониторингом пайплайнов и <1 минуты задержку данных для критичных операционных потоков.

— Стандартизировал DevEx через DevContainers (онбординг с дней до ~1 часа) и инженерные процессы для data/BI (CI/CD, monitoring, alerting).


🟡 Как всё начиналось

На момент найма:

— Практики и стандарты Data Engineering не соответствовали реалиям и вызовам
— Требовался человек plug-n-play, который придет и быстро наведет порядок
— Возьмет под контроль дальнейшее развитие

И я им стал.

— Сначала у меня было 3 месяца на offboarding ELT SaaS Alooma (куплен Google) без affecting business
— Затем оптимизации и устойчивость к ошибкам в dbt (Redshift) - все устали от ежедневных падений и отсутствия данных
— Затем миграция с Amplitude на Snowplow
— И далее, далее, не останавливаемся

Было динамично и интересно. Каждый день новое сражение, перспективные технологии, высокая ответственность и свобода выбора решений (покуда ты создаешь ценность и результаты).


➕ Плюсы


🔵 Гибкость и живость

Нужен результат – делаем, чего ждать. Минимум бюрократических процедур, задержек и прочего bullshit.
После работы в корпорациях было удивительно, что так быстро можно создавать результаты и влиять на процессы. Буквально в течение дня можно было вывести в прод несколько фичей. Конечно, это нравилось.


🟢 Современные технологии

Я работал с dbt, Looker, AWS, Redshift, впоследствии Snowflake.
Крутейшие технологии, с которыми приятно работать.
Одним из первых я написал на Хабр про dbt. Я буквально видел их путь развития от нишевого тула до техногиганта.


🩷 Ответственность и Impact

Сколько свободы, столько и ответственности. Если не я, то никто не починит и не сделает.
Если не исправлю, в Пн все увидят кривые графики. Отчасти я сравниваю это с ролью SRE, но в Data.
Здорово чувствовать, что ты влияешь на работу других людей, что твой труд уважаем и необходим.


🟤 Также:

— Лимит на обучение. Я его тратил на подписку издательство O’Reilly - считаю, что это лучшее вложение
— В месяц у меня было около 10К руб. на пользование сервисом (2-4 поездки). Но их меня впоследствии лишили 😂
— ДМС - стандарт. По больницам я не ходок, но и ДМС меня позже лишили 🤪


Продолжение далее ⬇️

.. (продолжение) Минусы

Постепенно все плюсы стали меркнуть, тучки сгущаться. Процессы стали хиреть, бюрократия - расцветать.

✔ Культура менеджмента и управления по сути сводится к: “Делаем всё как говорит Главный” 🔸

И неважно, прав он или нет. Разбирается в этом вопросе или нет. Просто он так хочет (сказал).

Just make him happy. Это в принципе девиз любого менеджера, который хочет успеха в компании. Иначе он долго не задерживается 😆
Sad but true.


✔ Бюрократия и палки в колеса вместо свободы действий и изменений ◻️

Львиная доля моих результатов и изменений - это моя личная инициатива, которую я сам тащил как мог снизу вверх.

Менеджеру это не надо. В его глазах такая инциатива – еще один риск: “Сейчас ОК. А вдруг хуже станет. Ну нах, лучше придержу”.

Поэтому: “Оцени; Напиши письмо; Сделай созвон; Задай вопрос; Сделай расчет в Google Sheet; Создай страницу на 20 листов в Notion” и прочий булшит.

Ну, в принципе, у меня после такого отношения мотивация утрачивается.

🔵 На примере Snowflake:

— Я договорился с вендором, общался с сейлзами, постоянные созвоны где тебя пушат: "КУПИИИИ"
— Трижды запрашивал trial credits чтобы 120% всё протестить и не обосраться
— Писал писульки и странички в Notion
— Брал кредит доверия, всех успокаивал, объяснял и пр.
— Работал значительно больше всё это время, т.к. никто не отменял основную нагрузку

🟢 В следующую инициативу (Kafka + Debezium) моя мотивация вовсе сломалась.

Миграция не прошла 100% гладко (и это ОК). В сухом остатке: избавились от жадного вендора (считай ELT бесплатно), всё стало рилтайм, данные всегда внутри контура компании.

🧐 Но! Я получил отрицательную оценку на perf. review и пришел к странному выводу:

Оптимальная стратегия в такой ситуации - минимум инициативности, делаем то, что говорят (хотят), и не больше.
(Так нельзя! Беги, если не хочешь покрыться мхом! 🔹)


✔ Низкая динамика в культуре разработки и technology adoption

Если коротко, то равняться (быть мотивированным, учиться, следовать, обмениваться, синергироваться, как угодно) на кого-то было проблематично.

Извне можно разобраться на этом показателе:

— Обычно компании стремятся выступать на конференциях, делать доклады, мотивировать сотрудников.
— Выступления есть тогда, когда есть о чем рассказать.

Я, в целом, не берусь судить обо всех направления, но вот маленький факт:

— В блоге Wheely на Хабр (давно почил) всего 3 публикации. Две из них мои. На чистом энтузиазме созданные, никто за это мне не доплачивал.
— Вместо спасибо через год только прибежал менеджер: “Главному не понравилось, что ты опубликовал суррогатник ObjectID, срочно исправляй, иначе чих-пых!” 🟦

Позже были попытки мотивировать людей писать за деньги.
Преподносилось с помпой: Вот сейчас-то у нас целых блог технологический разовьется (company brand, bla-bla) 🟦
Но что-то даже за деньги никто ничего не написал 😁


✔ Странные решения в найме


Я 6 лет наблюдал постоянный и бурный найм (текучку) Data Scientists.

— Нам не нужны Data Engineers: всё и так норм работает. Зачем развивать и усиливать команду.
— Нам нужны только Data Scientists. Потому что это модно, так сказал Главный.
— Люди приходили, видили, что никакого сайнса нет, надо SQL писать, чуток задерживались и уходили.

Я видел найм человечка на грейд IC5 (у меня был IC3) с улицы. “Ну ему же кушать нечего будет в Лондоне” 😭😆

За все 6 лет из Data Science я не увидел прорывных результатов. Все поделки - курам на смех. Айрфлоу с хардкод-SQL в кавычках, который ломался буквально “завтра”, когда другой рукой менялся набор колонок ⚪️


✔ Сам я за все 6 лет получил только одно повышение грейда 🟢

Буквально на “слове пацана” поймал 😂 Типа сделаешь Snowflake, тогда и будет. И то, с опозданием в пару меяцев.

А также 2-3 индексации ЗП за эти годы. Все исключительно только тогда, когда я приходил с оффером (удивительно, да? 😀).


✔ Система оценки Performance Review 🟫

Идея - благая. Исполнение - незачет.

По факту расклад такой:

— Всем нужно заполнять какую-то чушь, что-то обещать с три короба, планировать, привязывать к каким-то циферкам
— Можно запланировать супер амбициозную и сложную цель и выполнить на 90% - получишь отрицательную оценку (мой случай)
— А можно пустить пыль в глаза и перевыполнить легкую цель - можешь получить повышение (не факт)
— Оценка – чистая субъективщина
— Используется как обоснование для принятия решений, в т.ч. увольнения

Иначе говоря, это просто легальное обоснование для принятых неудобных решений.

Ну-у, Вася, перформанс у тебя так себе, пора прощаться 🔻


✔ Сама модель бизнеса зарекомендовала себя как весьма скромный (местами отрицательный) hypergrowth ◻️

Не претензии, просто наблюдение:
— За 6 лет он особо не вырос
— Потенциала тоже особо нет, есть преграды и барьеры рынков и регуляторов
— Мега-фичей и disruption в этом бизнесе не ждите

Если бы я 6 лет назад начал работу в бодром ФинТехе, были бы другие результаты.
Были за это время интересные офферы. Но, увы, сослагательного наклонения нет.

Отдельного внимания заслуживает возня с РКН ◾️
— Они нас вычислили и блокнули!
— А мы им новый proxy mega VPN
— А мы их по IP и по GEO!

———

Я бы может еще чего накинул, но уже устал.

Бывшие коллеги, налетайте 😆


👍 Причины ухода

Коротко:

— Ты на удаленной работе (да, вы же и заставили меня подписать доп. согл. к Трудовому договору)
— Ехать на Кипр не хочешь
— Разработай процесс найма, найми людей
— Нанял - обучи, передай опыт, объясни всё
— Спасибо, люди в РФ не нужны, приняли решение с тобой попрощаться

Ехать на Кипр на птичьих правах и работать на контракте, который привязывает к работодателю и может быть не продлен. Может кому-то это и ОК условия, но не мне.

Всё ожидаемо и понятно. Претензий нет.


✅ Основные выводы

— Автономность, гибкость, свобода выбора и решений, ответственность – редкая ценность

— Перестал соответствовать чьим-либо ожиданиям - выбыл. Ты лишнее звено и тебя изымают (однако это работает, в принципе, для всех. Даже для тех, кто эти звенья сегодня изымает 😌)

— Доминирующий взгляд работодателя: нужны удобные люди-функции; эмоции, мотивации и отношения людей интересуют и значат мало

— Думай о себе, в первую очередь. Развивайся, расти, делай качественно, люби своё дело

— Time is a resource that once you’ve spent it - it’s gone


В общем, спасибо. Двигаемся дальше.