DBT - один из самых полезных инструментов для инжиниринга данных.

Видимо, пришло время сделать свой аналог, свободный от окукливания большими жадными корпорациями. Заодно проделать работу над ошибками, потому как некоторые вещи ужас как неудобно делать.

Расскажите, что для вас удобно и неудобно в DBT и SQL Mesh.

Следующее пристанице самурая данных - Форум "Открытые Данные", Казань 30-31 октября.

Докладываю о современных подходах к построению облаков данных.

https://opendataforum.ru/

Мясная статья от коллег с измерением скорости Lakehouse движков

https://habr.com/ru/companies/cedrusdata/articles/955896/

В музее Москвы нашел занятия для джунов-архитекторов.

А с типичным российским энтерпрайзом некоторые технологии уйдут в легаси не успев пройти согласование ИБ 😄

Гениальная самоирония

Хорошая англоязычная картинка про тренды в Лейкхаусе

На вот этот вебинар запишитесь!

https://cloud.vk.com/events/migraciya-prilozheniya-kak-perenesti-infrastrukturu-s-monolita-v-upravlyaemyj-kubernetes-v-oblake

Ведут два абсолютных "отца" кубера и облачных миграций.

В прямом эфире показываем на реальном примере перенос приложения в Kubernetes с сервисом Cloud Containers. Разбираем распространенные типичные ошибки при миграции.

Сам точно буду смотреть, так как местами мои познания в кубернетесе оставляют желать, а в Лейкхаусах он ой как нужен.

Материалы хабрастатьи есть в видео формате:

https://xn--r1a.website/analyticsfromzero/246

Вот так новости

Workspace - корпоративный мессенджер, который ставится в инфраструктуру вашей компании (а еще корп почта, звонки, таск-трекер, облако для файлов, офис и тд)

Макс - все знаем что

Можно будет создать чат с подрядчиком или кандидатом, в котором будут с одной стороны внутри-корповые учетки, доступные из VK Workspace / Teams, а с другой стороны - внешние люди из Макса.

Это как если в корп слак можно было бы добавить по приглашению рандомных людей из телеги и переписываться бесшовно для всех участников.

Как по мне - удобно, я порядком замучался копипастить разную информацию из корпового мессенджера в телегу и обратно 😄

Мессенджер Макс как кладбище
Все там будем

О технологических зонах и цифровых «железных занавесах»

Михаил Токовинин сгущает краски, говоря о том что мир распадается на несколько технологических зон с железными занавесами между.

С точки зрения технологий данных эффект разделения на зоны есть. В западной зоне почти все проблемы решаются Амазоном, Датабриксом и Сноуфлейком. В российской зоне и данных поменьше, и технологии другие, и практики компаний отличаются, к примеру, у всех все еще аллергия на облака. В Китае либо свои опенсорсы, редко применяемые вовне, либо свои реализации вендоров.

Это приводит к тому что если ты специалист в области данных, то еще декаду назад ты мог путешествовать между зонами и твои навыки вполне бы пригождались - всюду были одинаковые ораклы и майкрософт-стеки. А сейчас - нужен ты кому-то там со своим Гринпламом и НайФаем.

Также барьер стоит для компаний, стремящихся вывести свои разработки на соседний рынок. Ты вынужден сделать по сути новый продукт, который должен смочь работать с непривычными для него интеграциями, другой регуляторикой, другими привычками пользователя.

Одним словом, хорошая новость в том что на твой маленький рыночек, где нужна интеграция с 1С и VK/Яндекс-сервисами, никто отбирать твою долю не придет. С другой стороны - вывести свой продукт на рынок сопредельных стран будет кратно сложнее чем раньше.

———————————-

Архитектор данных

О технологических зонах и цифровых «железных занавесах» - 2.

Про чисто пользовательский опыт или про туризм - я спокоен.

Простое наблюдение.

Не так давно я жил в районе ВДНХ. Там много китайских туристов. Прямо напротив большой гостиницы расположен красивый магазин Азбука Вкуса. При появлении на кассе группы китайских товарищей вопрос оплаты ВиЧатом решался очень быстро. Появлялся терминал, который отлично понимал китайские порядки и работал в их технологической зоне.

Так что да, перед тем как поехать в Китай туристом, надо будет почитать, как там работает такси и оплачиваются проезд на электричке. Вряд ли для кого-то сюрприз, что Яндекс-такси и карта тройка там работать перестанут.

Я предвижу появление специальных приложений враперов между технологическими зонами. Вот просто на русторе скачиваете «такси в Китае» и ездите там. Аналогично с различными бизнес-помогаями, которые объясняют как ТАМ все устроено и например пишут интеграции с тамошними яндексами/вк/госуслугами в ваши приложения.

На этом вполне можно зарабатывать большие деньги, работая окошком в «железном занавесе».

———————————————

Архитектор данных