Наш любимый dbt стал еще лучше - встречайте dbt core v2
• dbt Core v2.0 — это новая open-source (Apache 2.0) основа, которая теперь написана на Rust вместо Python. По сути, dbt Labs взяли движок Fusion (который они разрабатывали отдельно), открыли его исходники и сделали новым фундаментом dbt Core. Сейчас в альфе.
Fusion vs Core v2 — в чём разница?
• dbt Core v2 — open-source Rust-движок, быстрый парсинг, новые артефакты. Это база.
• dbt Fusion — надстройка над Core v2 с пониманием SQL, column-level lineage, богатым dev-опытом в VS Code. Это расширенная версия.
Грубо говоря: Core v2 = фундамент, Fusion = фундамент + суперспособности.
Что нового в Core v2:
⚡ Скорость — парсинг до 30x быстрее, чем в старом dbt Core на Python. Компиляция всего проекта в 2x быстрее. Это ощущается сразу.
📐 Строгая языковая спецификация — теперь нельзя случайно написать desciptin вместо description и не заметить. Чёткая схема языка = меньше глупых ошибок, стабильный интерфейс для интеграций.
📦 Parquet-артефакты — вместо огромных JSON-файлов. Можно напрямую запрашивать через DuckDB или любой AI-агент. Намного быстрее и удобнее для больших проектов.
📚 Новый локальный docs-опыт — полностью переработан, работает на новых артефактах, масштабируется на проекты любого размера.
🦀 Весь Rust-код теперь в репозитории dbt-core — то, что раньше было в dbt-fusion под лицензией ELv2, теперь открыто под Apache 2.0.
Нужно ли мигрировать?
Пока v2 в альфе. dbt Labs выпустили инструменты для миграции (dbt-autofix), которые помогут подготовить проект. Python-версии dbt Core никуда не делись — они остаются доступными.
Я пока мигрировать не собираюсь. Проблем в старых версиях нет. В dbt core вообще проблем нет, поэтому никто не хочет покупать платную версию.
• dbt Core v2.0 — это новая open-source (Apache 2.0) основа, которая теперь написана на Rust вместо Python. По сути, dbt Labs взяли движок Fusion (который они разрабатывали отдельно), открыли его исходники и сделали новым фундаментом dbt Core. Сейчас в альфе.
Fusion vs Core v2 — в чём разница?
• dbt Core v2 — open-source Rust-движок, быстрый парсинг, новые артефакты. Это база.
• dbt Fusion — надстройка над Core v2 с пониманием SQL, column-level lineage, богатым dev-опытом в VS Code. Это расширенная версия.
Грубо говоря: Core v2 = фундамент, Fusion = фундамент + суперспособности.
Что нового в Core v2:
⚡ Скорость — парсинг до 30x быстрее, чем в старом dbt Core на Python. Компиляция всего проекта в 2x быстрее. Это ощущается сразу.
📐 Строгая языковая спецификация — теперь нельзя случайно написать desciptin вместо description и не заметить. Чёткая схема языка = меньше глупых ошибок, стабильный интерфейс для интеграций.
📦 Parquet-артефакты — вместо огромных JSON-файлов. Можно напрямую запрашивать через DuckDB или любой AI-агент. Намного быстрее и удобнее для больших проектов.
📚 Новый локальный docs-опыт — полностью переработан, работает на новых артефактах, масштабируется на проекты любого размера.
🦀 Весь Rust-код теперь в репозитории dbt-core — то, что раньше было в dbt-fusion под лицензией ELv2, теперь открыто под Apache 2.0.
Нужно ли мигрировать?
Пока v2 в альфе. dbt Labs выпустили инструменты для миграции (dbt-autofix), которые помогут подготовить проект. Python-версии dbt Core никуда не делись — они остаются доступными.
Я пока мигрировать не собираюсь. Проблем в старых версиях нет. В dbt core вообще проблем нет, поэтому никто не хочет покупать платную версию.
Getdbt
dbt Core v2 is here: still open source, now rebuilt for what's next | dbt Developer Blog
The two-engine era is drawing to a close: from now on, dbt Core and Fusion will be built on a shared foundation.
❤🔥40🐳10⚡9
В наше время самый кайф это попасть в зону, где нет сети. Следующие 5 дней буду плавать на paddle board в тихом океане и ничего делать🏄♂️
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥101⚡1🦄1
Закончилась экспедиция на sup. 5 дней и 4 ночи вокруг Vargas Island, это на острове Ванкувер со стороны Тихого океана. Погода была разная от +4 до +20, были и дожди и ветра. По расстоянию мы не очень много проплывали в день. В основ упор был на изучение навигации, карт, компаса, погоды и планирования. Группа была маленькая- 5 человек и 2 организатора. С одной стороны это очень дорогой тур, чтобы пожить в палатке и мерзнуть под дождем, с другой стороны он бесценный с точки зрения опыта и эмоцией. Следующим летом обязательно запишусь еще раз, но уже в другой локации.
❤🔥37🐳5
Сегодня прошла замечательная история. На моем любимом проекте в Technical Safety BC, где работают пенсионеры и полу пенсионеры (в прямом смысле ждут свою пенсию), где текущий дата инженер использует голосовые помощники, чтобы делать пайплайны в SSIS, потому что потерял зрение на старости лет - меня уволили одним днем, за то, что в проекте по миграции on-premises на AWS я сделал s3 bucket public.
Хотел визуализировать excel табличку с прогрессом как сайт в тестовом AWS аккаунте.
PS скорей всего они просто устали, что я слишком на них газовал и говорил, что они некомпетентные и ленивые бараны.
Хотел визуализировать excel табличку с прогрессом как сайт в тестовом AWS аккаунте.
PS скорей всего они просто устали, что я слишком на них газовал и говорил, что они некомпетентные и ленивые бараны.
🫡29❤🔥8💯3
Forwarded from Ekaterina Gladkova
Атака на корпоративного ИИ-ассистента: разбор уязвимостей в прямом эфире
Большинство ИИ-систем с доступом к внутренним данным уязвимы. И проблема не в самом ИИ, а в том, что безопасность закладывают после запуска, а не до.
16 июня MWS AI (входит в МТС Web Services) покажут живое демо атаки на корпоративного ИИ-ассистента, подключенного к внутренним базам данных. Разберут конкретные векторы, слабые места архитектуры и что именно приводит к раскрытию лишнего контекста.
Также в программе:
• чек-лист вопросов перед выводом ИИ-решения в прод
• рамка для оценки стоимости ИИ-инцидента
• как выстроить взаимодействие между разработкой, ИБ и бизнесом
Будет полезно ML-инженерам, архитекторам ИИ-систем и техническим лидерам, которые проектируют или внедряют решения с доступом к корпоративным данным.
🗓 16 июня, 16:00 мск
→ Зарегистрироваться
Большинство ИИ-систем с доступом к внутренним данным уязвимы. И проблема не в самом ИИ, а в том, что безопасность закладывают после запуска, а не до.
16 июня MWS AI (входит в МТС Web Services) покажут живое демо атаки на корпоративного ИИ-ассистента, подключенного к внутренним базам данных. Разберут конкретные векторы, слабые места архитектуры и что именно приводит к раскрытию лишнего контекста.
Также в программе:
• чек-лист вопросов перед выводом ИИ-решения в прод
• рамка для оценки стоимости ИИ-инцидента
• как выстроить взаимодействие между разработкой, ИБ и бизнесом
Будет полезно ML-инженерам, архитекторам ИИ-систем и техническим лидерам, которые проектируют или внедряют решения с доступом к корпоративным данным.
🗓 16 июня, 16:00 мск
→ Зарегистрироваться
⚡2🙈2🐳1