30ый дайджест DE or DIE смотрите здесь:
https://digest.deordie.org/30_Go_to_Data_Engineering/

На этот раз в дайджесте дикий микс:
- Concurrency is not Parallelism,
- какой вопрос должен себе задать каждый дата инженер?
- Job listeners в Apache Spark,
- Pushdown в базах (на примере Trino),
- streaming ETL framework от Uber.

У нас тут ЭКСТРЕННОЕ ВКЛЮЧЕНИЕ из виртуальной студии
https://www.youtube.com/watch?v=63XP4N5n-pw

Встречайте дайджест DE or DIE #31:

https://digest.deordie.org/31_Data-driven_is_a_new_black/

Внутри:
- тренды Software Architecture and Design,
- Entity-Centric Data Modeling,
- разбор публикации Distributed transactions can scale,
- слой метрик в DoorDash,
- как еще можно использовать дата каталог.

Будем подкастировать буквально через пару минут! Тема? https://www.infoq.com/articles/architecture-trends-2023/
https://www.youtube.com/watch?v=kwazZk9mnZQ

Мы подготовили 32-ой выпуск дайджеста: https://digest.deordie.org/32_Follow_the_Spark/

Что вас ждет:
- Глубокая статья из двух частей про Spark SQL Query Engine.
- Практики по правильной подготовке сырых данных.
- Путь запроса к БД до самого железа.
- Знакомство со Spark Connect.
- Maxime Beauchemin о современных подходах к batch-процессингу.

А вот совсем скоро будем говорить про функциональную дата инженерию. Это как дисфункциональные отношения, но хуже: https://www.youtube.com/watch?v=jGY9mgAXrls

https://maximebeauchemin.medium.com/functional-data-engineering-a-modern-paradigm-for-batch-data-processing-2327ec32c42a

Прием заявок на выступление на SmartData 2023 открыт до 1 июня.

Конференция будет идти четыре дня: 6–7 сентября в онлайне и 13–14 сентября в Москве с возможностью подключиться онлайн.

Если хотите поделиться опытом в инженерии данных — подавайте заявку на выступление.

С вас только материал и желание выступить, а организаторы помогут на всех этапах — от идеи до выступления: доработают с вами материал, проведут репетиции и дадут рекомендации по выступлению.

Можно выбрать любой формат выступления — доклад, воркшоп, интервью, обсуждение, BoF-сессию или придумать что-то свое. Тему для выступления можно выбрать из списка, а можно предложить свою.

Подать заявку можно на сайте SmartData.

Мы подготовили Digest #33:
https://digest.deordie.org/33_Thoughts_on_privacy_and_privacy_of_thoughts/

В этом выпуске:
- Техники оптимизации движков для выполнения запросов: dynamic filtering.
- Рассуждения про data mesh.
- Технологии, позволяющие сохранять приватность данных.
- Состояние data engineering в 2023.
- И, наконец, почему Uber переехал с Postgres на MySQL.

Всем привет!
Хотим сегодня заанонсить SmartData 2023🔥

Конференция будет идти 4 дня: 6-7 сентября online, 13-14 сентября offline в Москве (с возможностью подключиться к трансляции).

В программе доклады об архитектуре платформ, инструментах, DataOps, отказоустойчивости и внутреннем устройстве баз данных.

А еще вас ждут живые дискуссии, круглые столы, новые знакомства и возможность перезагрузиться от рабочей рутины как в онлайне, так и в офлайне. В офлайне будет еще больше нетворкинга и афтерпати для всех участников. А в онлайне мы встретимся с вами в Главной студии — будем обсуждать тренды Data Engineering 💪

Посетить конференцию можно за счет компании. Но если вдруг не получится, то можете воспользоваться нашим промокодом на повышенную скидку — DEorDIE. По нему билеты «Для частных лиц» будут приятно дешевле.

Узнать подробности и почитать про все доклады конференции можно на сайте.

Как всегда внезапно мы сейчас онлайн будем https://www.youtube.com/watch?v=2p9y1YI0frc

#анонсы

Community Day на SmartData 2023 – присоединяйтесь!

7 сентября мы проводим Community Day – делаем участие во втором дне онлайн-части SmartData 2023 бесплатным для всех. Мы проводим его, чтобы усилия команды организаторов и Программного комитета оценило как можно больше людей из комьюнити.

Сommunity Day такой же насыщенный, как и другие дни конференции:
— Доклады об архитектуре дата-платформ, внутреннем устройстве баз данных и инструментах работы с данными.
— Дискуссии со спикерами и участниками после докладов.
— Обсуждение трендов Data Engineering.
— Интеллектуальная викторина.

Для получения бесплатного билета достаточно зарегистрироваться.

До встречи на Community Day SmartData 2023!

Мы там приподобновили сайт и выложили пару старых эпизодов подкаста если кому чего :)
https://talks.deordie.org/

Привет!

Мы решили собраться на подкаст DE or DIE завтра в 19 по Мск(или 17 по CEST), чтобы обсудить принципы построения Cloud-Native архитектур.
Ссылку выложим в канале ближе к самому событию.

До встречи 😉

DE or DIE: Talks #20

Ссылка на youtube: https://www.youtube.com/watch?v=44Bm2WD7hCw

Обсуждаем:
- AWS Well-Architected and the Six Pillars: https://aws.amazon.com/architecture/well-architected
- Alibaba Seven Principles of Cloud-Native Architecture: https://www.alibabacloud.com/blog/seven-principles-of-cloud-native-architecture_598431

Вот-вот начнем!

Мы внезапно подготовили предпраздничный дайджест #34.

https://digest.deordie.org/34_Score_your_data_zoo/

В этом выпуске:
- Философский вопрос: актуальны ли еще труды Кимпбалла?
- Рефрешер по моделям консистентности.
- Принципы построения cloud-native архитектур.
- Стриминговый SQL для data mesh.
- Оценка качества данных.

Мы тут это, лайв!
https://www.youtube.com/watch?v=W5wlsNnTM-o

Через две недели, 13 февраля, будет новый подкаст! Будем обсуждать первые главы из Communication Patterns
https://amzn.eu/d/7DYk241

Сегодня (вот прямо сейчас) мы собрались, чтобы обсудить первые две главы книги Communication Patterns: A Guide for Developers and Architects (автор Jacqui Read)

Ссылка на ютуб: https://www.youtube.com/watch?v=rUM1QJVXLOo&ab_channel=DEorDIE

Всем привет.

Сегодня в 18:30 по москве продолжим обсуждать первую часть книги Communication Patterns: A Guide for Developers and Architects (https://www.amazon.de/-/en/Jacqueline-Read/dp/1098140540).

Присоединяйтесь слушать 🫶