Классика SmartData: пайплайны, Kafka и качество данных
Пока все обсуждают LLM и агентов, кто-то должен собирать пайплайны, чинить брокеры и отвечать за то, чтобы данным можно было верить.
SmartData обновилась: в программе стало больше ML, LLMOps и ИИ. Но классический Data Engineering — то, за что многие ценят конференцию, — остается ее основой.
В карточках собрали для вас новые доклады про dbt, Kafka, структуры данных, Data Governance и Data Quality. Все подробности и раписание — на сайте конференции.
[Купить билет]
Пока все обсуждают LLM и агентов, кто-то должен собирать пайплайны, чинить брокеры и отвечать за то, чтобы данным можно было верить.
SmartData обновилась: в программе стало больше ML, LLMOps и ИИ. Но классический Data Engineering — то, за что многие ценят конференцию, — остается ее основой.
В карточках собрали для вас новые доклады про dbt, Kafka, структуры данных, Data Governance и Data Quality. Все подробности и раписание — на сайте конференции.
[Купить билет]
🔥10❤4
#видеозаписи
Открываем новую видеозапись выступления:
Михаил Иванов — Что такое metastore и с чем его едят
Metastore — это ключевой компонент любой современной платформы данных, который отвечает за управление метаданными. Без него работа с большими данными становится неэффективной и сложной, так как метаданные играют роль «карты» для навигации. Спикер рассказал, почему это не просто «скучный» инструмент — как он определяет удобство работы в проекте и интегрируется с такими компонентами, как Compute-движки, объектные хранилища и системы управления доступом.
😉 YouTube | 📺 VK Видео
Скачать презентацию с сайта SmartData
Открываем новую видеозапись выступления:
Михаил Иванов — Что такое metastore и с чем его едят
Metastore — это ключевой компонент любой современной платформы данных, который отвечает за управление метаданными. Без него работа с большими данными становится неэффективной и сложной, так как метаданные играют роль «карты» для навигации. Спикер рассказал, почему это не просто «скучный» инструмент — как он определяет удобство работы в проекте и интегрируется с такими компонентами, как Compute-движки, объектные хранилища и системы управления доступом.
Скачать презентацию с сайта SmartData
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Михаил Иванов — Что такое metastore и с чем его едят
Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
Скачать презентацию с сайта — https://jrg.su/ApLkVF
Metastore — это ключевой компонент любой современной платформы данных, который отвечает за управление метаданными. Без него работа с большими…
— —
Скачать презентацию с сайта — https://jrg.su/ApLkVF
Metastore — это ключевой компонент любой современной платформы данных, который отвечает за управление метаданными. Без него работа с большими…
🔥7❤2👍1
PostgreSQL, Iceberg и современные хранилища
Продолжаем разбирать программу SmartData 2026.
В прошлый раз мы рассказывали про пайплайны и управление данными. Теперь — про то, где данные живут.
Хранилища давно перестали быть просто базами данных. Сегодня PostgreSQL работает с векторным поиском, Data Lake должен поддерживать сразу несколько интерфейсов, а вместе с распространением Iceberg появляются новые задачи по управлению данными и инфраструктурой.
В карточках — подборка докладов нашей конференции про PostgreSQL, YTsaurus, Data Lakehouse, CubeFS, Iceberg и современные системы хранения.
Это только часть программы. Полное расписание уже доступно на сайте — изучайте доклады и выбирайте полезные для себя. Ждем на SmartData 2026!
Купить билет
Продолжаем разбирать программу SmartData 2026.
В прошлый раз мы рассказывали про пайплайны и управление данными. Теперь — про то, где данные живут.
Хранилища давно перестали быть просто базами данных. Сегодня PostgreSQL работает с векторным поиском, Data Lake должен поддерживать сразу несколько интерфейсов, а вместе с распространением Iceberg появляются новые задачи по управлению данными и инфраструктурой.
В карточках — подборка докладов нашей конференции про PostgreSQL, YTsaurus, Data Lakehouse, CubeFS, Iceberg и современные системы хранения.
Это только часть программы. Полное расписание уже доступно на сайте — изучайте доклады и выбирайте полезные для себя. Ждем на SmartData 2026!
Купить билет
❤6🔥3🎉3👌1
#видеозаписи
Открываем новую видеозапись выступления:
Анна Мавлютова — Data Catalog: искажение метаданных или продуктовый подход
Многие компании приходят к вопросу выбора или разработки Data Catalog для работы с метаданными. Выбор инструмента — непростая задача, но куда сложнее принять решение, чтобы инструмент укладывался в существующую архитектуру платформы данных, а также сочетался с процессами data governance.
😉 YouTube | 📺 VK Видео
Скачать презентацию с сайта SmartData
Открываем новую видеозапись выступления:
Анна Мавлютова — Data Catalog: искажение метаданных или продуктовый подход
Многие компании приходят к вопросу выбора или разработки Data Catalog для работы с метаданными. Выбор инструмента — непростая задача, но куда сложнее принять решение, чтобы инструмент укладывался в существующую архитектуру платформы данных, а также сочетался с процессами data governance.
Скачать презентацию с сайта SmartData
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Анна Мавлютова — Data Catalog: искажение метаданных или продуктовый подход
Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
Скачать презентацию с сайта — https://jrg.su/9A5xgL
Многие компании приходят к вопросу выбора или разработки Data Catalog для работы с метаданными. Выбор инструмента — непростая задача, но куда…
— —
Скачать презентацию с сайта — https://jrg.su/9A5xgL
Многие компании приходят к вопросу выбора или разработки Data Catalog для работы с метаданными. Выбор инструмента — непростая задача, но куда…
🔥4
На SmartData можно посмотреть, как дата-инженеры решают задачи в реальных системах. А если хочется не только смотреть, но и самому больше попрактиковаться — с 5 октября стартует новый поток программы Data Engineer от Newprolab.
Часть преподавателей программы входит в Программный комитет SmartData: Игорь Мосягин, Николай Марков, Бронислав Житников и Сергей Бойцов.
Что будет за 10 недель (5 октября — 11 декабря):
— 10 лабораторных с реальными данными в облачном кластере;
— более 20 тематических занятий и консультации с менторами;
— практика на типовых задачах дата-инженера;
— чат участников и поддержка координаторов;
— доступ к записям и дополнительным материалам.
Программа подойдет junior- и middle-дата-инженерам, аналитикам данных, бэкенд-разработчикам, техлидам и менеджерам дата-команд.
Если хочется систематизировать знания, попробовать новые инструменты руками или понять, где в своих навыках еще есть пробелы — вам точно сюда.
Подробности и регистрация
Для подписчиков SmartData действует промокод SMARTDATA — скидка 20%.
Реклама. НОЧУ ДПО "НЬЮПРОЛАБ". ИНН 7729461098
Часть преподавателей программы входит в Программный комитет SmartData: Игорь Мосягин, Николай Марков, Бронислав Житников и Сергей Бойцов.
Что будет за 10 недель (5 октября — 11 декабря):
— 10 лабораторных с реальными данными в облачном кластере;
— более 20 тематических занятий и консультации с менторами;
— практика на типовых задачах дата-инженера;
— чат участников и поддержка координаторов;
— доступ к записям и дополнительным материалам.
Программа подойдет junior- и middle-дата-инженерам, аналитикам данных, бэкенд-разработчикам, техлидам и менеджерам дата-команд.
Если хочется систематизировать знания, попробовать новые инструменты руками или понять, где в своих навыках еще есть пробелы — вам точно сюда.
Подробности и регистрация
Для подписчиков SmartData действует промокод SMARTDATA — скидка 20%.
Реклама. НОЧУ ДПО "НЬЮПРОЛАБ". ИНН 7729461098