Плейлист видео про Лейкхаус DLH #2
1. Предыдущий плейлист
2. Мой небольшой доклад про хайп вокруг DLH и что мы теряем если не используем эту технологию.
3. Плейлист Iceberg Summit 2025. Осторожно - много часов! Но заглавный доклад рекомендую посмотреть - там анонсы фичей v3
В числе фичей
- Шифрование на уровне таблицы - позволяет хранить в S3 шифрованные данные
- Тип данных VARIANT - решение проблемы полу-структурированных данных, стримов событий, JSON
- Тип файлов Гео
- Оптимизации DELETE
и другие
4. Анонс DuckLake
Приятного просмотра!
1. Предыдущий плейлист
2. Мой небольшой доклад про хайп вокруг DLH и что мы теряем если не используем эту технологию.
3. Плейлист Iceberg Summit 2025. Осторожно - много часов! Но заглавный доклад рекомендую посмотреть - там анонсы фичей v3
В числе фичей
- Шифрование на уровне таблицы - позволяет хранить в S3 шифрованные данные
- Тип данных VARIANT - решение проблемы полу-структурированных данных, стримов событий, JSON
- Тип файлов Гео
- Оптимизации DELETE
и другие
4. Анонс DuckLake
Приятного просмотра!
Telegram
Архитектор Данных
Плейлист хороших видео про Лейкхаусы
1.
Вебинар - Поднимаем Lakehouse на основе Trino.
Старался раскрыть мотивацию, зачем нужен лейкхаус и какая его ниша применения. Во второй половине - воркшоп, как сделать лейкхаус в облаке за 20 минут.
2.
Доклад от…
1.
Вебинар - Поднимаем Lakehouse на основе Trino.
Старался раскрыть мотивацию, зачем нужен лейкхаус и какая его ниша применения. Во второй половине - воркшоп, как сделать лейкхаус в облаке за 20 минут.
2.
Доклад от…
❤6👍4✍2🔥1
Архитекторский Стрим - Выпуск 1-й.
Сегодня в 17:00 настраивайте ваши радиоприемники на канал "Данные на стероидах" ( @sterodata ), где будет первый архитекторский стрим!
С Вадимом Беловым, руководителем разработки платформы данных X5 поговорим про последние тренды в развитии технологий огромных данных и Лейкхаусы.
Задавайте вопросы в комментариях под постом, и топовые мы обязательно обсудим!
До встречи!
Сегодня в 17:00 настраивайте ваши радиоприемники на канал "Данные на стероидах" ( @sterodata ), где будет первый архитекторский стрим!
С Вадимом Беловым, руководителем разработки платформы данных X5 поговорим про последние тренды в развитии технологий огромных данных и Лейкхаусы.
Задавайте вопросы в комментариях под постом, и топовые мы обязательно обсудим!
До встречи!
🔥7❤1👏1
Forwarded from Вправо Вверх 📈 Михаил Табунов
Стреляю себе в ногу каждый день
Встретил ребят, которые не знают куда улучшать свой собственный продукт.
Все настолько улучшено, настолько крутые метрики, что ну просто идеал, а делать что-то надо.
Оценка в сторе 4.99, NPS 80+, пользователи мега счастливы, трафик окупается x5, но только что-то они не растут уже 5 лет, и в траф тратят только $20k / мес.
Мне стало подозрительно интересно, и я выяснил следующее:
– С продуктом работали
– Куча событий и метрик
– Куча дашбордов
– Вся аналитика подогнана так, чтобы казалось что с продуктом всё круто
– В конторе начальник, который не любит плохих новостей
Типа, оценки ниже 4 тупо не пишутся в базу (пользователя просят написать что не так), органика записывается в платный трафик, чтобы было побольше, ну и везде фигурирует какой-то предикт, который тупо добавляет в окупаемость когорт два хвоста)))
Я уж думал такого не бывает, но нет.
Всегда интересно посмотреть на людей, которые каждый день с удовольствием сами себе стреляют в ногу.
Встретил ребят, которые не знают куда улучшать свой собственный продукт.
Все настолько улучшено, настолько крутые метрики, что ну просто идеал, а делать что-то надо.
Оценка в сторе 4.99, NPS 80+, пользователи мега счастливы, трафик окупается x5, но только что-то они не растут уже 5 лет, и в траф тратят только $20k / мес.
Мне стало подозрительно интересно, и я выяснил следующее:
– С продуктом работали
– Куча событий и метрик
– Куча дашбордов
– Вся аналитика подогнана так, чтобы казалось что с продуктом всё круто
– В конторе начальник, который не любит плохих новостей
Типа, оценки ниже 4 тупо не пишутся в базу (пользователя просят написать что не так), органика записывается в платный трафик, чтобы было побольше, ну и везде фигурирует какой-то предикт, который тупо добавляет в окупаемость когорт два хвоста)))
Я уж думал такого не бывает, но нет.
Всегда интересно посмотреть на людей, которые каждый день с удовольствием сами себе стреляют в ногу.
😁11🤨3👍2🤔1
Миграция Huge Data
Одно дело просто работать с гигантскими данными и уметь извлекать из них ценность на объемах 200-500 ПБайт. Совсем другое - мигриговать одни системы в другие.
Сегодня на Кейсариуме обсуждали, как проходит централизация 5 бизнесов группы ВК с точки зрения данных. Тысячи вовлеченных людей, колоссальное поле для улучшения бизнес-перфа данных. И в довесок - практически не берущиеся челенжи как технические, так и организационные.
Есть над чем подумать, есть где поразмыслить.
Какие ваши топ советы по консолидации нескольких уже сложившихся хранилищ данных с устоявшимися практиками сбора и потребления данных?
Одно дело просто работать с гигантскими данными и уметь извлекать из них ценность на объемах 200-500 ПБайт. Совсем другое - мигриговать одни системы в другие.
Сегодня на Кейсариуме обсуждали, как проходит централизация 5 бизнесов группы ВК с точки зрения данных. Тысячи вовлеченных людей, колоссальное поле для улучшения бизнес-перфа данных. И в довесок - практически не берущиеся челенжи как технические, так и организационные.
Есть над чем подумать, есть где поразмыслить.
Какие ваши топ советы по консолидации нескольких уже сложившихся хранилищ данных с устоявшимися практиками сбора и потребления данных?
❤5🤔3✍1🏆1
Ваше мнение. Объединение нескольких разрозненных КХД компании в единое - это:
Anonymous Poll
38%
Больше бизнесовая задача
41%
Больше техническая задача
22%
Посмотреть ответы
Архитектор Данных
Ваше мнение. Объединение нескольких разрозненных КХД компании в единое - это:
Опрос естественно провокационный.
Как это может быть не бизнес - или даже правильнее сказать административная - задача, когда мы устраиваем трансформацию? А трансформация это всегда революция, срыв с насиженных мест, слом устоявшихся практик и так далее.
Как это может быть не технической задачей, когда предполагается строительство нового большого ИТ комплекса с кучей потребителей и интеграций.
Так что и то, и другое!
Как это может быть не бизнес - или даже правильнее сказать административная - задача, когда мы устраиваем трансформацию? А трансформация это всегда революция, срыв с насиженных мест, слом устоявшихся практик и так далее.
Как это может быть не технической задачей, когда предполагается строительство нового большого ИТ комплекса с кучей потребителей и интеграций.
Так что и то, и другое!
😁8
Топ мыслей по итогам общения на South Hub - Data Edition
1⃣ Переезд по схеме (старое хд на Oracle, ms, whatever) - (Green plum) - (Lake house, Trino S3) повсеместно. Лейкхаус решает проблемы роста нагрузки, которую перестаёт вывозить ГП.
2⃣ Никто так и не знает ответ, кто должен нести ответственность за загрузку данных и качество данных. Источник или команда ХД. Дата контракты на бумаге красивы, на практике не работают.
3⃣ Покровительство высокого бизнеса при строительстве аналитики - определяющий фактор. Без него не получится.
4⃣ Продвинутые фичи современных каталогов данных такие как Time travel, версионирование датасетов, бранчевание данных гит-стайл нужны и востребованы.
5⃣ DBT отличный инструмент разработки хд при всех его ограничениях.
Последнее по порядку, но не по значению
6⃣ Без ИИ бюджетов не дадут!
Спасибо!
1⃣ Переезд по схеме (старое хд на Oracle, ms, whatever) - (Green plum) - (Lake house, Trino S3) повсеместно. Лейкхаус решает проблемы роста нагрузки, которую перестаёт вывозить ГП.
2⃣ Никто так и не знает ответ, кто должен нести ответственность за загрузку данных и качество данных. Источник или команда ХД. Дата контракты на бумаге красивы, на практике не работают.
3⃣ Покровительство высокого бизнеса при строительстве аналитики - определяющий фактор. Без него не получится.
4⃣ Продвинутые фичи современных каталогов данных такие как Time travel, версионирование датасетов, бранчевание данных гит-стайл нужны и востребованы.
5⃣ DBT отличный инструмент разработки хд при всех его ограничениях.
Последнее по порядку, но не по значению
6⃣ Без ИИ бюджетов не дадут!
Спасибо!
🔥14⚡5👍3😁2
Кажется в агентных средах изобрели map-reduce 😂
- В системе ведущий агент анализирует запрос и создает подагентов, которые параллельно ищут информацию каждый по своему направлению. Это совсем другая логика работы с задачами, где заранее непонятно, какие шаги потребуются.
- Архитектура построена по схеме “оркестратор-воркер”: ведущий планирует и делит задачи, подагенты ищут и фильтруют, дальше всё собирается и проходит через агент-цитировщик
- Параллелизация ускоряет исследования в разы: ввод нескольких подагентов и параллельных инструментов сокращает время до 90%
- В системе ведущий агент анализирует запрос и создает подагентов, которые параллельно ищут информацию каждый по своему направлению. Это совсем другая логика работы с задачами, где заранее непонятно, какие шаги потребуются.
- Архитектура построена по схеме “оркестратор-воркер”: ведущий планирует и делит задачи, подагенты ищут и фильтруют, дальше всё собирается и проходит через агент-цитировщик
- Параллелизация ускоряет исследования в разы: ввод нескольких подагентов и параллельных инструментов сокращает время до 90%
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Всеволод Устинов (канал)
Anthropic выложил разбор того, как они делали своего агента - исследователя для Claude. Не то чтобы я не сталкивался раньше с проблемами оркестрации и оценки сложных агентов - но тут столько интересных деталей, что нельзя не написать.
Кратко, что важно:…
Кратко, что важно:…
👍6🔥4😁4
Если у вас нет Хранилища Данных (КХД)
Оно на самом деле есть. Оно на экселях и битриксах. Оно неудобное.
Оно на самом деле есть. Оно на экселях и битриксах. Оно неудобное.
💯12🔥4👌2👍1
Про KPI
Как сломать процесс найма в стране, вкрутив неправильные KPI отдельно взятому продакту. Найм через HH сломан, подтвердят все кто в теме рекрутинга.
(См репост)
Когда яна почте служил ямщиком начинал карьеру аналитиком в ритейле, мы по крайней мере делали двух-ходовку.
1. Менеджер придумывает KPI
2. Вызывается кто-то из розницы и ему задается вопрос: как отреагирует средний директор магазина, увидев такой план.
Поверьте, результат такой виртуальной обратной связи был крайне неочевидным. А предполагаемые последствия - почти противоположными.
Как сломать процесс найма в стране, вкрутив неправильные KPI отдельно взятому продакту. Найм через HH сломан, подтвердят все кто в теме рекрутинга.
(См репост)
Когда я
1. Менеджер придумывает KPI
2. Вызывается кто-то из розницы и ему задается вопрос: как отреагирует средний директор магазина, увидев такой план.
Поверьте, результат такой виртуальной обратной связи был крайне неочевидным. А предполагаемые последствия - почти противоположными.
🤝8❤4😁4😢1