Запись доклада Дмитрия Березуцкого и Андрея Евтеева «Построение горизонтально масштабируемой системы обработки данных с беспилотного транспортного средства» с DevOpsConf 2024

Это хардкорный рассказ про сложности обработки большого количества данных (150 Тб в сутки) и новые инструменты — dagster, arrow и polars, volcano.

В докладе спикеры рассказали:

- как они научились обрабатывать большой объем сериализованных данных с беспилотных автомобилей (130-150 Tb в сутки);
- какой Open Source-стек для этого выбрали;
- почему отказались от Apache Airflow и остановились на Dagster;
- где и как запускают вычисления на Spark, а где обходятся Apache Arrow и Polars;
- чем их не устроил стандартный планировщик Kubernetes, и чем они его заменили (спойлер: Volcano);
- как реализовали автоматическую эволюцию схем табличных данных в Spark + Hive Metastore.

▶️Запись доклада в VK Видео

Посмотрите сами и поделитесь с коллегами 🙌


#записьдокладаDevOpsConf
@DevOpsConfChannel

Всем привет!

В разгар новогодних каникул принесли вам полезную подборку записей — топ-5 докладов DevOpsConf 2024. Это доклады, которые набрали самые высокие оценки от участников конференции за содержание и подачу. Послушайте опыт коллег и откройте для себя новые подходы 🙌

💙 Смотреть в VK Видео

✅ Содержание плейлиста:


1) Как мы вырастили отказоустойчивость Яндекс Go. Денис Исаев (Яндекс)

Хороший доклад про отказоустойчивость крупной системы в контексте процессов и метрик. Денис рассказал историю о том, как они шли к текущей ситуации, какие этапы прошли и какие решения совершили.

2) Kafka. Деградировавший кластер, или 168 часов траблшутинга. Максим Ванюшкин (Т-Банк)

Доклад о решении проблем в Kafka: от низкоуровневого траблшутинга до устранения серьёзных сбоев, угрожающих работе сервисов. Освещены сложные конфигурации, инструменты мониторинга, лайфхаки и тонкости, полезные при работе с Kafka для предотвращения неожиданностей в кластере.

3) Hardening Jenkins: как подать блюдо, чтобы оставили чаевые. Лев Хакимов (МТС Web Services)

Вы должны послушать этот доклад, если у вас jenkins. Лев подсветил все возможные проблемы с безопасностью, и после этого доклада у вас будет чёткое понимание того, на что вам нужно обратить внимание в ваших инсталляциях.

4) Платформа — это продукт. А что, вообще, такое — продукт? Виктор Попов (Samokat.tech)

Из доклада вы узнаете, как разрабатывать внутренние платформы, применяя продуктовый подход. Виктор рассказал, что такое продукт и какие принципы, практики и инструменты мы можем использовать. Что делать, если стал владельцем или менеджером внутреннего платформенного продукта.

5) JumpStart для новых сервисов. Владимир Дроздецкий (Magnit OMNI)

Как развернуть сервис быстрее, чем заваривается кофе? Посмотрите доклад Владимира и узнайте, как они превратили запуск новых сервисов из марафона в спринт, минуя лабиринты настройки и деплоя. От CI/CD до DORA-метрик — меньше головной боли, больше кодинга. Шутки и практические советы включены!

Продуктивного просмотра и отличного продолжения каникул 😎

#записьдокладаDevOpsConf
@DevOpsConfChannel

Запись доклада Александра Егорова «Как создать ML-платформу по выводу 100 моделей в неделю» с конференции DevOpsConf 2024

Сфера машинного обучения постоянно развивается, команды разработки расширяются, а вместе с ними растет и число моделей. Также появляется и проблема удобства совместного труда и вывода гигантского количества моделей в production.

Александр рассказал о способах создания удобной среды разработки на основе платформы Kubernetes, ориентированной на команды с более чем двумя сотнями Data Scientists и Data Engineers, позволяющей выпускать более 100 моделей в течение нескольких недель. Данная платформа уже реализована в Альфа-Банке.

Спикер поделился:

🟣какие сложности встречаются при работе с JupyterHub с большой командой;
🟣как объединить множество инструментов из жизненного цикла машинного обучения;
🟣где эффективно хранить и как использовать данные;
🟣как можно просто настроить вывод и переобучение не только отдельных моделей, но и целых ансамблей.

💙 Смотреть запись в VK Видео

#записьдокладаDevOpsConf
@DevOpsConfChannel

Инженерия устойчивости как основной инструмент выживания вашей организации: история, подходы и примеры внедрения в докладе Сергея Реусина с конференции DevOpsConf 2024

💙 Запись доклада опубликовали в VK Видео

Это был единственный в программе доклад про Resilience Engineering или инженерию устойчивости. Сергей рассмотрел историю появления этого термина и движения, рассказал про сообщество и экспертов, разобрал основные принципы и подходы. А также поделился практическими примерами из СберМаркета.

Если вы предпочитаете читать, то вот статья по мотивам доклада 📝

На DevOpsConf 2025 Сергей также выступит с докладом, в котором расскажет о практических проблемах становления SRE

#записьдокладаDevOpsConf
@DevOpsConfChannel

Как правило, когда говорят о комбинации vector.dev и ClickHouse, то речь идет о логировании. Для остальных из трех китов наблюдаемости — метрик (мониторинге) и трейсов — используют другие решения.

Посмотрите запись доклада Максима Залысина «Distributed Observability» — его уникальность в том, что для всей системы observability используется единый стек.

💙 Смотреть в VK Видео

#записьдокладаDevOpsConf
@DevOpsConfChannel

Если вам нужен сторадж для секретов, но вам не нравится Vault, а облачный провайдер даёт неудобное решение — посмотрите запись доклада Дмитрия Самирова «Храним секреты для прода в 1password» с DevOpsConf 2024

Оказывается, что можно использовать пользовательские сервисы с секретами и будет даже удобно. На примере 1password увидите, как это делается.

💙 Смотреть запись в VK Видео

Продуктивного просмотра 🙌

#записьдокладаDevOpsConf
@DevOpsConfChannel

Kyverno — потрясающий инструмент, обладающий весьма обширным функционалом по анализу манифестов Kubernetes и образов контейнеров.

🟣Почему Kyverno?
🟣Какие бывают типы политик?
🟣Что анализировать в первую очередь?
🟣Как работать с результатами?
🟣Как выстроить процесс по устранению найденных несоответствий?

➡️ Ответы на эти вопросы вы найдёте в докладе Антона Гаврилова «Kyverno: старт без грабель», запись которого мы опубликовали в VK Видео

Особенно интересно будет для тех, кто начинает разбираться в безопасности Kubernetes или еще не знаком с механизмом Admission Webhook — что это и зачем это нужно.

Продуктивного просмотра 🙌


#записьдокладаDevOpsConf
@DevOpsConfChannel

Запись доклада Максима Нифонтова «DevOps приходит в 1С» с конференции DevOpsConf 2024.

Доклад содержит разбор инструментов для построения DevOps в 1С, но культура DevOps забыта не была. Если вы работаете где-то рядом с реальным сектором и хотите помочь коллегам улучшить жизнь в 1С, то обязательно посмотрите!

💙 Запись опубликована в VK Видео

#записьдокладаDevOpsConf
@DevOpsConfChannel

У всех нас есть какой-то опыт, и мы всегда стараемся переносить его с собой повсюду. Так, например, велик соблазн перенести свой опыт обеспечения безопасности Linuх/Docker-инфраструктур (не говоря уже о Windows) на Kubernetes-кластера. При этом, к сожалению, до конца не понимая самой природы Kubernetes.

➡️ Посмотрите запись доклада Дмитрия Евдокимова «Безопасность Kubernetes-кластеров: вредные советы» — вы узнаете, как не надо настраивать кластер Kubernetes. Что в теории звучит очень полезно, а на практике приводит к авариям, падениям приложений и Kubernetes-кластеров.

💙 Смотреть в VK Видео

📝 Если вы предпочитаете читать, то здесь статья по мотивам доклада.


#записьдокладаDevOpsConf
@DevOpsConfChannel