В докладах блока «Data Engineering» вас ждёт изнанка работы команд, работающих с огромным количеством данных: инфраструктура, работа в нескольких дата-центрах, построение платформ хранения данных.
1) Как мы сделали собственный Software-Defined Storage для публичного облака Cloud.ru. Сергей Лысанов (Cloud.ru)
Глубоко технический доклад про реализацию собственного хранилища в условиях больших нагрузок и критических систем вокруг. Если вам нравится разбираться во внутрянке таких систем и специфике хранения данных — этот доклад для вас.
2) Highload MLOPs: ускорение и автоматизация. Павел Николаев (Альфа-банк)
Доклад будет интересен широкой публике ML-разработчиков. Из доклада вы узнаете, как в условиях ограниченных вычислительных ресурсов может выживать большая DS-команда. Также вы узнаете, как на небольших серверах оптимально крутить не менее 300 моделей.
3) Опыт перевода банковского продукта в риалтайм. Владимир Ловцов, Владимир Аврамов (Холдинг Т1)
Доклад-исследование, доклад-детектив. Как на больших масштабах правильно принимать решения, правильно принимать технологии и справляться с рисками и интеграционными проблемами. Рекомендуется для тех, кто любит много технологий.
4) Streaming Processing на данных BigData для рекламных кампаний МТС. Евгений Ненахов (МТС Диджитал)
Вы узнаете, как делать процессинг очень больших потоков данных в режиме реального времени из Kafka на голой Java с использованием минимального количества железа.
5) Выбор стримингового фреймворка в 2024 году. Максим Буйлин (Т-Банк)
Spark, Flink, Nifi или что-то другое — какой стриминговый фреймворк выбрать в текущем году? Из доклада вы узнаете основные критерии для выбора, на что обращать особое внимание. И все это на основе практического опыта.
До скорой встречи на Saint HighLoad++ 2024 🙌
✅ Программа конференции и билеты на сайте
1) Как мы сделали собственный Software-Defined Storage для публичного облака Cloud.ru. Сергей Лысанов (Cloud.ru)
Глубоко технический доклад про реализацию собственного хранилища в условиях больших нагрузок и критических систем вокруг. Если вам нравится разбираться во внутрянке таких систем и специфике хранения данных — этот доклад для вас.
2) Highload MLOPs: ускорение и автоматизация. Павел Николаев (Альфа-банк)
Доклад будет интересен широкой публике ML-разработчиков. Из доклада вы узнаете, как в условиях ограниченных вычислительных ресурсов может выживать большая DS-команда. Также вы узнаете, как на небольших серверах оптимально крутить не менее 300 моделей.
3) Опыт перевода банковского продукта в риалтайм. Владимир Ловцов, Владимир Аврамов (Холдинг Т1)
Доклад-исследование, доклад-детектив. Как на больших масштабах правильно принимать решения, правильно принимать технологии и справляться с рисками и интеграционными проблемами. Рекомендуется для тех, кто любит много технологий.
4) Streaming Processing на данных BigData для рекламных кампаний МТС. Евгений Ненахов (МТС Диджитал)
Вы узнаете, как делать процессинг очень больших потоков данных в режиме реального времени из Kafka на голой Java с использованием минимального количества железа.
5) Выбор стримингового фреймворка в 2024 году. Максим Буйлин (Т-Банк)
Spark, Flink, Nifi или что-то другое — какой стриминговый фреймворк выбрать в текущем году? Из доклада вы узнаете основные критерии для выбора, на что обращать особое внимание. И все это на основе практического опыта.
До скорой встречи на Saint HighLoad++ 2024 🙌
Please open Telegram to view this post
VIEW IN TELEGRAM
Запись техтолка с Анастасией Павловской «Не таймспентом единым: как мы делаем ранжирующую систему» с конференции HighLoad++ 2023
Анастасия рассказала:
- как устроена рекомендательная система;
- зачем нужно переранжирование, если модель работает с хорошим качеством;
- как бороться с ситуацией, когда у модели есть перекос в популярных авторов;
- какие проблемы возникнут у бизнеса, если ничего не делать;
- как они в Дзене работают с этой проблемой.
Будет полезно посмотреть ML-разработчикам рекомендательных систем. Особенно интересно будет тем, кто занимается ранжирующими моделями на маркетплейсах.
Ведущий техтолка Валерий Котелов, СEO KOTELOV
Анастасия рассказала:
- как устроена рекомендательная система;
- зачем нужно переранжирование, если модель работает с хорошим качеством;
- как бороться с ситуацией, когда у модели есть перекос в популярных авторов;
- какие проблемы возникнут у бизнеса, если ничего не делать;
- как они в Дзене работают с этой проблемой.
Будет полезно посмотреть ML-разработчикам рекомендательных систем. Особенно интересно будет тем, кто занимается ранжирующими моделями на маркетплейсах.
Ведущий техтолка Валерий Котелов, СEO KOTELOV
YouTube
TechTalk "Не таймспентом единым: как мы делаем ранжирующую систему" / Анастасия Павловская
Приглашаем на конференцию HighLoad++ 2025, которая пройдет 6 и 7 ноября в Москве!
Программа, подробности и билеты по ссылке: https://highload.ru/moscow/2025
________
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем Highload++…
Программа, подробности и билеты по ссылке: https://highload.ru/moscow/2025
________
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем Highload++…
❤🔥5❤2🔥2
ML-модели требуют всё больше и больше ресурсов, и задача экономии железа (и батарейки) становится всё более и более актуальной. Об этом все пять докладов блока об экономии CPU/GPU.
1) Нейросети на китайских камерах: дешево и задорно. Максим Лапшин (erlyvideo)
Flussonic уже много лет строит решения видеоаналитики. С точки зрения программиста и продакта, Максим расскажет о своем опыте запуска нейросетей на камерах Rockchip. Это одни из первых доступных камер стандартного форм-фактора и доступной цены, пригодных для запуска нейросетей.
2) Мир будущего: управление устройствами с помощью жестов. Александр Нагаев (SberDevices)
Доклад Александра интересен тем, что обращается к корням. Из него вы узнаете, как в современнейшей задаче распознавания динамических жестов можно применить нейросеть, разработанную ещё в XX веке!
3) Эффективная ML-обработка видео в web-браузере для видеоконференций SberJazz. Дмитрий Балиев (SberDevices)
Работа в браузере — одна из самых сложных задач для нейросетей, работающих с медиаконтентом, особенно для сервиса видеоконференций, которому нужно справляться в real-time. Будет интересно узнать о движке инференса нейронок в SberJazz тем, кто занимается инференсом нейросетей и edge computing.
4) Как оптимизировать обработку звука на ограниченных в ресурсах устройствах и не потерять в качестве. Михаил Чуриков (SberDevices)
Умные колонки работают на экономных ARM-процессорах, поэтому код для них нужно писать аккуратно. Михаил расскажет, как на чистом Си написал библиотеку для работы со звуком, чтобы колонка могла одновременно быть и умной, и круто звучащей.
5) И не менее интересный доклад в рамках темы «Экономия CPU/GPU при инференсе DL-моделей» от Ольги Зайковой (Яндекс) про то, Как реклама Яндекса генерирует GPT-нейросетями заголовки для 3 миллиардов объявлений, используя 22 GPU.
Ольга расскажет, как они масштабировали ML-решение, генерирующее заголовки рекламных объявлений. Генерация одновременно использует тысячи процессорных ядер и десятки GPU, и нужно постараться, чтобы нигде не случился bottleneck.
Ждём вас 24 и 25 июня на Saint HighLoad++ 2024 🙌
✅ Программа конференции, расписание и билеты на сайте
1) Нейросети на китайских камерах: дешево и задорно. Максим Лапшин (erlyvideo)
Flussonic уже много лет строит решения видеоаналитики. С точки зрения программиста и продакта, Максим расскажет о своем опыте запуска нейросетей на камерах Rockchip. Это одни из первых доступных камер стандартного форм-фактора и доступной цены, пригодных для запуска нейросетей.
2) Мир будущего: управление устройствами с помощью жестов. Александр Нагаев (SberDevices)
Доклад Александра интересен тем, что обращается к корням. Из него вы узнаете, как в современнейшей задаче распознавания динамических жестов можно применить нейросеть, разработанную ещё в XX веке!
3) Эффективная ML-обработка видео в web-браузере для видеоконференций SberJazz. Дмитрий Балиев (SberDevices)
Работа в браузере — одна из самых сложных задач для нейросетей, работающих с медиаконтентом, особенно для сервиса видеоконференций, которому нужно справляться в real-time. Будет интересно узнать о движке инференса нейронок в SberJazz тем, кто занимается инференсом нейросетей и edge computing.
4) Как оптимизировать обработку звука на ограниченных в ресурсах устройствах и не потерять в качестве. Михаил Чуриков (SberDevices)
Умные колонки работают на экономных ARM-процессорах, поэтому код для них нужно писать аккуратно. Михаил расскажет, как на чистом Си написал библиотеку для работы со звуком, чтобы колонка могла одновременно быть и умной, и круто звучащей.
5) И не менее интересный доклад в рамках темы «Экономия CPU/GPU при инференсе DL-моделей» от Ольги Зайковой (Яндекс) про то, Как реклама Яндекса генерирует GPT-нейросетями заголовки для 3 миллиардов объявлений, используя 22 GPU.
Ольга расскажет, как они масштабировали ML-решение, генерирующее заголовки рекламных объявлений. Генерация одновременно использует тысячи процессорных ядер и десятки GPU, и нужно постараться, чтобы нигде не случился bottleneck.
Ждём вас 24 и 25 июня на Saint HighLoad++ 2024 🙌
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
Языки программирования бывают двух сортов: те, которые все ругают, и те, с которыми никто не работает. GO из тех, которые все ругают. Несмотря на то, что мы не можем контролировать процесс улучшения языка, потому что его изменениями занята Core Team, нам никто не запрещает подумать о том, как сделать GO лучше.
Секция докладов «Идеальный язык» предназначена для тех, кто ищет ответы на экзистенциальные вопросы бытия — какой язык окажется для нас самым лучшим?
1) В поисках идеального языка: чему Go стоит поучиться у Rust. Александр Кириллов (Evrone)
В отличие от Go, Rust — язык действительно новый. В первую очередь потому, что предлагает новые концепции, такие, например, как контроль владения. Вопрос: выиграл бы Go как инструмент, если бы эти концепции поддерживались и в нем? Поищем ответ вместе с Александром.
2) Мир Golang глазами C++-разработчика: так ли уж плох этот наш Go? Никита Деревянко (Яндекс Маркет)
Идеального языка программирования не существует, языки бывают плохие и очень плохие. И к какой категории относится конкретный язык, зависит от точки зрения. Давайте посмотрим на Go с точки зрения С++-разработчика — это будет интересно и наверняка поучительно.
3) Расширяем Go: зачем и как строить свое надмножество языка. Илья Горкун (Независимый эксперт), Эдгар Сипки (Ozon Банк)
Мы не просто рассмотрим синтаксические новшества и транспиляцию, но и откроем дверь в мир возможностей расширения вашего кода, а также узнаем, как новый инструментарий может обогатить вашу работу с Go, дав возможность внедрения «сахара» по вашему вкусу и без потери производительности.
Встречаемся на Saint HighLoad++ 2024, в рамках которой пройдёт Golang Conf 2024 🖐️
✅ Программа конференции и расписание на сайте
Секция докладов «Идеальный язык» предназначена для тех, кто ищет ответы на экзистенциальные вопросы бытия — какой язык окажется для нас самым лучшим?
1) В поисках идеального языка: чему Go стоит поучиться у Rust. Александр Кириллов (Evrone)
В отличие от Go, Rust — язык действительно новый. В первую очередь потому, что предлагает новые концепции, такие, например, как контроль владения. Вопрос: выиграл бы Go как инструмент, если бы эти концепции поддерживались и в нем? Поищем ответ вместе с Александром.
2) Мир Golang глазами C++-разработчика: так ли уж плох этот наш Go? Никита Деревянко (Яндекс Маркет)
Идеального языка программирования не существует, языки бывают плохие и очень плохие. И к какой категории относится конкретный язык, зависит от точки зрения. Давайте посмотрим на Go с точки зрения С++-разработчика — это будет интересно и наверняка поучительно.
3) Расширяем Go: зачем и как строить свое надмножество языка. Илья Горкун (Независимый эксперт), Эдгар Сипки (Ozon Банк)
Мы не просто рассмотрим синтаксические новшества и транспиляцию, но и откроем дверь в мир возможностей расширения вашего кода, а также узнаем, как новый инструментарий может обогатить вашу работу с Go, дав возможность внедрения «сахара» по вашему вкусу и без потери производительности.
Встречаемся на Saint HighLoad++ 2024, в рамках которой пройдёт Golang Conf 2024 🖐️
Please open Telegram to view this post
VIEW IN TELEGRAM
Что происходит с IT в промышленности? Как оно там развивается, какие задачи стоят перед инженерами, какие инструменты применяются? Есть ли отличия между привычной всем IT-тусовкой и тусовкой в реальном секторе?
⠀
Если вам интересно узнать про специфику реального сектора и про то, как в ней работается айтишнику, читайте интервью руководителя направления по развитию цифровых технологий ОМК-ИТ Михаила Митрофанова: https://habr.com/ru/companies/oleg-bunin/articles/821033/
⠀
Если вам интересно узнать про специфику реального сектора и про то, как в ней работается айтишнику, читайте интервью руководителя направления по развитию цифровых технологий ОМК-ИТ Михаила Митрофанова: https://habr.com/ru/companies/oleg-bunin/articles/821033/
Хабр
IT в промышленности: сходство и отличия
Михаил Митрофанов Давайте пообщаемся с ПК новой конференции Industrial++ 2024 и узнаем, что происходит с IT в промышленности. Как оно там развивается, какие задачи стоят перед инженерами, какие...
👍2🔥1
⠀
Для онлайн-участников будут доступны:
⠀
- Все презентации спикеров
- Видеозаписи всех докладов
- Трансляция всех докладов. Митапы и воркшопы не транслируются️
- Вопросы к спикерам в Telegram-чате
- Доступ к трансляции для одного пользователя
⠀
⠀
Ждем вас в эфире 24 и 25 июня 🙌
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉3🔥2❤1
Сегодня рассказываем про доклады о построении сетевой инфраструктуры как в отдельно взятом дата-центре, так и во всём интернете в целом.
1) Ищем кратчайший путь в Интернете. Алексей Учакин (EdgeЦентр)
Как известно, в Интернете нет географии, зато есть топология. А это значит, что кратчайшим маршрутом между вашим приложением и пользователем вовсе не обязательно окажется прямая. На докладе Алексея будем разбираться: из чего складывается задержка и почему это важно; что влияет на путь трафика от клиента до приложения и обратно; при чём тут облака, DDoS-защита и CDN; что можно сделать, чтобы задержка стала меньше.
2) Автоматизация сетевой инфраструктуры ЦОД. Анна Кошк (Ростелеком-ЦОД)
Увлекательное путешествие в топологию одного из старейших ЦОДов и всю ту программную автоматику, которая используется для конфигурирования «железа» и построения сетевой карты.
До скорой встречи на Saint HighLoad++ 2024 🙌
✅ Программа конференции, расписание и онлайн-билеты на сайте
1) Ищем кратчайший путь в Интернете. Алексей Учакин (EdgeЦентр)
Как известно, в Интернете нет географии, зато есть топология. А это значит, что кратчайшим маршрутом между вашим приложением и пользователем вовсе не обязательно окажется прямая. На докладе Алексея будем разбираться: из чего складывается задержка и почему это важно; что влияет на путь трафика от клиента до приложения и обратно; при чём тут облака, DDoS-защита и CDN; что можно сделать, чтобы задержка стала меньше.
2) Автоматизация сетевой инфраструктуры ЦОД. Анна Кошк (Ростелеком-ЦОД)
Увлекательное путешествие в топологию одного из старейших ЦОДов и всю ту программную автоматику, которая используется для конфигурирования «железа» и построения сетевой карты.
До скорой встречи на Saint HighLoad++ 2024 🙌
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
До API надо еще дорасти
Свежий выпуск подкаста The Art of Programming с трендами от ПК HighLoad++, точнее с тем, что видно со стороны ПК на больших промежутках. Антон Черноусов и Максим Лапшин разогнали на тему того, что нужно-таки дорасти до API-first-подхода и чем это грозит вам в перспективе. А также заглянули в программу конференции Saint HighLoad++ 2024 и познакомили слушателей с парой интересных докладов:
➡️ Хватит себя обманывать, или Давайте посмотрим, как работают статистические балансировщики нагрузки. Ильяс Нежибицкий
➡️ Как мы монгу физически бэкапили. Владимир Гошев
Подписаться в iTunes
Слушать ВКонакте
Слушать на Яндекс Музыке
Свежий выпуск подкаста The Art of Programming с трендами от ПК HighLoad++, точнее с тем, что видно со стороны ПК на больших промежутках. Антон Черноусов и Максим Лапшин разогнали на тему того, что нужно-таки дорасти до API-first-подхода и чем это грозит вам в перспективе. А также заглянули в программу конференции Saint HighLoad++ 2024 и познакомили слушателей с парой интересных докладов:
➡️ Хватит себя обманывать, или Давайте посмотрим, как работают статистические балансировщики нагрузки. Ильяс Нежибицкий
➡️ Как мы монгу физически бэкапили. Владимир Гошев
Подписаться в iTunes
Слушать ВКонакте
Слушать на Яндекс Музыке
Yandex Music
The Art of Programming
Podcast about program development and management • Podcast • 3,290 subscribers
👍1
Миграция СУБД с одной технологии на другую — штука сложная. Слишком много всего задействовано: конвертация кода, переливка данных между системами, интеграция данных из разных источников, оптимизация запросов, настройка политик доступа, систем мониторинга и производительности, отладка ошибок. Естественно, натыкаешься на подводные камни, о которых даже не думал.
DWH-разработчик AXENIX Станислав Свириденко поделится своей историей миграции СУБД Teradata на GreenPlum, которая, возможно, поможет вам избежать некоторых болей: https://habr.com/ru/companies/oleg-bunin/articles/821045/
DWH-разработчик AXENIX Станислав Свириденко поделится своей историей миграции СУБД Teradata на GreenPlum, которая, возможно, поможет вам избежать некоторых болей: https://habr.com/ru/companies/oleg-bunin/articles/821045/
Хабр
Миграция витрины данных с СУБД Teradata в СУБД Greenplum
Миграция СУБД с одной технологии на другую — сложный процесс, который связан не только с конвертацией кода и переливкой данных из одной системы в другую. Хотя и здесь есть неочевидные нюансы. Часто...
Проекты и решения на Go – следующая секция из программы Golang Conf 2024. Приходите на доклады секции, чтобы:
- Погрузиться в тему Интернета вещей.
- Рассмотреть недостатки проекта opentelemetry, с которыми можно столкнуться при развитии пайплайна трейсинга в Авито, и узнать, как их решить.
- Узнать, как можно использовать Go в современных DAW.
- Послушать про схему, при которой в ходе переезда два бэкенда — Perl и Go — работали параллельно.
1) Видишь суслика? А он есть! Как переехала на Go Главная страница Яндекса. Вячеслав Круглов (Яндекс)
Вячеслав расскажет, как переписать все так, чтобы пользователи ничего не заметили, где Go сыграл ключевую роль и какие плюсы это принесло.
2) Go в умном доме: опыт успешной интеграции. Алексей Хить (@AlexxIT)
Узнайте, как расширить возможности Xiaomi Gateway 3 для Home Assistant с помощью Go. Алексей представит уникальный подход к интеграции, сохраняющий оригинальную прошивку устройства и добавляющий новые функции. Погрузитесь в мир Open Source и разработки embedded ПО.
3) Opentelemetry и эволюция распределенного пайплайна трейсинга в Авито. Сергей Ларионенко (Авито)
Opentelemetry — де-факто стандарт современной телеметрии. Сергей расскажет о подводных камнях при построении распределенного пайплайна трейсинга, какие модули пришлось переписать, чтобы собирать 14 млн спанов в секунду с 2к микросервисов почти без потерь. Много деталей, очень интересно!
4) Rock’n’roll — это не работа: пишем обработку звука на Go. Эмиль Шарифуллин (Т-Банк)
Go годится не только для крудошлепства и перекладывания json'ов. На нем можно делать музыку! Приходите послушать доклад под аккомпанемент электрогитары и, возможно, вскоре вы и сами захотите стать Rockstar-разработчиком и запилить собственную гитарную примочку на Go.
🖐️ Встречаемся на Saint HighLoad++ 2024, в рамках которой пройдёт Golang Conf 2024
✅ Программа конференции и расписание на сайте
- Погрузиться в тему Интернета вещей.
- Рассмотреть недостатки проекта opentelemetry, с которыми можно столкнуться при развитии пайплайна трейсинга в Авито, и узнать, как их решить.
- Узнать, как можно использовать Go в современных DAW.
- Послушать про схему, при которой в ходе переезда два бэкенда — Perl и Go — работали параллельно.
1) Видишь суслика? А он есть! Как переехала на Go Главная страница Яндекса. Вячеслав Круглов (Яндекс)
Вячеслав расскажет, как переписать все так, чтобы пользователи ничего не заметили, где Go сыграл ключевую роль и какие плюсы это принесло.
2) Go в умном доме: опыт успешной интеграции. Алексей Хить (@AlexxIT)
Узнайте, как расширить возможности Xiaomi Gateway 3 для Home Assistant с помощью Go. Алексей представит уникальный подход к интеграции, сохраняющий оригинальную прошивку устройства и добавляющий новые функции. Погрузитесь в мир Open Source и разработки embedded ПО.
3) Opentelemetry и эволюция распределенного пайплайна трейсинга в Авито. Сергей Ларионенко (Авито)
Opentelemetry — де-факто стандарт современной телеметрии. Сергей расскажет о подводных камнях при построении распределенного пайплайна трейсинга, какие модули пришлось переписать, чтобы собирать 14 млн спанов в секунду с 2к микросервисов почти без потерь. Много деталей, очень интересно!
4) Rock’n’roll — это не работа: пишем обработку звука на Go. Эмиль Шарифуллин (Т-Банк)
Go годится не только для крудошлепства и перекладывания json'ов. На нем можно делать музыку! Приходите послушать доклад под аккомпанемент электрогитары и, возможно, вскоре вы и сами захотите стать Rockstar-разработчиком и запилить собственную гитарную примочку на Go.
🖐️ Встречаемся на Saint HighLoad++ 2024, в рамках которой пройдёт Golang Conf 2024
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
В этом году блок докладов «Кругозор» удался – здесь и мобильная связь, и квантовые вычисления, и телеметрия и даже биотех. Как делаются новые вирусы и при чем тут Data Science? Сегодня рассказываем про вторую часть докладов блока, первая часть здесь
1) Помогаем спасать жизни: как работает IT-команда крупнейшей российской фармы. Михаил Мартынов (BIOCAD)
Взгляд на IT-составляющую огромной фармкомпании глазами CIO. Совсем другой мир, если сравнивать с привычным нам айти. Приходите на доклад Михаила, чтобы послушать про самое сложное в цифровизации разработки и производства лекарств и посмотреть на привычную автоматизацию под совсем другим углом.
2) Как продакту инфраструктурного софта через телеметрию познать клиента. Аркадий Велькер (erlyvideo)
Как понимать профиль поведения клиента, если ваше ПО установлено у заказчика? Кажется, что никак. Но ребята разобрали эту задачу, решили ее и готовы поделиться своим опытом. А также рассказать о конкретных клиентских проблемах, которые они сумели решить без обращений клиентов.
3) Перспективы квантового компьютера в обозримое время. Михаил Ремнев (Cloud.ru)
Главный вопрос с квантами — как их применять в обычных задачах и бизнесе. Из доклада вы узнаете о том, что сегодня происходит, чем уникальны кванты на фоне остальных альтернативных вычислителей и как на практике помогают этому эмуляторы квантовых вычислителей, развернутые в облаке Cloud.ru.
До скорой встречи на Saint HighLoad++ 2024 😎
✅ Расписание конференции на сайте
1) Помогаем спасать жизни: как работает IT-команда крупнейшей российской фармы. Михаил Мартынов (BIOCAD)
Взгляд на IT-составляющую огромной фармкомпании глазами CIO. Совсем другой мир, если сравнивать с привычным нам айти. Приходите на доклад Михаила, чтобы послушать про самое сложное в цифровизации разработки и производства лекарств и посмотреть на привычную автоматизацию под совсем другим углом.
2) Как продакту инфраструктурного софта через телеметрию познать клиента. Аркадий Велькер (erlyvideo)
Как понимать профиль поведения клиента, если ваше ПО установлено у заказчика? Кажется, что никак. Но ребята разобрали эту задачу, решили ее и готовы поделиться своим опытом. А также рассказать о конкретных клиентских проблемах, которые они сумели решить без обращений клиентов.
3) Перспективы квантового компьютера в обозримое время. Михаил Ремнев (Cloud.ru)
Главный вопрос с квантами — как их применять в обычных задачах и бизнесе. Из доклада вы узнаете о том, что сегодня происходит, чем уникальны кванты на фоне остальных альтернативных вычислителей и как на практике помогают этому эмуляторы квантовых вычислителей, развернутые в облаке Cloud.ru.
До скорой встречи на Saint HighLoad++ 2024 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
Это история про то, что такое CI/CD. Про то, что это не просто написать пачку YAML'ов или собрать код при создании pull request и деплой по кнопке, а много чего ещё.
Тема, казалось бы, сильно заезжена, но дьявол, как известно, кроется в деталях. Поэтому поговорим про то, что остаётся за бортом, превращая ценный набор практик в карго-культ.
Head of Infrastructure and Security в Uzum Market Владимир Утратенко провёл антинаучное исследование на нерелевантной выборке, но вывод интересный: 25 из 30 DevOps-инженеров на собеседовании путают CI и CD.
✅ Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/821867/
Тема, казалось бы, сильно заезжена, но дьявол, как известно, кроется в деталях. Поэтому поговорим про то, что остаётся за бортом, превращая ценный набор практик в карго-культ.
Head of Infrastructure and Security в Uzum Market Владимир Утратенко провёл антинаучное исследование на нерелевантной выборке, но вывод интересный: 25 из 30 DevOps-инженеров на собеседовании путают CI и CD.
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Древние свитки CI/CD: смыслы, которые мы потеряли
Привет, Хабр. Меня зовут Владимир Утратенко, я — Head of Infrastructure and Security в Uzum Market. У меня богатый опыт найма DevOps-инженеров, ведь последние 6 лет я — нанимающий менеджер. А ещё...
❤1
Fail-митап для тех, кто уже хотя бы раз положил прод, и тех, кто пока ещё нет 😉
Конференции завалены историями успеха. Но путь к успеху всегда лежит через фейлы, о которых рассказывать не принято. Но только не на нашем fail-митапе!
В своих коротких, но зажигательных выступлениях спикеры поделятся настоящими историями фейлов. Без записи, без трансляции, без комплексов.
Встречаемся уже через неделю в Питере на Saint HighLoad++ 2024 🙌
✅ Расписание конференции на сайте
Конференции завалены историями успеха. Но путь к успеху всегда лежит через фейлы, о которых рассказывать не принято. Но только не на нашем fail-митапе!
В своих коротких, но зажигательных выступлениях спикеры поделятся настоящими историями фейлов. Без записи, без трансляции, без комплексов.
Встречаемся уже через неделю в Питере на Saint HighLoad++ 2024 🙌
Please open Telegram to view this post
VIEW IN TELEGRAM
Празднуем 10 лет Kubernetes на Saint HighLoad++ 2024
На связи Александр Белоцерковский, член ПК HighLoad++, директор по технологическому евангелизму, СберТех.
10 лет назад, в июне 2014 года, на GitHub был отправлен первый коммит в Kubernetes – 250 файлов, 47 тысяч строчек разнообразного кода. Kubernetes тогда отвечал на вопрос: а как же управлять всем тем богатством контейнеров, которое увеличивалось вслед за мощностью железа и требовательностью в производительности от пользователей сервисов?
Сегодня Kubernetes называют новой операционной системой. Я вижу в этом аккуратную метафору к пользовательскому опыту. Десять лет назад, чтобы собрать и запустить проект, нужно было основательно подготовиться. Пять лет назад – немного постараться. Сегодня же можно зайти на CNCF Tech Radar и собрать Cloud Native экосистему, компоненты которой будут так или иначе поддерживать друг друга. Бери, что нужно, собирай, как нужно, подключай куда нужно.
Как же операционная система под названием Kubernetes повлияла на индустрию и HighLoad++?
Я полюбопытствовал и изучил программы за прошлые годы:
HighLoad++ 2014 – как скрестить Docker & Puppet?
HighLoad++ 2015 – уже два доклада с фокусом на Docker и высокопроизводительные системы, опыт разработки.
HighLoad++ 2016 – пять докладов. Становится больше продакшена, больше миграций, нить мысли – «как мы это пережили и сделали эффективнее»
HighLoad++ 2017 – Docker как тема уходит с радаров, переходя на плато продуктивности, вместо него – продакшен на Kubernetes.
... прыжок во времени ...
Saint HighLoad++ 2022 – мультитенантный Kubernetes (запись доклада, посмотрите)
Saint HighLoad++ 2023 – перенос легаси-приложений в Kubernetes (и здесь запись доклада)
Kubernetes значительно повлиял на то, как в индустрии решают задачи и породил собственные тренды. Мы на HighLoad++ любим тренды и будем много говорить о них в Санкт-Петербурге:
1. Open Source: Kubernetes был внутренним проектом Google, который они разработали и решили выложить в Open Source. Осмелюсь сделать вывод, что Kubernetes вместе с Tensorflow стали одним из мощнейших стимулов развития Open Source, открыв путь к новым бизнес-моделям, а вместе с этим – новым проблемам. Об этом в подробностях в докладе от Николая Никитина (ИТМО) «Как обеспечить воспроизводимость научных исследований в AI/ML с помощью Open Source?»
2. Оркестрация контейнеров: Kubernetes стал стандартом для управления контейнеризированными приложениями. В 2014 на HighLoad++ рассказывали о том, как скрестить Docker с Puppet, в 2024 Максим Чудновский из СберТех с солидным докладом «Как мигрировать тысячи сервисов между любыми дистрибутивами Kubernetes без единой правки чего-либо».
3. Эволюция экосистемы и платформы: За 10 лет экосистема Kubernetes значительно выросла. Стало доступно множество инструментов для мониторинга, управления конфигурациями, автоматизации CI/CD и обеспечения безопасности. Компании разрабатывают на основе или с помощью Kubernetes платформы. Kubernetes дал стимул этой теме и говорят, что 70% платформ будет Cloud Native. И платформы вышли за пределы темы Kubernetes — и об этом нам расскажет Данил Валгушев из Яндекса «Как платформа A/B-тестов Яндекса превратилась в решение для всего Интернета — Varioqub».
4. Облачные сервисы и Kubernetes: Практически все крупные облачные провайдеры предлагают управляемые сервисы Kubernetes (Kubernetes as a Service), делая его ещё более доступным и привлекательным для разработчиков. Но, если Kubernetes изначально cloud native, что делать, если хочется сделать managed сервис из того, что не было разработано или адаптировано для облака? Об этом Дмитрий Некрылов из Яндекс360, как они Jitsi под большие нагрузки в облаке готовили.
5. Эксперименты: Куда без экспериментов! В самом начале пути Kubernetes и базы данных никто не ставил в одном предложении, сегодня обсуждают паттерны эффективности. ML? Пожалуйста. Возможно, и квантовые вычисления подоспеют. В облаке же уже есть симуляторы, например, от Cloud. ru.
Приходите праздновать день рождения Kubernetes в Санкт-Петербурге 😎
На связи Александр Белоцерковский, член ПК HighLoad++, директор по технологическому евангелизму, СберТех.
10 лет назад, в июне 2014 года, на GitHub был отправлен первый коммит в Kubernetes – 250 файлов, 47 тысяч строчек разнообразного кода. Kubernetes тогда отвечал на вопрос: а как же управлять всем тем богатством контейнеров, которое увеличивалось вслед за мощностью железа и требовательностью в производительности от пользователей сервисов?
Сегодня Kubernetes называют новой операционной системой. Я вижу в этом аккуратную метафору к пользовательскому опыту. Десять лет назад, чтобы собрать и запустить проект, нужно было основательно подготовиться. Пять лет назад – немного постараться. Сегодня же можно зайти на CNCF Tech Radar и собрать Cloud Native экосистему, компоненты которой будут так или иначе поддерживать друг друга. Бери, что нужно, собирай, как нужно, подключай куда нужно.
Как же операционная система под названием Kubernetes повлияла на индустрию и HighLoad++?
Я полюбопытствовал и изучил программы за прошлые годы:
HighLoad++ 2014 – как скрестить Docker & Puppet?
HighLoad++ 2015 – уже два доклада с фокусом на Docker и высокопроизводительные системы, опыт разработки.
HighLoad++ 2016 – пять докладов. Становится больше продакшена, больше миграций, нить мысли – «как мы это пережили и сделали эффективнее»
HighLoad++ 2017 – Docker как тема уходит с радаров, переходя на плато продуктивности, вместо него – продакшен на Kubernetes.
... прыжок во времени ...
Saint HighLoad++ 2022 – мультитенантный Kubernetes (запись доклада, посмотрите)
Saint HighLoad++ 2023 – перенос легаси-приложений в Kubernetes (и здесь запись доклада)
Kubernetes значительно повлиял на то, как в индустрии решают задачи и породил собственные тренды. Мы на HighLoad++ любим тренды и будем много говорить о них в Санкт-Петербурге:
1. Open Source: Kubernetes был внутренним проектом Google, который они разработали и решили выложить в Open Source. Осмелюсь сделать вывод, что Kubernetes вместе с Tensorflow стали одним из мощнейших стимулов развития Open Source, открыв путь к новым бизнес-моделям, а вместе с этим – новым проблемам. Об этом в подробностях в докладе от Николая Никитина (ИТМО) «Как обеспечить воспроизводимость научных исследований в AI/ML с помощью Open Source?»
2. Оркестрация контейнеров: Kubernetes стал стандартом для управления контейнеризированными приложениями. В 2014 на HighLoad++ рассказывали о том, как скрестить Docker с Puppet, в 2024 Максим Чудновский из СберТех с солидным докладом «Как мигрировать тысячи сервисов между любыми дистрибутивами Kubernetes без единой правки чего-либо».
3. Эволюция экосистемы и платформы: За 10 лет экосистема Kubernetes значительно выросла. Стало доступно множество инструментов для мониторинга, управления конфигурациями, автоматизации CI/CD и обеспечения безопасности. Компании разрабатывают на основе или с помощью Kubernetes платформы. Kubernetes дал стимул этой теме и говорят, что 70% платформ будет Cloud Native. И платформы вышли за пределы темы Kubernetes — и об этом нам расскажет Данил Валгушев из Яндекса «Как платформа A/B-тестов Яндекса превратилась в решение для всего Интернета — Varioqub».
4. Облачные сервисы и Kubernetes: Практически все крупные облачные провайдеры предлагают управляемые сервисы Kubernetes (Kubernetes as a Service), делая его ещё более доступным и привлекательным для разработчиков. Но, если Kubernetes изначально cloud native, что делать, если хочется сделать managed сервис из того, что не было разработано или адаптировано для облака? Об этом Дмитрий Некрылов из Яндекс360, как они Jitsi под большие нагрузки в облаке готовили.
5. Эксперименты: Куда без экспериментов! В самом начале пути Kubernetes и базы данных никто не ставил в одном предложении, сегодня обсуждают паттерны эффективности. ML? Пожалуйста. Возможно, и квантовые вычисления подоспеют. В облаке же уже есть симуляторы, например, от Cloud. ru.
Приходите праздновать день рождения Kubernetes в Санкт-Петербурге 😎
🎉7👍5🔥3
Друзья, знакомьтесь с докладами из секции «BigData и машинное обучение», в которых спикеры поделятся опытом и расскажут:
- как распределенная команда дата-сайентистов, дата-инженеров и автоматизаторов за несколько лет изменила подход к системе Collection, повернув ее вектор в сторону заботы о клиентах и сотрудниках;
- какой путь прошли во время миграции с вендорного SAS DI на OpenSource-экосистему из Airflow + dbt.
⤵️
1) Collection. Темная сторона Data Science. Ольга Кравченко (Газпромбанк.Тех)
Взыскание банком долга может выглядеть как консервативный процесс. Но прогресс не остановить — ML и здесь. Ольга расскажет про модельный скоринг, возможно ли подобрать идеальный мэтч между оператором и клиентом, почему не ко всем должникам приезжают домой, а также о будущем этой области.
2) Реновация ETL. Как мы подменяли монолит, обслуживающий 6000+ потоков данных. Антон Стеблянко (X5 Tech)
Последние пару лет в IT для многих проходят под знаком «импортозамещение». Не остаются в стороне и ETL-процессы — важная деталь в деятельности любой организации. Из доклада Антона вы узнаете про то, как эффективно и безболезненно перевести ETL крупной организации на «новые рельсы».
До скорой встречи на Saint HighLoad++ 2024 💥
✅ Расписание конференции на сайте
- как распределенная команда дата-сайентистов, дата-инженеров и автоматизаторов за несколько лет изменила подход к системе Collection, повернув ее вектор в сторону заботы о клиентах и сотрудниках;
- какой путь прошли во время миграции с вендорного SAS DI на OpenSource-экосистему из Airflow + dbt.
⤵️
1) Collection. Темная сторона Data Science. Ольга Кравченко (Газпромбанк.Тех)
Взыскание банком долга может выглядеть как консервативный процесс. Но прогресс не остановить — ML и здесь. Ольга расскажет про модельный скоринг, возможно ли подобрать идеальный мэтч между оператором и клиентом, почему не ко всем должникам приезжают домой, а также о будущем этой области.
2) Реновация ETL. Как мы подменяли монолит, обслуживающий 6000+ потоков данных. Антон Стеблянко (X5 Tech)
Последние пару лет в IT для многих проходят под знаком «импортозамещение». Не остаются в стороне и ETL-процессы — важная деталь в деятельности любой организации. Из доклада Антона вы узнаете про то, как эффективно и безболезненно перевести ETL крупной организации на «новые рельсы».
До скорой встречи на Saint HighLoad++ 2024 💥
Please open Telegram to view this post
VIEW IN TELEGRAM
Чаще всего мы (программисты) заняты решением проблем и выпутыванием себя из приключений. Мы постоянно сталкиваемся с тем, что наши средства ведут себя не так, как мы рассчитываем, и с тем, что техническое задание не содержит в себе нужных деталей.
Доклады секции «Проблемы и приключения» из программы Golang Conf 2024 для тех, кто хочет вместе со спикером всплакнуть над нашей нелегкой судьбой.
1) Fullstack v2: я научу вас писать UI на Go. Илья Глухов (Независимый эксперт)
Как на Go написать UI приложения? gopherjs, полузаброшенный gomobile, обертки над Qt/GTK и прочими ncurses. А чтобы общий код для браузеров, мобилок и десктопа? В докладе будет разобран рабочий пример кросс-платформенного UI на Go.
2) Как сделать тесты надежными: property-based-тестирование и fuzzing на практике. Николай Климов (VK, ВКонтакте)
Property-based-тестирование существует уже более 20 лет, но используется довольно редко. А зря, ведь этот подход может избавить от необходимости придумывать кучу тест-кейсов для юнит-тестов. Николай расскажет, чем этот подход отличается от фаззинга и как его применить в вашем проекте.
3) Как Temporal помогает не потерять вашу пиццу. Антон Цитульский (Uzum Tezkor)
Писали когда-нибудь стейт-машину на Go? Пытались делать ее отказоустойчивой? Зря, все уже написано до нас: можно взять Temporal. Слушаем доклад о том, как его применять!
Встречаемся на Saint HighLoad++ 2024, в рамках которой пройдёт Golang Conf 2024 🖐️
✅ Расписание конференции на сайте
Доклады секции «Проблемы и приключения» из программы Golang Conf 2024 для тех, кто хочет вместе со спикером всплакнуть над нашей нелегкой судьбой.
1) Fullstack v2: я научу вас писать UI на Go. Илья Глухов (Независимый эксперт)
Как на Go написать UI приложения? gopherjs, полузаброшенный gomobile, обертки над Qt/GTK и прочими ncurses. А чтобы общий код для браузеров, мобилок и десктопа? В докладе будет разобран рабочий пример кросс-платформенного UI на Go.
2) Как сделать тесты надежными: property-based-тестирование и fuzzing на практике. Николай Климов (VK, ВКонтакте)
Property-based-тестирование существует уже более 20 лет, но используется довольно редко. А зря, ведь этот подход может избавить от необходимости придумывать кучу тест-кейсов для юнит-тестов. Николай расскажет, чем этот подход отличается от фаззинга и как его применить в вашем проекте.
3) Как Temporal помогает не потерять вашу пиццу. Антон Цитульский (Uzum Tezkor)
Писали когда-нибудь стейт-машину на Go? Пытались делать ее отказоустойчивой? Зря, все уже написано до нас: можно взять Temporal. Слушаем доклад о том, как его применять!
Встречаемся на Saint HighLoad++ 2024, в рамках которой пройдёт Golang Conf 2024 🖐️
Please open Telegram to view this post
VIEW IN TELEGRAM
Два ифа и четыре помолимся богу
315 подкаст The Art of Programming – заключительный выпуск трилогии подкастов от членов ПК HighLoad++. В этот раз Антон Черноусов вместе с Евгением Россинским, CTO ИВИ, погрузились в дивный мир продакшена видеоконтента для диванчиков.
В процессе не забыли про доклады на Saint HighLoad++ 2024, а именно:
🟣 Бурно обсудили грязные хаки нейронных сетей, которыми насладимся в докладе Евгения Кокуйкина — «Атаки на AI-чат-боты и методы защиты»;
🟣 Вспомнили доклад Максима Лапшина про то, как реально что-то сделать на дрянном или не совсем дрянном железе — «Нейросети на китайских камерах: дешево и задорно»;
🟣 Подсветили необходимость и сложность работы с метриками на конечных устройствах и доклад Алексея Шпагина — «Измеряем качество видео и звука в видеозвонках на реальных девайсах»
Подписаться в iTunes
Слушать ВКонтакте
Слушать на Яндекс Музыке
315 подкаст The Art of Programming – заключительный выпуск трилогии подкастов от членов ПК HighLoad++. В этот раз Антон Черноусов вместе с Евгением Россинским, CTO ИВИ, погрузились в дивный мир продакшена видеоконтента для диванчиков.
В процессе не забыли про доклады на Saint HighLoad++ 2024, а именно:
Подписаться в iTunes
Слушать ВКонтакте
Слушать на Яндекс Музыке
Please open Telegram to view this post
VIEW IN TELEGRAM
Yandex Music
The Art of Programming
Podcast about program development and management • Podcast • 3,290 subscribers
Про IT в промышленности много стереотипов. Что там всё устарело, медленно, забюрократизировано и все ходят в чёрных костюмах с галстуками. А что там происходит на самом деле, расскажет директор по развитию ИТ в ЕВРАЗе Максим Феопентов.
⠀
Много интересных кейсов связано с применением ИИ. Например, интеллектуальная видеоаналитика для оценки процента шлака в ковше и качества заготовки. С помощью ИИ удалось достичь точности 99,98% и низкого показателя ложных срабатываний. Нейросеть пропускает брак лишь в 0,02% случаев. Конечно, благодаря этому выросло качество продукта и появился объективный инструмент анализа. Система помогает человеку обнаружить отклонения.
⠀
Подробности в нашей свежей статье: https://habr.com/ru/companies/oleg-bunin/articles/822841/
⠀
Много интересных кейсов связано с применением ИИ. Например, интеллектуальная видеоаналитика для оценки процента шлака в ковше и качества заготовки. С помощью ИИ удалось достичь точности 99,98% и низкого показателя ложных срабатываний. Нейросеть пропускает брак лишь в 0,02% случаев. Конечно, благодаря этому выросло качество продукта и появился объективный инструмент анализа. Система помогает человеку обнаружить отклонения.
⠀
Подробности в нашей свежей статье: https://habr.com/ru/companies/oleg-bunin/articles/822841/
Хабр
Интересные задачи, возможность найти себя и погружение в технологические процессы
Максим Феопентов Максим Феопентов — член программного комитета новой конференции «Онтико» для айтишников в промышленности Industrial++ . Он рассказал, что происходит в индустрии и зачем нужны...
👍1