У каждого эксперимента есть свой сегмент пользователей, определяющий, кто должен получить тестовый опыт.

У сервиса должно быть под сотню экспериментов, а значит под сотню сегментов. Но надо быть готовым на кратное увеличение сегментов. Значит, сервис без учёта сети и прочих инфраструктурных задержек должен отвечать быстрее.

Команда разработки экспериментов Okko про сплитование трафика, о небольших по сложности, но больших оптимизациях в коде, которые они сделали, чтобы разогнать платформу до скорости ракеты: https://habr.com/ru/companies/oleg-bunin/articles/828986/

Если в топе pprof вы видите GC — у вас серьезные проблемы и не особенно много средств для их решения. С выходом Go 1.20 арсенал слегка расширился: memory arenas выглядят многообещающе.

Тимлид в Т-Банке Максим Горозий расскажет о том, как ускорить ваш код на Go с помощью арен, зачем нужен «region-based memory management» и как оптимизировать код: https://habr.com/ru/companies/oleg-bunin/articles/828972/

Алексей Шокуров управляет направлением Data Governance и Data Quality в цифровом СИБУРе, а начинал, как и многие, с админства в институте. По образованию он инженер разгонных блоков и космических аппаратов, и погружение в производство началось еще в институте. Его учили разрабатывать ракеты и спутники.

А дальше оказалось, что в России это крайне малооплачиваемая отрасль. В итоге хобби стало работой, но знания, полученные в ходе обучения, здорово помогают в текущих задачах.

Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/829168/

Популярные распределенные SQL-движки, такие как Trino, Presto и Dremio, умеют выполнять SQL-запросы непосредственно к файлам в data lake. Это позволяет компаниям более гибко и эффективно анализировать свои данные за счёт уменьшения потребности в ETL и снижения нагрузки на корпоративное хранилище.

О том, как реализованы различные оптимизации SQL-движков для эффективной работы с data lake, расскажет руководитель компании Querify Labs Владимир Озеров: https://habr.com/ru/companies/oleg-bunin/articles/828836/

Всем привет!

Мы уже вовсю готовимся к HighLoad++ 2024, которая пройдёт 28 и 29 ноября в Москве 😎. И пока принимаем заявки на доклады и формируем программу, принесли вам свежую подборку записей докладов. Это доклады с зимней HighLoad++ 2023, которые набрали наибольшее количество голосов от участников конференции по содержанию и подаче. Посмотрите сами, поделитесь с коллегами 🖐️

1) Как мы управляем трафиком тысяч подов в мультикластерной среде Kubernetes. Максим Чудновский (СберТех)

Если у вас в компании больше, чем один Kubernetes-кластер и у вас есть необходимость, чтобы приложения в них общались между собой, то вы явно уже пришли к мультикластерной среде Kubernetes и проблемам, связанным с этим. Данный доклад покажет, как можно это строить и с чем придётся столкнуться.

2) Hadoop в Облаке: история миграции сотен петабайт. Михаил Марюфич (VK, Одноклассники)

Доклад про перенос большого Hadoop-кластера с bare metal в самописную оркестрацию One-cloud, разделение вычислений и хранения для улучшения эксплуатационных характеристик системы. Вы узнаете, как поддерживать такую огромную инсталляцию и как обеспечивать высокую производительность кластера.

3) zkSNARKs — криптографические пруфы для задач масштабирования и безопасности. Сергей Прилуцкий (MixBytes)

Одна из важнейших в криптографии сегодня технология zkSNARKs, на базе которой уже работают сервисы, обеспечивающие масштабируемость и privacy в децентрализованных сетях. Что под капотом, что можно на ней делать, как уже используется и какие проблемы являются ключевыми — об этом в докладе Сергея.

4) Как наши системы приобретают устойчивость, почему ошибки полезны. Сергей Реусин (СберМаркет)

Из доклада вы узнаете о том, как правильно работать с ошибками, но не просто услышите какие-то советы, а погрузитесь в тему анализа, работы с инцидентами и получения от них максимальной пользы на будущее. Полезно как начинающим, так и «бывалым» специалистам.

5) Как собрать контейнер и не вооружить хакера. Антон Жаболенко, Алексей Федулаев (Wildberries)

Доклад посвящен Living off the Land-атакам, которые представляют угрозу для контейнерных инфраструктур. Эти атаки используют легитимные утилиты для вредоносных действий, избегая обнаружения стандартными средствами детектирования. В докладе практические примеры таких атак и способы защиты от них.

Оставайтесь с нами, впереди ещё больше полезного и интересного контента 😉

#записьдокладаHL
@HighLoadChannel

Продолжаем цикл статей об оптимизации и улучшениях Python-кода платформы экспериментов в компании Okko.

В этот раз речь пойдёт об архитектурной организации работы сервиса, которая позволила минимизировать неявные действия. В детали нас погрузит Python-разработчик платформы экспериментов в Okko Артем Борисов.

Подробности в статье: https://habr.com/ru/companies/okko/articles/833424/

Принесли свежий выпуск подкаста от Антона Черноусова, члена Программного комитета HighLoad++

В этом выпуске обсудили CFP на HighLoad++ 2024. Затронули тему архитектуры и паттернов в этой сфере. Вспомнили ряд топовых докладов с Saint HighLoad++ 2024.

А еще не забыли упомянуть как Wiz сбежал от Google. Оттоптались на теме голубых экранов и компании CrowdStrike.  И вспомнили исследование State of DevOps 2024.

🎧 Слушать подкаст на Яндекс.Музыке

Инженерия устойчивости — достаточно новое направление, которое исследует, как сложные адаптивные системы справляются с неожиданностью. Особенно интересно узнать об этом направлении в области безопасности с точки зрения практики.

SRE Unit Lead Сергей Реусин расскажет про сообщество и экспертов, разберет основные принципы и подходы и поделится примерами внедрения в Купере.

Подробности в статье: https://habr.com/ru/companies/kuper/articles/831402/

Если вы хотите сделать публичное выступление на конференции, но все никак не решаетесь или не знаете как. Для всех небольшой, но ёмкий туториал о том, как придумать, приготовить и решиться на публичное выступление ⤵️

Опытный спикер IT-конференций Олег Федоткин поделится лайфхаками: https://habr.com/ru/companies/oleg-bunin/articles/835048/

Обучение огромной core-модели, построенной на архитектуре Transformer, может занимать очень много времени. Inference потребует большого количества памяти компьютера, поэтому перед разработчиками машинного обучения, особенно перед теми, кто оптимизирует работу моделей в продакшене, встаёт проблема оптимизации и ускорения.

ML Lead продукта в SberDevices Александр Абрамов расскажет, как при таких вводных обучать core-модели и какие хаки использовать для их облегчения и ускорения. Речь пойдёт о ML с позиции пайплайнов и продакшена виртуального ассистента Салют.

Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/834728/

Кунг-фу

Свежий выпуск подкаста от Антона Черноусова, члена ПК HighLoad++. Здесь вас ждут Java-новости, тема алгоритмов и собеседований.

А в конце выпуска обсудили CFP на HighLoad++ 2024 и не немного шутили на тему словесных трюков и других приемов речевой борьбы.

Напоминаем, что срок подачи докладов на зимнюю HighLoad++ 2024 истекает 15 августа. Если вы планируете стать спикером, но ещё не отправили заявку на доклад, пора поторопиться 😎


🎧 Слушать подкаст на Яндекс.Музыке