Forwarded from Максим Цепков (Maxim Tsepkov)
#Highload Олег Коровин. GraphQL: зачем на самом деле он нужен. Apollo Federation — дар бога. По этому докладу у меня возникла ассоциация с историей. Когда-то давно были базы данных без SQL, только работа с таблицами, и все join надо было вручную писать в коде. Z это еще застал. Потом пришел SQL и проблема была решена. Сейчас это повторяется: микросервисная аргиюетура разложила объекты о сервисами, для каждого есть свой набор API. GrapgQL позволяет объединять данные из разных узлов в единую схему и делать общие запросы. При этом тогда разработчики относились к появившемуся SQL настороженно: это же накладные расходы, сложно и непривычно. Так и сейчас к GraphQL относятся настороженно как к хипстерской поделке, которая не нужна "настоящим программистам" - OpenAPI достаточно. Докладчик показывал, как GraphQL решает проблемы, сокращает объем кода, делает его более компактным. А также - как решаются проблемы контроля доступа, единой точки отказа и безопасности. Решение GraphQL - легкое и масштабируемое, федерации - stateless, и можно поднимать разные федерации для разных клиентов, подключая только необходимые им сервисные данные. И страивать параллельный доступ для миграции, поднимая федерацию для доступа, но запуская через нее только новые запросы. Тут ситуация выгодно отличается от того, что было с миграцией на SQL-базы данных - там это можно было сделать только целиком. На мой взгляд, получился очень удачный доклад.
🖐 Программа докладов, которые стартуют в 13:50
⠀
🏰 «00 Зал - Башня». Геораспределенные системы. Евгений Кузовлев (Т-Банк)
Самое сложное в больших проектах — сделать нормально работающий геораспределенный сторадж. В докладе автор поделится своим практическим опытом построения геораспределененных систем, а также расскажет всю необходимую теорию (CAP/PACELC) для тех, кто ещё не сталкивался с распределенными системами.
⠀
🔘 Зал «08 Шатер Голубой». Как ускорить программу, не переписав ни строчки: PGO для Go-разработчиков. Кирилл Кузин (Vi.Tech)
Написание быстрого кода — это одна из самых сложных задач при создании высоконагруженного приложения. Кирилл покажет другой путь: используя автоматический анализ работы вашего приложения, Go может сам принять лучшие решения об оптимизации кода. И расскажет, как именно компилятор это делает.
⠀
🔹 «03 Зал Синий». Ищем кратчайший путь в Интернете. Алексей Учакин (EdgeЦентр)
На докладе Алексея попробуем разобраться: из чего складывается задержка и почему это важно; что влияет на путь трафика от клиента до приложения и обратно; при чём тут облака, DDoS-защита и CDN; что можно сделать, чтобы задержка стала меньше.
⠀
🟣 «04 Зал Красный». Мир будущего: управление устройствами с помощью жестов. Александр Нагаев (SberDevices)
Доклад Александра интересен тем, что обращается к корням. Из него вы узнаете, как в современнейшей задаче распознавания динамических жестов можно применить нейросеть, разработанную ещё в XX веке!
⠀
🟢 «06 Зал Зеленый». Как работать с поставщиками на примере поиска доступных отелей. Иван Чернов (Островок!)
Доклад о методах построения архитектуры поиска не только в отельной индустрии, но и в других сферах, где сервис тесно взаимодействует с внешними сервисами. От кэширования до сложных алгоритмов балансировки запросов. Ценное знание для разработчиков, работающих с высокими нагрузками и ограничениями.
⠀
🔵 Зал «09 Шатер Фиолетовый». Как с помощью AI в тысячах видео найти нужный кадр. Александр Соколов (ГПМ Дата)
Доклад затрагивает сложную тему комплексного анализа видео и последующего извлечения нужных сущностей. Для решения задачи в короткий срок используется множество нейронных сетей. Как их подружить, прогнать сотни тысяч видео и научиться извлекать полезное — узнаем из доклада Александра!
🔸 Зал «07 Шатер Оранжевый». ClickHouse не тормозит в Self-Service BI: как мы достигли этого в Visiology. Никита Ильин (Visiology)
Хайлоад — это не всегда миллионы запросов. Порой аналитик и один запрос может написать такой, что его обработка сожрёт все ресурсы. А если систему нужно сделать такой, чтобы эти запросы могли писать даже непрофессиональные аналитики, а обычные сотрудники? Об этом — в докладе Никиты.
⠀
🏰 «00 Зал - Башня». Геораспределенные системы. Евгений Кузовлев (Т-Банк)
Самое сложное в больших проектах — сделать нормально работающий геораспределенный сторадж. В докладе автор поделится своим практическим опытом построения геораспределененных систем, а также расскажет всю необходимую теорию (CAP/PACELC) для тех, кто ещё не сталкивался с распределенными системами.
⠀
🔘 Зал «08 Шатер Голубой». Как ускорить программу, не переписав ни строчки: PGO для Go-разработчиков. Кирилл Кузин (Vi.Tech)
Написание быстрого кода — это одна из самых сложных задач при создании высоконагруженного приложения. Кирилл покажет другой путь: используя автоматический анализ работы вашего приложения, Go может сам принять лучшие решения об оптимизации кода. И расскажет, как именно компилятор это делает.
⠀
🔹 «03 Зал Синий». Ищем кратчайший путь в Интернете. Алексей Учакин (EdgeЦентр)
На докладе Алексея попробуем разобраться: из чего складывается задержка и почему это важно; что влияет на путь трафика от клиента до приложения и обратно; при чём тут облака, DDoS-защита и CDN; что можно сделать, чтобы задержка стала меньше.
⠀
🟣 «04 Зал Красный». Мир будущего: управление устройствами с помощью жестов. Александр Нагаев (SberDevices)
Доклад Александра интересен тем, что обращается к корням. Из него вы узнаете, как в современнейшей задаче распознавания динамических жестов можно применить нейросеть, разработанную ещё в XX веке!
⠀
🟢 «06 Зал Зеленый». Как работать с поставщиками на примере поиска доступных отелей. Иван Чернов (Островок!)
Доклад о методах построения архитектуры поиска не только в отельной индустрии, но и в других сферах, где сервис тесно взаимодействует с внешними сервисами. От кэширования до сложных алгоритмов балансировки запросов. Ценное знание для разработчиков, работающих с высокими нагрузками и ограничениями.
⠀
🔵 Зал «09 Шатер Фиолетовый». Как с помощью AI в тысячах видео найти нужный кадр. Александр Соколов (ГПМ Дата)
Доклад затрагивает сложную тему комплексного анализа видео и последующего извлечения нужных сущностей. Для решения задачи в короткий срок используется множество нейронных сетей. Как их подружить, прогнать сотни тысяч видео и научиться извлекать полезное — узнаем из доклада Александра!
🔸 Зал «07 Шатер Оранжевый». ClickHouse не тормозит в Self-Service BI: как мы достигли этого в Visiology. Никита Ильин (Visiology)
Хайлоад — это не всегда миллионы запросов. Порой аналитик и один запрос может написать такой, что его обработка сожрёт все ресурсы. А если систему нужно сделать такой, чтобы эти запросы могли писать даже непрофессиональные аналитики, а обычные сотрудники? Об этом — в докладе Никиты.
Forwarded from Максим Цепков (Maxim Tsepkov)
#Highload Роман Щербаков из Тинькофф. Пайплайны записи своими руками: думали — велосипед, оказалось — паттерны. Рассказ об организации высокой доступности для инфраструктурных потоков: логов, метрик, трейсов. 450 Мб/сек. Целевые хранилища там разные, а архитектура - общая. В докладе - много архитектурных схем, это надо смотреть презентацию. А тут мое краткое резюме принципов.
* Данные пишутся в том же дата-центре, в котором создаются, то есть в каждом - свой набор pipeline, и там же они остывают. А поиск - по всем датацентрам.
* Надо вести мониторинг обращений клиентов и уметь отделять тех, у кого особая нагрузка в отдельный pipeline, с которым отдельно разбираться.
* Worker записи от клиента пишет в Kafka, из которой читает Worker записи в хранилище. И worker записи работает в том темпе, в котором комфортно для БД. Kafka буферизует колебания нагрузки записи. А worker записи делает пакетную запись.
* Отказ операции - нормально. Особые случаи откидываем в отдельную retry-очередь, а если retry не проходит - в очередь ошибок, с которой разбираются вручную. Retry однократный, он на случай, если что-то моргнуло, а если что-то упало - то retry вреден. И такая схема обеспечивает оперативное поступление данных, с которыми все хорошо.
* Если база или узел деградировал - его надо отрубить, для этого фиксировать, что пошли массовые ошибки, для этого Circuit breaking pattern. Аналогично работает bulkhead pattern - ограничение на конкурентные обращения. Это бережет БД.
* Таймауты надо настраивать. Есть бюджет обработки от кафки - таймаут опроса очереди, при превышении которого она считает, что consumer отвалился, и в него надо укладываться, включая все таймауты. И для основного потока там жесткие настройки, а для retry и ошибок - свои.
* Для метрик основной поток пущен напрямую, без kafka, так как на стороне клиента обычно prometheus и у него есть свои буфера. И это экономит. Но при деградации - включается полная схема.
* Данные пишутся в том же дата-центре, в котором создаются, то есть в каждом - свой набор pipeline, и там же они остывают. А поиск - по всем датацентрам.
* Надо вести мониторинг обращений клиентов и уметь отделять тех, у кого особая нагрузка в отдельный pipeline, с которым отдельно разбираться.
* Worker записи от клиента пишет в Kafka, из которой читает Worker записи в хранилище. И worker записи работает в том темпе, в котором комфортно для БД. Kafka буферизует колебания нагрузки записи. А worker записи делает пакетную запись.
* Отказ операции - нормально. Особые случаи откидываем в отдельную retry-очередь, а если retry не проходит - в очередь ошибок, с которой разбираются вручную. Retry однократный, он на случай, если что-то моргнуло, а если что-то упало - то retry вреден. И такая схема обеспечивает оперативное поступление данных, с которыми все хорошо.
* Если база или узел деградировал - его надо отрубить, для этого фиксировать, что пошли массовые ошибки, для этого Circuit breaking pattern. Аналогично работает bulkhead pattern - ограничение на конкурентные обращения. Это бережет БД.
* Таймауты надо настраивать. Есть бюджет обработки от кафки - таймаут опроса очереди, при превышении которого она считает, что consumer отвалился, и в него надо укладываться, включая все таймауты. И для основного потока там жесткие настройки, а для retry и ошибок - свои.
* Для метрик основной поток пущен напрямую, без kafka, так как на стороне клиента обычно prometheus и у него есть свои буфера. И это экономит. Но при деградации - включается полная схема.
👍2❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Хотите взглянуть на привычное по-новому? Разгадать загадку: почему в оформлении конференций читаются супрематические мотивы?
Малевич считал, что супрематизм освобождает краску от служения другим целям и переходит к чистому творчеству. Этим супрематическая художественная школа близка разработке.
Разработчики ежедневно совершают акт творения, даже если не задумываются об этом. В чем же секрет? Почему супрематизм возник именно в России? Почему через 20 лет после возникновения, его запретили? Что хотел сказать Казимир Малевич своим Чёрным квадратом? Почему его произведение до сих пор одно из самых обсуждаемых в мировом искусстве?
И почему мы говорим об этом на хардкорной конференции?
😎 Приходите и узнаете. В 17:50 в зале Башня!
Please open Telegram to view this post
VIEW IN TELEGRAM
🖐 Друзья, в 15:10 приходите на следующие доклады:
⠀
🏰 «00 Зал - Башня». Как регулярно терять один ДЦ и не волноваться? Михаил Кабищев (Ozon)
Спикер расскажет историю о том, как они в Ozon превратили крайне неприятную ситуацию падения ДЦ в абсолютно спокойный и предсказуемый для них процесс.
⠀
🔘 Зал «08 Шатер Голубой». Go в умном доме: опыт успешной интеграции. Алексей Хить (@AlexxIT)
Узнайте, как расширить возможности Xiaomi Gateway 3 для Home Assistant с помощью Go. Доклад представит уникальный подход к интеграции, сохраняющий оригинальную прошивку устройства и добавляющий новые функции. Погрузитесь в мир open source и разработки embedded ПО.
⠀
🔹 «03 Зал Синий». Автоматизация сетевой инфраструктуры ЦОД. Анна Кошк (Ростелеком-ЦОД)
Увлекательное путешествие в топологию одного из старейших ЦОДов и всю ту программную автоматику, которая используется для конфигурирования «железа» и построения сетевой карты.
⠀
🟣 «04 Зал Красный». Как мы держим миллион RPS в рекламе, троттлим трафик и не теряем при этом деньги. Михаил Кириченко (VK, VK Реклама)
Вся (!) реклама всех (!!) сервисов VK обрабатывается системой, о которой пойдёт речь в докладе. Вот уж хайлоад так хайлоад — ни отнять, ни прибавить.
⠀
🟢 «06 Зал Зеленый». Быстрый поиск на Redisearch в ленте операций для миллионов пользователей. Илья Сиванев (Т-Банк)
Что приходит на ум первым, когда упоминают полнотекстовый поиск? ElasticSearch и Sphinx. Но как быть, когда они не могут решить ваших задач? Опыт Т-Банка в использовании поиска на базе Redis.
⠀
🔵 Зал «09 Шатер Фиолетовый». Особенности и вызовы реализации технологии создания готовых музыкальных произведений с применением ИИ. Максим Метальников, Максим Смоляков (SberDevices)
Генеративный AI достиг больших успехов в создании текстов и изображений, а вот с аудио дела обстоят не так радужно. Доклад затронет методы генерации музыки и то, как нейросети учатся выполнять работу композиторов, аранжировщиков и вокалистов.
🔸 Зал «07 Шатер Оранжевый». Переосмысление Picodata как cluster-first-СУБД. Ярослав Дынников (Picodata)
Ярослав много лет разрабатывал Tarantool, а теперь использует его в создании базы данных Picodata. Он расскажет, зачем бизнесу сейчас нужны распределенные OLTP-решения, как разные продукты реализуют «распределенность» и какими принципами руководствовалась компания, собирая свое решение в 2024 году.
⠀
🏰 «00 Зал - Башня». Как регулярно терять один ДЦ и не волноваться? Михаил Кабищев (Ozon)
Спикер расскажет историю о том, как они в Ozon превратили крайне неприятную ситуацию падения ДЦ в абсолютно спокойный и предсказуемый для них процесс.
⠀
🔘 Зал «08 Шатер Голубой». Go в умном доме: опыт успешной интеграции. Алексей Хить (@AlexxIT)
Узнайте, как расширить возможности Xiaomi Gateway 3 для Home Assistant с помощью Go. Доклад представит уникальный подход к интеграции, сохраняющий оригинальную прошивку устройства и добавляющий новые функции. Погрузитесь в мир open source и разработки embedded ПО.
⠀
🔹 «03 Зал Синий». Автоматизация сетевой инфраструктуры ЦОД. Анна Кошк (Ростелеком-ЦОД)
Увлекательное путешествие в топологию одного из старейших ЦОДов и всю ту программную автоматику, которая используется для конфигурирования «железа» и построения сетевой карты.
⠀
🟣 «04 Зал Красный». Как мы держим миллион RPS в рекламе, троттлим трафик и не теряем при этом деньги. Михаил Кириченко (VK, VK Реклама)
Вся (!) реклама всех (!!) сервисов VK обрабатывается системой, о которой пойдёт речь в докладе. Вот уж хайлоад так хайлоад — ни отнять, ни прибавить.
⠀
🟢 «06 Зал Зеленый». Быстрый поиск на Redisearch в ленте операций для миллионов пользователей. Илья Сиванев (Т-Банк)
Что приходит на ум первым, когда упоминают полнотекстовый поиск? ElasticSearch и Sphinx. Но как быть, когда они не могут решить ваших задач? Опыт Т-Банка в использовании поиска на базе Redis.
⠀
🔵 Зал «09 Шатер Фиолетовый». Особенности и вызовы реализации технологии создания готовых музыкальных произведений с применением ИИ. Максим Метальников, Максим Смоляков (SberDevices)
Генеративный AI достиг больших успехов в создании текстов и изображений, а вот с аудио дела обстоят не так радужно. Доклад затронет методы генерации музыки и то, как нейросети учатся выполнять работу композиторов, аранжировщиков и вокалистов.
🔸 Зал «07 Шатер Оранжевый». Переосмысление Picodata как cluster-first-СУБД. Ярослав Дынников (Picodata)
Ярослав много лет разрабатывал Tarantool, а теперь использует его в создании базы данных Picodata. Он расскажет, зачем бизнесу сейчас нужны распределенные OLTP-решения, как разные продукты реализуют «распределенность» и какими принципами руководствовалась компания, собирая свое решение в 2024 году.
This media is not supported in your browser
VIEW IN TELEGRAM
Хотите взглянуть на привычное по-новому? Разгадать загадку: почему в оформлении конференций читаются супрематические мотивы?
Малевич считал, что супрематизм освобождает краску от служения другим целям и переходит к чистому творчеству. Этим супрематическая художественная школа близка разработке.
Разработчики ежедневно совершают акт творения, даже если не задумываются об этом. В чем же секрет? Почему супрематизм возник именно в России? Почему через 20 лет после возникновения, его запретили? Что хотел сказать Казимир Малевич своим Чёрным квадратом? Почему его произведение до сих пор одно из самых обсуждаемых в мировом искусстве?
И почему мы говорим об этом на хардкорной конференции?
😎 Приходите и узнаете. В 17:50 в зале Башня!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
🖐 Друзья, в 17:50 ждём вас на последних докладах первого дня Saint HighLoad++ 2024:
⠀
🏰 «00 Зал - Башня». Секретный доклад Александра Кибасова (Doctrina et Nobiles)
⠀
🔘 Зал «08 Шатер Голубой». Rock’n’roll — это не работа: пишем обработку звука на Go. Эмиль Шарифуллин (Т-Банк)
Go годится не только для крудошлепства и перекладывания json'ов. На нем можно делать музыку! Приходите послушать доклад под аккомпанемент электрогитары и, возможно, вскоре вы и сами захотите стать Rockstar-разработчиком и запилить собственную гитарную примочку на Go.
⠀
🔹 «03 Зал Синий». Из гадкого 1G в прекрасный 5G: эволюция безопасности мобильных сетей. Максим Башканков (YADRO)
В отличие от Интернета, в телефонных сетях защита информации скрыта от пользователя очень глубоко. В результате у многих возникает иллюзия, что с безопасностью там всё очень хорошо или же, наоборот, всё очень плохо. Реальность, как всегда, где-то посередине, где именно — нам расскажет Максим.
⠀
🟣 «04 Зал Красный». Реестр российского ПО. Кому он нужен и что учесть в разработке, чтобы туда попасть? Герман Ященко, Алиса Голенищева (AG-LEGAL)
Из этого доклада можно узнать, какие бонусы и льготы дает нахождение в реестре российского ПО, как туда попасть. А главное — какие новые рынки открываются для участников РРПО.
⠀
🟢 «06 Зал Зеленый». Fail-митап. Екатерина Фирсова (Altenar), Алексей Мерсон (Т-Банк), Даниил Подольский (YADRO), Олег Мифле (Altenar), Евгений Россинский (ИВИ), Мария Церетели (Т-Банк), Максим Ванюшкин (Т-Банк), Алексей Морозов (ecom.tech)
Конференции завалены историями успеха. Но путь к успеху всегда лежит через фейлы, о которых рассказывать не принято. Но только не на нашем fail-митапе! В своих коротких, но зажигательных выступлениях спикеры поделятся настоящими историями фейлов. Без записи, без трансляции, без комплексов.
⠀
🔵 Зал «09 Шатер Фиолетовый». Перспективы квантового компьютера в обозримое время. Михаил Ремнев (Cloud.ru)
Главный вопрос с квантами — как их применять в обычных задачах и бизнесе. Из доклада вы узнаете о том, что сегодня происходит, чем уникальны кванты на фоне остальных альтернативных вычислителей и как на практике помогают этому эмуляторы квантовых вычислителей, развернутые в облаке Cloud.ru.
🔸 Зал «07 Шатер Оранжевый». Зачем в Ozon понадобилось написать свой gRPC-клиент для нагрузочного тестирования, и как мы это сделали. Павел Грибанов (Ozon)
Написать свой gRPC-клиент, ну да, ну да... а зачем это нужно? А если действительно нужно, как быть? В своем докладе Павел расскажет, как он справился с этой задачей и в процессе решил один из вопросов нагрузочного тестирования.
⠀
🏰 «00 Зал - Башня». Секретный доклад Александра Кибасова (Doctrina et Nobiles)
⠀
🔘 Зал «08 Шатер Голубой». Rock’n’roll — это не работа: пишем обработку звука на Go. Эмиль Шарифуллин (Т-Банк)
Go годится не только для крудошлепства и перекладывания json'ов. На нем можно делать музыку! Приходите послушать доклад под аккомпанемент электрогитары и, возможно, вскоре вы и сами захотите стать Rockstar-разработчиком и запилить собственную гитарную примочку на Go.
⠀
🔹 «03 Зал Синий». Из гадкого 1G в прекрасный 5G: эволюция безопасности мобильных сетей. Максим Башканков (YADRO)
В отличие от Интернета, в телефонных сетях защита информации скрыта от пользователя очень глубоко. В результате у многих возникает иллюзия, что с безопасностью там всё очень хорошо или же, наоборот, всё очень плохо. Реальность, как всегда, где-то посередине, где именно — нам расскажет Максим.
⠀
🟣 «04 Зал Красный». Реестр российского ПО. Кому он нужен и что учесть в разработке, чтобы туда попасть? Герман Ященко, Алиса Голенищева (AG-LEGAL)
Из этого доклада можно узнать, какие бонусы и льготы дает нахождение в реестре российского ПО, как туда попасть. А главное — какие новые рынки открываются для участников РРПО.
⠀
🟢 «06 Зал Зеленый». Fail-митап. Екатерина Фирсова (Altenar), Алексей Мерсон (Т-Банк), Даниил Подольский (YADRO), Олег Мифле (Altenar), Евгений Россинский (ИВИ), Мария Церетели (Т-Банк), Максим Ванюшкин (Т-Банк), Алексей Морозов (ecom.tech)
Конференции завалены историями успеха. Но путь к успеху всегда лежит через фейлы, о которых рассказывать не принято. Но только не на нашем fail-митапе! В своих коротких, но зажигательных выступлениях спикеры поделятся настоящими историями фейлов. Без записи, без трансляции, без комплексов.
⠀
🔵 Зал «09 Шатер Фиолетовый». Перспективы квантового компьютера в обозримое время. Михаил Ремнев (Cloud.ru)
Главный вопрос с квантами — как их применять в обычных задачах и бизнесе. Из доклада вы узнаете о том, что сегодня происходит, чем уникальны кванты на фоне остальных альтернативных вычислителей и как на практике помогают этому эмуляторы квантовых вычислителей, развернутые в облаке Cloud.ru.
🔸 Зал «07 Шатер Оранжевый». Зачем в Ozon понадобилось написать свой gRPC-клиент для нагрузочного тестирования, и как мы это сделали. Павел Грибанов (Ozon)
Написать свой gRPC-клиент, ну да, ну да... а зачем это нужно? А если действительно нужно, как быть? В своем докладе Павел расскажет, как он справился с этой задачей и в процессе решил один из вопросов нагрузочного тестирования.
❤1