Какой язык программирования вы предпочитаете?
Anonymous Poll
33%
Python
23%
Java
34%
Go
16%
C++
13%
PHP
9%
Rust
11%
JavaScript
😱15😁6
Низкая производительность, как это часто бывает, становится причиной переезда хранилища. А уж насколько событие станет увлекательным и оставит по себе положительные впечатления, зависит не только от выбора самого хранилища, но и от процесса в целом.
Поговорим про методики переезда с PostgreSQL на ClickHouse. Какие грабли лучше сразу обходить подальше, а какие фишки помогут сохранить нервы и сделать всё по уму, расскажет Data Engineer Okko Пётр Гонин. В качестве спойлера — среднее время аналитического запроса после переезда снизилось с 1 минуты до 2 секунд.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/836078/
Поговорим про методики переезда с PostgreSQL на ClickHouse. Какие грабли лучше сразу обходить подальше, а какие фишки помогут сохранить нервы и сделать всё по уму, расскажет Data Engineer Okko Пётр Гонин. В качестве спойлера — среднее время аналитического запроса после переезда снизилось с 1 минуты до 2 секунд.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/836078/
Хабр
Как небольшой команде переехать на ClickHouse: на какие грабли мы наступили и о каких фишках не знали
Привет, Хабр! Меня зовут Петр. Я работаю инженером по данным в Okko и обожаю ClickHouse. Примерно в середине прошлого года мы начали увлекательный процесс переезда хранилища с PostgreSQL (плюс...
❤1
Друзья, мы с радостью анонсируем и приглашаем вас на зимнюю конференцию HighLoad++ 2024, которая пройдёт 2 и 3 декабря в Москве 🙌
⠀
Не изменяя традиции, на предстоящей конференции вас ждут классные технологические доклады на самые актуальные и горячие темы индустрии, практические кейсы с решением конкретных задач. Будем обсуждать что в тренде, а что в хайпе. Узнавать какие проблемы могут возникнуть в ближайшем будущем и решения сложных инженерных проблем из разных отраслей.
И, конечно, знакомиться с единомышленниками, концентрация которых на площадке будет очень высокая. Много людей — много пользы 😉
Программа конференции на стадии формирования и уже совсем скоро мы начнём знакомить вас со спикерами.
⠀
А пока хотим сказать, что чем ближе конференция, тем дороже будут билеты. Сейчас выгодная стоимость, поэтому лучше ловить момент и забронировать билет до 31 августа. После брони у вас ещё будет несколько дней для оплаты.
Присоединяйтесь к нам на HighLoad++ 2024, это будут самые высоконагруженные два дня в году 😎
⠀
✅ Забронировать билет можно на сайте
⠀
Не изменяя традиции, на предстоящей конференции вас ждут классные технологические доклады на самые актуальные и горячие темы индустрии, практические кейсы с решением конкретных задач. Будем обсуждать что в тренде, а что в хайпе. Узнавать какие проблемы могут возникнуть в ближайшем будущем и решения сложных инженерных проблем из разных отраслей.
И, конечно, знакомиться с единомышленниками, концентрация которых на площадке будет очень высокая. Много людей — много пользы 😉
Программа конференции на стадии формирования и уже совсем скоро мы начнём знакомить вас со спикерами.
⠀
А пока хотим сказать, что чем ближе конференция, тем дороже будут билеты. Сейчас выгодная стоимость, поэтому лучше ловить момент и забронировать билет до 31 августа. После брони у вас ещё будет несколько дней для оплаты.
Присоединяйтесь к нам на HighLoad++ 2024, это будут самые высоконагруженные два дня в году 😎
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍1
Приглашаем экспертов в data science на закрытую встречу сообщества
Когда: 29 августа, онлайн, в 18:00 по Мск.
Будем обсуждать горизонты профессионального развития в DS и машинном обучении. Темы встречи:
⚡️Как развиваться внутри data science?
⚡️Какие интересные прикладные задачи стоят перед лидерами индустрии?
⚡️Перспективы для сеньора: расти вверх по карьерной лестнице или углубляться внутри своей специализации? Поговорим про вертикальное и горизонтальное развитие
⚡️Где получать практические навыки и обмениваться опытом и связями?
Участники встречи:
- Андрей Кузнецов (AIRI)
- Евгений Смирнов (АЛЬФА-БАНК)
- Роман Поборчий (self-employed)
- Дани Эль-Айясс (Self-employed)
- Владимир Ершов (Яндекс)
- Никита Зелинский (МТС)
- Александр Самойлов (Wildberries)
- Иван Бондаренко (Новосибирский государственный университет)
Встреча пройдет в формате открытой дискуссии, где каждый желающий сможет задать интересующие его вопросы. Участие бесплатное.
✅ Регистрируйтесь на встречу и зовите коллег!
Когда: 29 августа, онлайн, в 18:00 по Мск.
Будем обсуждать горизонты профессионального развития в DS и машинном обучении. Темы встречи:
⚡️Как развиваться внутри data science?
⚡️Какие интересные прикладные задачи стоят перед лидерами индустрии?
⚡️Перспективы для сеньора: расти вверх по карьерной лестнице или углубляться внутри своей специализации? Поговорим про вертикальное и горизонтальное развитие
⚡️Где получать практические навыки и обмениваться опытом и связями?
Участники встречи:
- Андрей Кузнецов (AIRI)
- Евгений Смирнов (АЛЬФА-БАНК)
- Роман Поборчий (self-employed)
- Дани Эль-Айясс (Self-employed)
- Владимир Ершов (Яндекс)
- Никита Зелинский (МТС)
- Александр Самойлов (Wildberries)
- Иван Бондаренко (Новосибирский государственный университет)
Встреча пройдет в формате открытой дискуссии, где каждый желающий сможет задать интересующие его вопросы. Участие бесплатное.
Please open Telegram to view this post
VIEW IN TELEGRAM
Напоминаем, что у нас открыт приём докладов на PHP Russia 2024, которая пройдёт 2 и 3 декабря в рамках HighLoad++ 2024 в Москве 🖐️
⠀
▪️Заявки принимаются до 2 сентября
Как и в прошлые годы, PHP Russia остаётся, прежде всего, конференцией про PHP. Про новые инструменты, сам PHP, лучшие практики, безопасность и, конечно же, кейсы. Но в этот раз мы хотим затронуть более широкие темы, такие как инфраструктура, хранение данных и другие.
Бонусы для всех наших спикеров:
- Бесплатный билет на конференцию;
- Покрытие расходов на логистику (поезд, самолет или автобус);
- Проживание в комфортабельном отеле рядом с местом проведения конференции;
- Помощь в подготовке к выступлению.
⠀
✅ Узнать подробнее о темах и подать доклад можно на сайте
⠀
▪️Заявки принимаются до 2 сентября
Как и в прошлые годы, PHP Russia остаётся, прежде всего, конференцией про PHP. Про новые инструменты, сам PHP, лучшие практики, безопасность и, конечно же, кейсы. Но в этот раз мы хотим затронуть более широкие темы, такие как инфраструктура, хранение данных и другие.
Бонусы для всех наших спикеров:
- Бесплатный билет на конференцию;
- Покрытие расходов на логистику (поезд, самолет или автобус);
- Проживание в комфортабельном отеле рядом с местом проведения конференции;
- Помощь в подготовке к выступлению.
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡3👍1🔥1
Как достичь максимальной точности обработки данных, полученных с краудсорсинговых платформ?
Сегодня мы расскажем о фреймворке агрегации разметки данных, который использует команда SberDevices. AggregateMe помогает привести несколько разметок к одной и повысить её качество в случае, если исполнители где-то ошиблись. Этот Open Source-фреймворк собирает вместе данные, размеченные разными способами, и позволяет использовать их для разных проектов.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/833994/
Сегодня мы расскажем о фреймворке агрегации разметки данных, который использует команда SberDevices. AggregateMe помогает привести несколько разметок к одной и повысить её качество в случае, если исполнители где-то ошиблись. Этот Open Source-фреймворк собирает вместе данные, размеченные разными способами, и позволяет использовать их для разных проектов.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/833994/
🔥12👍1
Привет, друзья! Начинаем эту неделю с полезного контента.
Выбрали для вас самые популярные статьи из нашего блога на Хабре за прошедший период 2024 года, из которых вы узнаете: как писать код на Go так, чтобы выжимать максимум производительности; стоит ли использовать паттерны DDD в большом проекте; практические примеры LotL-атак в контейнерных инфраструктурах и как от них защищаться; как эффективно и без особых проблем управлять большой гибридной инфраструктурой с помощью ansible; как работают квоты в Kubernetes.
1) Что делать, если pprof показывает, что оптимизировать больше нечего, но необходимо выжать из кода еще пару процентов скорости?
Старший программист-разработчик в отделе высоконагруженных систем и оптимизации ВКонтакте Никита Галушко рассказал про small-size объекты, интерфейс и пару трюков со стеком. О влиянии Bounds Check Elimination на производительность и оптимальной конвертации стрингов. Конечно, сложно — но очень интересно!
2) Domain Driven Design — это подход, состоящий из множества элементов. Если посмотреть на него со стороны, то вы, скорее всего, ужаснётесь и отложите все его преимущества в долгий ящик. А преимуществ очень много. Поэтому давайте возьмём CRUD, с которого чаще всего начинают проекты, постепенно соберём бизнес-правила и с помощью тактических паттернов DDD сделаем доменную модель с учётом особенностей Go.
Илья Сергунин, backend-сочинитель в Авито, рассказал какими должны быть паттерны DDD в большом проекте и как этого инструментально добиться на масштабе компании.
3) Все мы любим и используем контейнеры. Но у всего хорошего есть недостатки. У контейнеров множество проблем с информационной безопасностью. Как их избежать и не дать взломщику лазеек в ваш сервис — рассказали специалисты по безопасности из Wildberries.
4) Как выбрать систему управления конфигурациями, какими критериями руководствоваться и как решать проблемы? Системные инженеры X5 Tech Алексей Кузнецов и Борис Мурашин рассказали, как управлять инфраструктурой на 1000+ серверов при помощи Ansible.
5) Как же избежать запуска бесконечных дочерних процессов в контейнере? С этой проблемой помогут квоты в Kubernetes. Техлид продукта Cicd в Samokat. tech. Виктор Попов рассказал всё-всё-всё самое полезное: очевидные, менее очевидные и совсем не очевидные квоты. О том, чем они хороши, что у них под капотом и в каких задачах их лучше использовать. И немножко о том, что нельзя квотировать. Но очень бы хотелось.
Сохраняйте, читайте и не забывайте делиться с коллегами 😉
Выбрали для вас самые популярные статьи из нашего блога на Хабре за прошедший период 2024 года, из которых вы узнаете: как писать код на Go так, чтобы выжимать максимум производительности; стоит ли использовать паттерны DDD в большом проекте; практические примеры LotL-атак в контейнерных инфраструктурах и как от них защищаться; как эффективно и без особых проблем управлять большой гибридной инфраструктурой с помощью ansible; как работают квоты в Kubernetes.
1) Что делать, если pprof показывает, что оптимизировать больше нечего, но необходимо выжать из кода еще пару процентов скорости?
Старший программист-разработчик в отделе высоконагруженных систем и оптимизации ВКонтакте Никита Галушко рассказал про small-size объекты, интерфейс и пару трюков со стеком. О влиянии Bounds Check Elimination на производительность и оптимальной конвертации стрингов. Конечно, сложно — но очень интересно!
2) Domain Driven Design — это подход, состоящий из множества элементов. Если посмотреть на него со стороны, то вы, скорее всего, ужаснётесь и отложите все его преимущества в долгий ящик. А преимуществ очень много. Поэтому давайте возьмём CRUD, с которого чаще всего начинают проекты, постепенно соберём бизнес-правила и с помощью тактических паттернов DDD сделаем доменную модель с учётом особенностей Go.
Илья Сергунин, backend-сочинитель в Авито, рассказал какими должны быть паттерны DDD в большом проекте и как этого инструментально добиться на масштабе компании.
3) Все мы любим и используем контейнеры. Но у всего хорошего есть недостатки. У контейнеров множество проблем с информационной безопасностью. Как их избежать и не дать взломщику лазеек в ваш сервис — рассказали специалисты по безопасности из Wildberries.
4) Как выбрать систему управления конфигурациями, какими критериями руководствоваться и как решать проблемы? Системные инженеры X5 Tech Алексей Кузнецов и Борис Мурашин рассказали, как управлять инфраструктурой на 1000+ серверов при помощи Ansible.
5) Как же избежать запуска бесконечных дочерних процессов в контейнере? С этой проблемой помогут квоты в Kubernetes. Техлид продукта Cicd в Samokat. tech. Виктор Попов рассказал всё-всё-всё самое полезное: очевидные, менее очевидные и совсем не очевидные квоты. О том, чем они хороши, что у них под капотом и в каких задачах их лучше использовать. И немножко о том, что нельзя квотировать. Но очень бы хотелось.
Сохраняйте, читайте и не забывайте делиться с коллегами 😉
👍1
Интервью Эмели Драль — кофаундера и технического директора Evidently AI. У её open source библиотеки для оценки, тестирования и мониторинга качества данных и моделей машинного обучения уже более 22 миллионов скачиваний.
Расспросили её о пути в карьере, передаче знаний, необходимых скиллах и будущем отрасли: https://habr.com/ru/companies/oleg-bunin/articles/840716/
Расспросили её о пути в карьере, передаче знаний, необходимых скиллах и будущем отрасли: https://habr.com/ru/companies/oleg-bunin/articles/840716/
С какими проблемами производительности вы сталкиваетесь чаще всего?
Anonymous Poll
32%
Скачки нагрузки
18%
Утечки памяти
45%
Время отклика
6%
У меня другое, напишу в комментариях
Будущее уже почти наступило? Ai агенты создают программы за нас!
И это не шутка. Новый Replit Agent — AI Copilot показал себя на тестировании во всей красе. Руководитель AI продуктов компании Raft Евгений Кокуйкин сделал на нём прототип своего рабочего продукта быстрее, чем написал его обзор. Причём быстро получился не только кодинг, но и отладка. А именно за отладку больше всего критиковали агентные системы, которые генерируют код по промпту от пользователя. Так что изменения в работе агента значительные.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/841808/
И это не шутка. Новый Replit Agent — AI Copilot показал себя на тестировании во всей красе. Руководитель AI продуктов компании Raft Евгений Кокуйкин сделал на нём прототип своего рабочего продукта быстрее, чем написал его обзор. Причём быстро получился не только кодинг, но и отладка. А именно за отладку больше всего критиковали агентные системы, которые генерируют код по промпту от пользователя. Так что изменения в работе агента значительные.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/841808/
👍3
Друзья, с праздником 🙌
Желаем вам:
- хорошо выстроенную коммуникацию в компании: чтобы продакт понимал, как работает система, а менеджер не давил на сроки;
- одинаковое понимание качества у разработки и бизнеса;
- отсутствие синдрома самозванца, выгорания и т.д.
- прозрачные приоритеты и цели;
- не знать лени и прокрастинации;
- эффективную организационную структуру в компании;
- легкость с восприятием чужого кода;
- отсутствие эмоциональной привязки к написанному коду, особенно, когда этот код требуется выбросить;
- чтобы накопленный техдолг не влиял на вашу самооценку как специалиста😎
Поздравляем! 🎉
Желаем вам:
- хорошо выстроенную коммуникацию в компании: чтобы продакт понимал, как работает система, а менеджер не давил на сроки;
- одинаковое понимание качества у разработки и бизнеса;
- отсутствие синдрома самозванца, выгорания и т.д.
- прозрачные приоритеты и цели;
- не знать лени и прокрастинации;
- эффективную организационную структуру в компании;
- легкость с восприятием чужого кода;
- отсутствие эмоциональной привязки к написанному коду, особенно, когда этот код требуется выбросить;
- чтобы накопленный техдолг не влиял на вашу самооценку как специалиста
Поздравляем! 🎉
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤11🤗2
Развитие нейросетей способствует шквальному развитию инструментов для них и даже появлению новых языков программирования.
Давайте посмотрим, чем Mojo отличается от Python, какие у них преимущества и недостатки. И сделаем всё это с помощью экспериментов на основе стандартных наборов данных: MNIST и Housing Prices Dataset. Обучим простую сверточную нейронную сеть, а заодно разберём один из методов машинного обучения — линейную регрессию.
✅ Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/843044/
Давайте посмотрим, чем Mojo отличается от Python, какие у них преимущества и недостатки. И сделаем всё это с помощью экспериментов на основе стандартных наборов данных: MNIST и Housing Prices Dataset. Обучим простую сверточную нейронную сеть, а заодно разберём один из методов машинного обучения — линейную регрессию.
✅ Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/843044/
Хабр
Mojo: убийца Python и будущее Ai?
Всем привет! Меня зовут Вадим Шубин, я Data Scientist в компании Raft, и сегодня мы погрузимся в Mojo. Я уже делал обзор данного языка программирования и рассмотрел его преимущества, примеры...
Мы начинаем знакомить вас со спикерами зимней HighLoad++ 2024 💥
Стартуем с первых принятых докладов из секции «Архитектура»
1) api-gateway в Авито. Александр Данковцев (Авито)
В своём докладе Александр расскажет, как устроен роутинг между бесчисленным количеством микросервисов в Авито. Как он развивался, какие проблемы были и как сделать удобно и полезно.
2) Мобильные платежи «Мир». Дмитрий Викулов (Мир Plat.Form (НСПК))
Особое внимание в докладе будет уделено тому, как устроены мобильные платежи в НСПК, и как работает платформа мобильных платежей в целом. Не менее важным аспектом станет обсуждение адаптивности систем к изменениям, что критично для поддержания надёжности и бесперебойной работы.
3) Как масштабировать защиту от DDoS атак на десятки миллионов RPS. Опыт Яндекса. Иван Тямгин (Яндекс)
Иван детально раскроет аспекты создания масштабируемой и отказоустойчивой системы «Антиробот», используемой в Яндексе для защиты от DDoS-атак. Уделяется внимание методам защиты сервисов и их балансировщиков, архитектуре системы и способам быстрого расчёта факторов для машинного обучения.
Встречаемся 2 и 3 декабря в Москве 🙌
Если вы планируете к нам присоединиться, то сейчас самое удачное время это сделать, чтобы сэкономить на стоимости билета 😉 С 21 сентября цена станет выше.
✅ Программа пока в стадии формирования, но на сайте уже можно посмотреть принятые доклады, а также забронировать билет до повышения.
Стартуем с первых принятых докладов из секции «Архитектура»
1) api-gateway в Авито. Александр Данковцев (Авито)
В своём докладе Александр расскажет, как устроен роутинг между бесчисленным количеством микросервисов в Авито. Как он развивался, какие проблемы были и как сделать удобно и полезно.
2) Мобильные платежи «Мир». Дмитрий Викулов (Мир Plat.Form (НСПК))
Особое внимание в докладе будет уделено тому, как устроены мобильные платежи в НСПК, и как работает платформа мобильных платежей в целом. Не менее важным аспектом станет обсуждение адаптивности систем к изменениям, что критично для поддержания надёжности и бесперебойной работы.
3) Как масштабировать защиту от DDoS атак на десятки миллионов RPS. Опыт Яндекса. Иван Тямгин (Яндекс)
Иван детально раскроет аспекты создания масштабируемой и отказоустойчивой системы «Антиробот», используемой в Яндексе для защиты от DDoS-атак. Уделяется внимание методам защиты сервисов и их балансировщиков, архитектуре системы и способам быстрого расчёта факторов для машинного обучения.
Встречаемся 2 и 3 декабря в Москве 🙌
Если вы планируете к нам присоединиться, то сейчас самое удачное время это сделать, чтобы сэкономить на стоимости билета 😉 С 21 сентября цена станет выше.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Forwarded from Онтико
На фотографии почти все члены Программного комитета первых HighLoad++: Костя Осипов, Олег Бунин, Макс Лапшин, Игорь Сысоев и Лёша Рыбак.
Все в той или иной мере технологические предпринимателями. Я (Олег) и Лёша - инфобизнесмены, я торгую билетиками, а Лёша - не просто инфобизнесмен, а облачный.
Костя пилит уже третью базу данных - Picodata. Макс продает лучший видеософт Flussonic. А Игорь, разработав nginx, уже может позволить себе ничего не делать :)
Первые встречи Программного комитета проходили примерно также - в ресторанах - я даже не помню, умели ли мы в созвон.
Я приносил на такие встречи талмуды с распечатанными тезисами всех докладов и мы прямо ручкой писали на них вопросы к докладчикам.
Затем я рассылал эти вопросы по электронной почте, собирал ответы и мы встречались вновь.
А сейчас в чате ПК HighLoad++ уже 50 человек, которые созваниваются тремя тематическими потоками трижды в неделю, перерабатывая полтысячи заявок на каждую из конференций.
Все в той или иной мере технологические предпринимателями. Я (Олег) и Лёша - инфобизнесмены, я торгую билетиками, а Лёша - не просто инфобизнесмен, а облачный.
Костя пилит уже третью базу данных - Picodata. Макс продает лучший видеософт Flussonic. А Игорь, разработав nginx, уже может позволить себе ничего не делать :)
Первые встречи Программного комитета проходили примерно также - в ресторанах - я даже не помню, умели ли мы в созвон.
Я приносил на такие встречи талмуды с распечатанными тезисами всех докладов и мы прямо ручкой писали на них вопросы к докладчикам.
Затем я рассылал эти вопросы по электронной почте, собирал ответы и мы встречались вновь.
А сейчас в чате ПК HighLoad++ уже 50 человек, которые созваниваются тремя тематическими потоками трижды в неделю, перерабатывая полтысячи заявок на каждую из конференций.
🔥31👍7❤3
Как сделать поиск с помощью картинок?
Есть хороший подход, предложенный OpenAI к задаче классификации картинок с помощью модели CLIP. Использование мультимодальных моделей позволяет сделать шаг к пониманию более широкого класса запросов и контента в сервисе, что недоступно моделям с одной модальностью.
Дмитрий Огурцов из Okko подробнее разберет, как обучать сеть, чтобы искать изображения через текстовые описания: https://habr.com/ru/companies/oleg-bunin/articles/
Есть хороший подход, предложенный OpenAI к задаче классификации картинок с помощью модели CLIP. Использование мультимодальных моделей позволяет сделать шаг к пониманию более широкого класса запросов и контента в сервисе, что недоступно моделям с одной модальностью.
Дмитрий Огурцов из Okko подробнее разберет, как обучать сеть, чтобы искать изображения через текстовые описания: https://habr.com/ru/companies/oleg-bunin/articles/
Интервью с управляющим директором, начальником Управления экспериментальных систем машинного обучения Дивизиона общих сервисов «Салют» Сергеем Марковым.
Поговорим про развитие DS в России, нехватку ресурсов, развитие специалистов, нейрострашилки и правила использования нейросетей.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/844504/
Поговорим про развитие DS в России, нехватку ресурсов, развитие специалистов, нейрострашилки и правила использования нейросетей.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/844504/
Хабр
Сергей Марков: Мы в разгаре лета искусственного интеллекта
Сергей Марков Поговорим о развитии Data Science в России. За последние 20 лет в этой области произошли фантастические изменения. Всё что создают нейросети становится новостями номер один. Это,...
Рассказываем о следующих докладах, сегодня из блока «Узкотематические секции», которые будут особенно интересны:
- в первую очередь разработчикам из сферы видео, стриминга или телекома, но и разработчикам из других предметных областей тоже должно быть интересно;
- тем, кто занимается веб-парсингом (сбором данных), и кто пытается от него защищаться. Может быть любопытен как интересующимся антифродом, так и всем, кому интересно, какие данные пользователей собирают сайты.
1) Что наша жизнь? Стата! или Укрощаем технические события плееров в VK Видео. Алексей Шпагин (VK, ВКонтакте)
Доклад о переходе VK Видео на новую архитектуру сбора технической статистики. Алексей расскажет, как отказ от сложных событий в пользу моно-событий и сигналов повысил надежность и упростил поддержку плееров. Разбор ключевых метрик (время первого байта/кадра), особенности ленивой и срочной статистики
2) Проблемы при масштабировании сервиса для обхода антибот систем. Евгений Слайковский (Zyte)
Доклад освещает трудности, связанные с масштабированием сервисов для обхода антибот систем. Обсуждаются технические вызовы, такие как имитация браузеров и подделка отпечатков. Вы узнаете о сложностях, возникающих при обходе современных защитных мер.
Мы встречаемся 2 и 3 декабря на HighLoad++ 2024 в Москве, присоединяйтесь 🖐️
✅ На сайте можно посмотреть уже принятые доклады и забронировать билет до повышения цены 21 сентября
- в первую очередь разработчикам из сферы видео, стриминга или телекома, но и разработчикам из других предметных областей тоже должно быть интересно;
- тем, кто занимается веб-парсингом (сбором данных), и кто пытается от него защищаться. Может быть любопытен как интересующимся антифродом, так и всем, кому интересно, какие данные пользователей собирают сайты.
1) Что наша жизнь? Стата! или Укрощаем технические события плееров в VK Видео. Алексей Шпагин (VK, ВКонтакте)
Доклад о переходе VK Видео на новую архитектуру сбора технической статистики. Алексей расскажет, как отказ от сложных событий в пользу моно-событий и сигналов повысил надежность и упростил поддержку плееров. Разбор ключевых метрик (время первого байта/кадра), особенности ленивой и срочной статистики
2) Проблемы при масштабировании сервиса для обхода антибот систем. Евгений Слайковский (Zyte)
Доклад освещает трудности, связанные с масштабированием сервисов для обхода антибот систем. Обсуждаются технические вызовы, такие как имитация браузеров и подделка отпечатков. Вы узнаете о сложностях, возникающих при обходе современных защитных мер.
Мы встречаемся 2 и 3 декабря на HighLoad++ 2024 в Москве, присоединяйтесь 🖐️
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡Успейте забронировать билет на HighLoad++ 2024 до повышения цены
⠀
🖐️ Присоединяйтесь к нам, чтобы:
⠀
- узнать, как делают highload-системы ваши коллеги и конкуренты. Как они думают и смотрят на highload-мир;
- быть в тренде и двигаться дальше;
- познакомиться с технологиями, о которых, возможно, вы ещё не знаете;
- услышать сильные доклады с решением конкретных задач;
- круто провести время в IT-тусовке.
⠀
Также напоминаем, что вы можете забронировать билет до 1 октября, чтобы сохранить за собой текущую стоимость, а оплатить в течение нескольких дней после брони.
⠀
Мы встречаемся 2 и 3 декабря в Москве, ждём вас 🙌
⠀
✅ Ознакомиться с уже принятыми докладами и забронировать билет можно на сайте
⠀
🖐️ Присоединяйтесь к нам, чтобы:
⠀
- узнать, как делают highload-системы ваши коллеги и конкуренты. Как они думают и смотрят на highload-мир;
- быть в тренде и двигаться дальше;
- познакомиться с технологиями, о которых, возможно, вы ещё не знаете;
- услышать сильные доклады с решением конкретных задач;
- круто провести время в IT-тусовке.
⠀
Также напоминаем, что вы можете забронировать билет до 1 октября, чтобы сохранить за собой текущую стоимость, а оплатить в течение нескольких дней после брони.
⠀
Мы встречаемся 2 и 3 декабря в Москве, ждём вас 🙌
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
Для того чтобы защитить пользователей почты Mail.ru от вредоносных писем, Антиспам Почты Mail.ru проверяет более 400 млн писем ежедневно.
Константин рассказал, как и почему менялась архитектура Антиспама за более 15 лет развития, а ещё:
- что такое спам и зачем с ним бороться;
- какие этапы выполняются при проверке письма;
- какие технические трудности возникают при фильтрации спама, и как они с ними борятся;
- как развивалась архитектура Антиспама, и какую роль в этом играют спамеры;
- что изменилось с началом применения технологий машинного обучения;
- какую роль играет ML в их задачах;
- какие принципы разработки используются, чтобы достичь целевых показателей SLA под нагрузкой выше 300K RPS;
в заключение рассказал примеры случаев, когда что-то пошло не по плану, и какие выводы они из этого сделали.
Посмотрите видео сами и поделитесь с коллегами 🙌
Смотреть на YouTube
Смотреть в VK Видео
#записьдокладаHL
@HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Успеть за 350 миллисекунд. Эволюция архитектуры Антиспама Почты Mail.ru / Константин Хицко
Приглашаем на конференцию Saint HighLoad++ 2025, которая пройдет 23 и 24 июня в Санкт-Петербурге!
Программа, подробности и билеты по ссылке: https://highload.ru/spb/2025
________
Профессиональная конференция разработчиков высоконагруженных систем Saint…
Программа, подробности и билеты по ссылке: https://highload.ru/spb/2025
________
Профессиональная конференция разработчиков высоконагруженных систем Saint…
🔥6❤1👍1👏1