⚡Не пропускайте новую активность на HighLoad++ 2024 — Неконференцию!

Это уникальный дискуссионный формат, где вы сами задаете тон обсуждения. Без презентаций, главное — желание обсудить наболевшие вопросы с коллегами со всего рынка.

✅ Ближайшая дискуссия начинается в 13:20

📍Индия, переговорная 1.3 (количество мест ограничено - 12 мест)

Тема: Борьба со спамными ботами (SEO-скрутки). Олег Ехлаков, Intaro Soft

Последние годы приходится сталкиваться со странными ботами, которые проводят долгое время на сайте. Толпами. Бестолково скролят страницы минутами. Есть только догадки, кому и зачем они нужны. Написаны свои велосипедные методы борьбы. Хотелось бы с коллегами о(б)судить проблему. Сталкивается ли кто-то? На какой стадии? Отрицание? Принятие?.. Какие методики борьбы, чтобы не загасить любимых клиентов вместо ботов?

Иван Тямгин в своём докладе детально раскрыл аспекты создания масштабируемой и отказоустойчивой системы «Антиробот», используемой в Яндексе для защиты от DDoS-атак. Уделил внимание методам защиты сервисов и их балансировщиков, архитектуре системы и способам быстрого расчёта факторов для машинного обучения.

Не пропускайте новую активность на HighLoad++ 2024 — Неконференцию! 🚀

Это уникальный дискуссионный формат, где вы сами задаете тон обсуждения. Без презентаций, главное — желание обсудить наболевшие вопросы с коллегами со всего рынка.

✅ Ближайшая дискуссия начинается в 14:30

📍Индия, переговорная 1.3 (количество мест ограничено – 12 мест)

Тема: Исследование и реализация DWH. Дмитрий Смотров (Группа Астра)

Предположим, вам выпала задача разработать и довести до прода DWH. Вам необходимо:

1) построить ETL pipeline.
2) Выбрать систему для хранения данных, предусмотрев master-master репликацию и возможность тюнить схемы хранения на лету, предоставить историчность появления данных в системе.
3) организовать сбор данных с нескольких сервисов, связанных между собой через RMQ, но при этом необходимо сохранить использование RMQ только для передачи команд/событий, а данные, нужные для хранения в DWH, по размеру сильно больше, чем событийные данные.

- Какой стек из существующих вы бы выбрали?
- Что написали бы сами?
- Ходили бы фоновыми процессами по сервисам для сбора данных или предоставили POST запросы для отправки данных из «клиентского» с сервис DWH?
- Какую систему хранения использовали?
- На какие возможные подводные камни обратили внимание с начала проработки сервиса?

Нельзя просто так взять, и сделать Feature Store. Нужны исследования, совместимость, обучение.

Евгений Дащенко из Домклик рассказал, как последовательно внедряли Feature Store, чтобы не уйти в долгострой и показать первые результаты: начиная от разбора запросов и источников и заканчивая автогенерацией фич через sdk.