https://github.com/qzeleza/kvas/

Проверил на домашнем Keenetic Extra (KN-1711) v4.3.6.3 - в первом приближении работает, на сколько стабильно посмотрим дальше.

Данное решение использую для доступа к разрешенным ресурсам, заблокированных по инициативе иностранных компаний (например, ChatGPT, GitHub) 😉

🎤 Будни сетевика 😊

Netflix Live Origin

Техническая статья инженеров Netflix о том, как устроен их Live Origin - собственный origin server для облачного стриминга Live-трансляций.

Основные моменты:

🔍Live Origin - это "брокер", который находится между облачными pipeline'ами (которые готовят видео) и собственным CDN Netflix (Open Connect). Он решает, какой контент и как отправить зрителям и может работать с двумя pipeline'ами одновременно. Если в одном из них появляется битый сегмент (кусочек видео), Origin автоматически выбирает целый сегмент из второго pipeline'а, чтобы зритель не заметил проблему.

🔍Пишут (без подробностей), что допилили кэширование в Nginx для Live до милисекундной точности (millisecond grain caching).

🔍Netflix отказался от использования стандартного S3 для Live, так как нужна была сверхвысокая доступность и низкая задержка. Сделали гибридное решение на базе Cassandra (для надежной записи) и EVCache (для быстрого чтения). Здесь им помог KeyValue Storage Abstraction (их внутренняя разработка) - некий промежуточный слой абстракции, который умеет «чанковать» большие видео сегменты и раскладывать их по Cassandra, если я правильно уловил суть.

🔍Есть автоматическое горизонтальное масштабирование Live Origin (EC2 в AWS), но т.к. не все ресурсы можно быстро увеличить, например пропускную способность каналов, то при высоких нагрузках приоритет отдается критическим для пользователя запросам, а те что напрямую на пользователя не влияют могут выполниться позже. Внедрили TTL-кэш опять же для снижения нагрузки в момент критических нагрузок. Также все запросы Live под нагрузкой приоритетней чем DVR (записи, перемотки).

🔍Live Origin умно кэширует ошибки (404), чтобы не долбить базу данных запросами несуществующих сегментов. Длительность сегментов постоянна (2 сек), поэтому CDN знает точное время их появления.

🔍Пиковая нагрузка в 65 млн была в 2024г во время боя Тайсона и Д. Пола - тут мое почтение.

🎤 Будни сетевика 😊

Просто красивая картинка

Вверху перепутали местами подписи к Cooling Fans и Network Switches.

Тут вспомнился случай, когда пришли коммутаторы вместо Air Flow IN -> Air Flow OUT. Поставщик не предупредил, а мы не проверили и замонтажили как обычно. Но бдительные специалисты в ЦОД быстро нас вычислили с помощью тепловизора

🎤 Будни сетевика 😊

How Container Filesystem Works: Building a Docker-like Container From Scratch

Tutorial: Как создать контейнер с помощью утилит Linux unshare, mount и pivot_root

Было интересно почитать о процессе, но сам я не пробовал это делать.

🎤 Будни сетевика 😊

Cisco Secure Firewall Management Center Software Authentication Bypass Vulnerability

Понятно, что не стоит выставлять в Интернет то, чего там быть не должно, но иметь CVSS Score: 10.0 все равно неприятно. Кому актуально, наверно стоит обновиться 🙂

🎤 Будни сетевика 😊

Сети в Kubernetes: руководство для сетевого инженера

Статья не даст полного понимания как работают сети в Kubernetes, скорее это справочник по основным подходам.

Интересно, как местами автор пытается провести параллели между сущностями из мира Kubernetes и сетями, например:

Service Mesh — это как развертывание IPS/IDS на каждом сегменте сети. Да, это дает полную видимость и контроль. Но это стоит ресурсов, и если у вас небольшая сеть — overhead не оправдан.

P.S. Скорее всего, статья была отформатирована с помощью нейронки, но тем не менее, мне понравилась.

🎤 Будни сетевика 😊

Закрываем тему сетей в Kubernetes докой от Isovalent - Kubernetes Networking and Cilium An Instruction Manual for the Network Engineer. Она уже публиковалась в различных каналах, креплю на случай, если кто пропустил.

🎤 Будни сетевика 😊

Network Performance in the Linux Kernel, Getting the most out of the Hardware

Доклад и презентация от Bootlin.

Доклад про то, как организована высокопроизводительная работа с сетью в ядре Linux. Автор объясняет, как пакет проходит через систему (от патчкорда до приложения) и какие есть механизмы, чтобы эффективно использовать многоядерные процессоры.

▎Что отметил (без какой-то структуры)

Верхнеуровнего про путь пакета

Пакет попадает в NIC, далее MAC-контроллер с помощью DMA записывает его в оперативную память, не нагружая CPU. После записи данных NIC посылает сигнал (IRQ), чтобы сообщить CPU о новом пакете. Есть NAPI - современный механизм, который отключает прерывания на время обработки пачки пакетов. Вместо одного прерывания на пакет, ядро обрабатывает их пачками, что снижает нагрузку на CPU.

Описываются механизмы

🟢 RSS (Receive Side Scaling): Аппаратный механизм. Сетевая карта сама хэширует заголовки пакета (5-tuple) и на основе хэша раскладывает их по разным очередям. Каждая очередь привязана к своему ядру CPU.

🟢RPS (Receive Packet Steering): То же, что и RSS, но программно в ядре. Полезно, если у сетевой карты мало очередей.

🟢RFS (Receive Flow Steering): Улучшение RPS. Следит за тем, на каком ядре работает приложение и направляет пакеты именно на это ядро для попадания в кэш.

🟢XPS (Transmit Packet Steering): То же самое, но для отправки пакетов, чтобы очередь на отправку была привязана к нужному ядру.

🟢Механизмы Offloading: Чтобы ядро делало меньше работы, часть задач перекладывается на сетевую карту:

- Checksum: Проверка целостности заголовков сетевой картой на лету, ядро оставляет поля пустыми

- Filtering: Аппаратная фильтрация до того, как они попадут в ядро. Приводятся примеры MAC и VLAN filtering.

🟢Data insertion and segmentation: Сетевая карта может добавлять VLAN-теги на лету

🟢TSO (TCP Segmentation Offload): Сетевая карта сама нарезает большие куски данных на мелкие TCP-сегменты. Хорошее описание как это работает тут.

🟢XDP (eXpress Data Path): Самый быстрый путь обработки. BPF выполняется прямо в драйвере сетевой карты, как только пакет появился в памяти. Это позволяет дропать или перенаправлять пакеты с большой скоростью, до того как ядро начнет их полноценно обрабатывать.

🎤 Будни сетевика 😊