Возвращаемся с апдейтом по Managed Media Source

В предыдущих сериях: раз, два.

Первая и самая интересная часть новости – Managed Media Source в iOS 17.1 работает. Но с нюансом – Apple хочет, чтобы вы не забыли про AirPlay. Изначально мы предполагали, что достаточно будет заменить new MediaSource() на new ManagedMediaSource()и все само заработает. Однако это приводит к тому, что инстанс ManagedMediaSource не кидает событие sourceopen и не инициализируется. Ошибок при этом вы тоже не увидите.

В попытке проверить, что происходит с нашей демкой, мы начали, в числе прочего, копаться в feature-флагах Safari. И обнаружили сразу под флагом Managed Media Source API другой – Managed Media Source Requires AirPlay source. И он включен по умолчанию. Если же его выключить, то демка превосходно начинает воспроизводить контент. Но пользователя же не заставишь выключать feature-флаг где-то глубоко в настройках браузера, поэтому надо искать другое решение.

Первое, что приходит в голову – поддержать AirPlay. В этом случае, все действительно начинает работать. Но если вы, вдруг, используете DASH-only потоки, вам станет грустно, так как AirPlay в них не умеет. То есть нужно всегда держать рядом HLS. Пример можно посмотреть тут.

Второе – отключить AirPlay. Тут тоже все хорошо работает. Достаточно добавить атрибут x-webkit-airplay=deny. Таким образом вы явно сообщаете Safari, что AirPlay не нужен. Пример для такого мы так же собрали.

Итого, Managed Media Source работает, но нужно помнить про AirPlay.

И в догонку к предыдущему посту, продолжим про новости от Apple.

В Safari на бете iOS 17.2 стало доступным Fullscreen API на любых HTML-элементах. Теперь можно будет показывать рекламу плеер со всеми кнопочками в Fullscreen на айфонах. Правда и тут не обошлось без нюансов. Так, например, слева сверху браузер будет рисовать свои контролы. Снизу, для большинства устройств будет отображаться системный контрол для выхода на рабочий стол. А еще нужно учитывать монобровь и Dynamic Island.

В общем, рекомендуем проверить, как ваш плеер готов к подобному, пока это еще бета.

А тем временем мы чуть было не пропустили релиз OBS с поддержкой ipv6 для RTMP и WebRTC. Три дня назад вышел релиз 30.0, который затащил эти много других прикольных фичей.

А ваша платформа уже готова принимать ultra low latency стриминг по WHIP/WebRTC?

Открыли VideoTech 2023!

А завтра на конференции будет Community Day - трансляция докладов и дискуссий 17 ноября будет доступна бесплатно (без смс, но с регистрацией🙂).

Не секрет, что авторы канала питают нежные чувства к MPEG-DASH. На конференциях в кулуарах выяснилось, что многие компании все ещё предпочитают HLS.

До мощных заруб не дошло, но возник вопрос:

WebCodecs: как используете?

На конференциях периодически слышу вопрос «Используете ли вы WebCodecs для стриминга, когда нет хардварных кодеков?»

Оно и понятно, технология новая и интересная. Есть демки (раз и два), которые показывают видео через WebCodecs. Существует мнение, что это просто демонстрация возможностей технологии, которыми на практике никто не пользуется. Формат видео mp4 + h264 покрывает 98% пользователей. Остальным 2% соболезную

Для чего же тогда нужны WebCodecs? В голову приходят несколько способов использования:
- шаринг экрана в звонке. Подробнее можно глянуть в докладе Коли Васильчука.
- замена фона в звонке (об этом Коля рассказывал на VideoTech этого года).
- покадровая перемотка для редактирования видео (этот кейс упоминался в докладе Exploring Video Editing in the Browser на Demuxed 2023).
- предпросмотр результата редактирования при применении EDL (Edit decision list) к видео. Подробнее в докладе Puppeteer + <canvas> + WebCodecs to replace ffmpeg на Demuxed 2021.

Получается, что на практике WebCodecs используются для редактирования видео в браузере и для сжатия изображения, создаваемого в браузере, а не для простого стриминга.

Расскажите, используете ли вы WebCodecs? И если используете, то для чего?

A story of an unknown low-tier device and its MSE issues

Алексей Березин из DAZN делится особенностями работы с MSE в плеерах на low-end устройствах (смарт-тв и сет-топ боксах)
blog.beraliv.dev/2023-12-21-story-of-unknown-low-tier-device-and-its-mse-issues-lvt-notes

Дорогие читатели! Поздравляем вас с наступающим или уже наступившим 2024 годом!

Желаем, чтобы ваши видео-сервисы всегда работали так, как вы этого хотите!

Видео — это вам не фото: о чём нужно знать разработчикам видеостриминговых сервисов

Антон Кортунов из Yandex Infrastructure опубликовал статью об оценке качества видео, и о том, как на него влияет синхронизация аудио и видео дорожек, параметры съёмки и FPS.
habr.com/ru/companies/yandex_cloud_and_infra/articles/783604

Конкурс Telegram для видеоинженеров

Пока мы постепенно вкатываемся в работу, Telegram объявил конкурс на поддержку прямых трансляций в их клиенте Telegram Web K.

На кону 30000$. Нужно в очень жёсткие сроки (до 21 января) не просто реализовать лайвы, но и обойти баг Chromium.

Chromium игнорирует дополнительные данные в AAC. Из-за чего в некоторых случаях браузер распознает стереозвук, как моно и неправильно инициализирует декодеры. Эта проблема решается заданием количества каналов в mime type в MSE, но порождает неконсистентность.

Время брать отпуск. Как говорится, 30000 баксов — это 30000 баксов.

"Запуск завтра" – mp3. Как мы научились сжимать музыку

В подкасте Самата Галимова вышел классный выпуск про историю формата mp3, который стал основой всей современной индустрии стриминга. Самат рассказывает про то, как устроен mp3, и как появление стандарта повлияло на дальнейшее развитие технологий.

Это мы слушаем.

Demuxed 2023

Все доклады с Demuxed 2023 уже доступны на YouTube. Вот подборка выступлений, которые нам понравились:

1. Pieter-Jan Speelmans - Stories from the trenches: debugging video issues from a client’s perspective 

Theo продаёт плеер как сервис, умеющий практически всё. Интересно узнать о диагностике проблем воспроизведения видео, когда есть возможность влиять только на один блок сложного пайплайна видеохостинга, на плеер.

Питр-Ян рассказал, что
- аналитические дашборды дают ложное чувство контроля.
- событий Play, Pause и Buffering достаточно для QoE. Однако для глубокой диагностики нужны ещё и события добавления чанков в буфер, данные о сети, буфере, pts и других параметрах, которые можно собирать опционально, активируя логирование по мере необходимости.

Ссылка на доклад.

2. Shravya Kunamalla - Using application informed pacing to be a friendly internet neighbor

Netflix представил Sammy — схему работы ABR и rate control, решающую проблему конкуренции нескольких устройств за пропускную способность сети. Скачкообразность потребления трафика (traffic burstiness) плеером вызывает накопление буфера роутера, что увеличивает задержки (RTT и потерю пакетов).

Sammy уменьшает скачкообразность потребления трафика путем задания скорости, с которой плеер хочет получать данные от сервера. Алгоритм ABR выбирает эту скорость, основываясь на QoE.

Идея алгоритма Sammy напоминает BBR (Bottleneck Bandwidth and Round Trip Time).

Ссылка на доклад.

3. Guillem Cabrera - Implementing HLS/DASH Content Steering at Scale

Гильермо Кабрера рассказал о сложностях и компромиссах обычной cloud-based реализации Content Steering. Например, стандартный TTL, равный 300с, оптимален для балансировки CDN, но большой для оптимизации QoE.

Brightcove предлагает перенести Steering Manifest на edge-сервера, делится возможной архитектурой и примером реализации.

Ссылка на доклад.

Смотрели Demuxed? Поделитесь, что вас заинтересовало.

#подкаст

SRT и CDN — это любовь? Посмотрим, как считает рынок

Возвращаем вещание VideoTech Podcast. Мы пригласили разработчика видеостримингов Максима Лапшина, чтобы обсудить протокол SRT и перспективы развития транскодинга.

В этом выпуске — всё об отношениях с видеотехнологиями:

— Совместимость: какие протоколы любят телевизионщики, а какие — интернетчики.

— Созависимость: как старые привычки инженеров множат неэффективные практики.

— Запасные варианты: а что там с RTMP и WebRTC?

— Муки выбора: нехватка железа для транскодинга и трейдоффы FPGA.

— Долго и счастливо: как будет развиваться аппаратный и программный транскодинг.

Ведущий выпуска — Игорь Шеко, WebRTC-энтузиаст, работает в Yandex Infrastructure с realtime-видео.

Смотрите выпуск на YouTube 14 февраля в 15:00 по Москве.

Подкаст на других платформах:
— Apple Podcasts
— Яндекс Музыка
— Вконтакте

OpenAI показали превью AI-модели генерации видео Sora.

Качество отобранных для лендинга генеративных видео просто поражает. У модели пока есть проблемы с "физикой" мира в генерируемых видео (например, человек, бегущий по беговой дорожке в обратную сторону, или не задувающиеся свечи на торте), но, похоже, нас ждет новая эра видео-фейков.

OpenAI еще не открыли модель для публичного доступа – в первую очередь планируется выпустить детектор, который будет определять, было ли видео сгенерировано Sora.

HTTP Live Streaming Tools for CentOS Linux 7

Оказывается, еще в декабре прошлого года Apple снизошла до простых смертных и выпустила пакет утилит HTTP Live Streaming Tools для Linux. Ранее он был доступен только для Mac OS.

HTTP Live Streaming Tools – это набор утилит для подготовки HLS потоков (сегментатор видео/субтитров, генератор плейлистов). Самая полезная утилита без хороших аналогов – mediastreamvalidator – позволяет проверить готовый HLS-плейлист на соответствие спецификации и заранее отловить большое количество потенциальных проблем.

Загрузка пакета доступна на девелоперском портале Apple. Редистрибутить пакет лицензия Apple запрещает. Сборки сейчас доступны только под CentOS, Debian/Ubuntu почему-то не завезли, но спасибо и на этом.

На этой неделе, 20 марта, пройдет бесплатное online событие RTC@Scale - событие для всех кто строит свои решения для RTC видео и аудио комуникаций. Это одно из основных событий по темам WebRTC, кодеков для него и качеству сигнала на онлайн мероприятиях.

В целом, событие в этом году посвещено работе со сложными сетевыми условиями (такими как: плохая сеть, звонки на большие дистанции) и немного AV1.

Особого внимания, на мой взгляд, в этом году достойны вытупления Sean Dubois, создателя PION и доклад разработчиков из одной социальной сети про AI BWE
Ну и отдельно стоит посмотреть выступление Tsahi Levent-Levi, так как он всегда весьма неплохо суммаризирует состояние и направление развития индустрии.

Регистрация бесплатная. Увидимся с вами онлайн.

Awesome Video, огромная коллекция статей, туториалов, инструментов и других материалов о разработке видео и стриминговых сервисов — https://awesome.video

Время скандалов из твиттера!

Hi, This is a high priority ticket and the FFmpeg version is currently used in a highly visible product in Microsoft. We have customers experience issues with Caption during Teams Live Event. Please help,

https://trac.ffmpeg.org/ticket/10341