Ребята, привет!

На связи авторы канала. Очень рады, что вас стало так много.

Главной целью создания канала является формирование технологического сообщества стриминговой индустрии.

В ноябре комьюнити соберется в Москве и онлайн на VideoTech 2023. Уверены, вам есть что рассказать и показать. Да, это тот самый волшебный пендель.

Подать заявку

Лекторий Летних школ Яндекса: воспроизведение видео в Android и iOS

Сегодня в Лектории Летних школ пройдет еще одна тематическая лекция. Рамиль Габдрахманов, руководитель разработки Android и iOS плееров в Яндексе, расскажет о нюансах воспроизведения видео на мобильных платформах, а также о доступных разработчикам API и инструментах.
Трансляция стартует уже через пару минут.

https://www.youtube.com/watch?v=GG7RSothKBs

- Сколько зрителей?
- DoHuya!

На стриминговом рынке новый аналитический сервис - DoHuya.com от streamscharts.com, который собирает статистику по просмотрам стримов с крупнейших китайских площадок DouYu и Huya.

Измеряют, кстати, не количество зрителей, а метрику, которую называют Heat Index. Он строится с учетом активности зрителей, популярности канала, частоте выхода видео и т.д. Точную формулу не публикуют.

Видео редактор в браузере

Недавно коллеги из Ozon поделились, как они сделали простой видео редактор и использовали Canvas для отображения кадров видео сразу в нескольких местах страницы. Подробнее в https://habr.com/ru/companies/ozontech/articles/760712/

Ребята достаточно подробно рассказали, как выглядит UI для вырезания кадров видео, но не упомянули, как именно кадры вырезаются/добавляются. Под капотом ffmpeg в WASM? Где происходит конечный рендеринг: на клиенте или на беке?

Для тех, кто как и я ранее не задумывался, как работают видео редакторы в браузере ссылочка на туториал, где за 8 минут показывают подключение ffmpeg к React-проекту https://youtu.be/-OTc0Ki7Sv0

iOS 17 вышла в релиз. Ничего не изменилось🤡

Demuxed 2023

24-25 октября в Сан-Франциско пройдет Demuxed - одна из крупнейших англоязычных конференций про видео-технологии. В программе - доклады от Netflix, Mux, Vimeo, Elecard и других компаний и исследовательских организаций.

Мы обязательно посмотрим и расскажем вам про самые интересные доклады!

#подкаст

Мы запустили подкаст про видеотехнологии от конференции VideoTech!

Будем обсуждать тренды, стандарты и вызовы, с которыми сталкивается индустрия видеотехнологий.

В первом выпуске поговорили с Сергеем Икониным, участником Joint Video Experts Team, о стандартах:

— зачем они нужны,

— где заканчивается зона действия стандартов,

— чем именно занимается Комитет по стандартизации JVET, и кто в нем участвует,

— почему компании хотят участвовать в работе Комитета,

— почему стандарты рождаются в битве.

Ведущие

— Алексей Федоров — продюсер в JUG Ru Group. В прошлом — инженер в Oracle и деврел в Одноклассниках.

— Кирилл Толкачев — занимается в JUG Ru Group разработкой видеосвязи, основанной на WebRTC.

Гость

Сергей Иконин — более 15 лет работает в области цифровой мультимедийной связи, а также участвует в международной стандартизации.

Подкаст уже доступен на YouTube, Apple Podcasts, Яндекс Музыке и ВКонтакте.

Подписывайтесь на удобные платформы, чтобы не пропустить новые выпуски!

Jump Cutter - проматываем паузы в видео

Недавно мы наткнулись на занятное расширение для браузеров, которое помогает быстрее смотреть лекции, доклады, интервью и прочие видео с “говорящими головами” — Jump Cutter. Оно детектит паузы в речи и ускоряет воспроизведение ролика во время пауз. За счет этого посмотреть вашу любимую лекцию по матану можно в ~1.5 раза быстрее.

Как это работает?
Мы бы не были юными видеоинженерами, если бы сразу не полезли в кишки расширения! Под капотом используется два алгоритма:

1) "stretching" (растяжение): громкость аудио-сигнала анализируется через Web Audio — если аудио слишком тихое, playbackRate видео увеличивается. Для того, чтобы задетектить переход с паузы на область с речью и обратно, используется небольшая задержка вывода аудио-сигнала (и в моменты перехода на речь сжимается и растягивается).
2) “cloning” (клонирование): создается скрытая копия видео-тега, которая играет видео с опережением. Громкость анализируется на ней — это позволяет избежать артефактов, возникающих в первом алгоритме на основном видео-теге в момент “стретчинга”. Алгоритм помечен в библиотеке как экспериментальный. Работать он на большинстве видео-сервисов не будет — если в плеере используется Media Source Extensions, рабочую копию видео-тега без модификаций кода плеера создать не получится.

Можно ли этот механизм как-то улучшить?
Есть классная идея! Чтобы лучше детектить пазуы, можно попробовать прикрутить в используемые алгоритмы шумодав — в сигнале будет оставаться только человеческий голос, и алгоритм будет проматывать шумы/музыкальные вставки. Сделать такую штуку можно через WebAudio — прикрутить ограничение частот через BiquadFilterNode или использовать более сложные фильтры на нейронках, типа rnnoise.
Сейчас как раз идет Hacktoberfest - отдаем идею бесплатно😉

wasp-hls: плеер на WebAssembly (Rust)

wasp-hls — пет-проджект Paul Berberian, ведущего разработчика rx-player. Идея проекта довольно интересная — реализовать всю логику плеера (парсинг плейлистов, загрузка сегментов, работа алгоритмов авто-качества и прочее) на Rust и запускать его в отдельном воркере через WASM. Очень много чего пока не поддержано и не работает, Paul пишет о том, что сейчас это скорее исследовательский проект.
Одна из целей — завести воспроизведение Low Latency HLS.

Идея проекта существенно вдохновлена плеером Twitch (он же Amazon IVS), который работает примерно так же — core-часть плеера написана на C++, и собирается в кросс-платформенные модули для кучи разных платформ с отдельными платформенными биндингами. К сожалению, плеер Twitch проприетарный, и о его внутренней архитектуре мы можем только догадываться. В 2021 году плеер Twitch, правда, стал опен-сорсным утек в сеть вместе с частью кода Amazon. Но мы такое не одобряем — если вам интересно, лучше почитайте исходники wasp-hls🤓

#подкаст

Новый выпуск VideoTech Podcast — «Экосистемы развлекательных сервисов»

Поговорили с Михаилом Мазановым из Кинопоиска об устройстве контентных сервисов:

— как используют технологии машинного обучения в онлайн-кинотеатре;
— что драйвит бизнес контентных сервисов;
— с какими проблемами сталкивается рынок онлайн-кинотеатров;
— в чем преимущества экосистемы вокруг продукта;
— как устроены Yandex FunTech и Плюс Студия;
— как повысить качество видео в онлайн-кинотеатре;
— куда движется развитие развлекательных систем.

Ведущие:
— Алексей Федоров — продюсер в JUG Ru Group. В прошлом — инженер в Oracle и деврел в Одноклассниках.
— Игорь Шеко — WebRTC эксперт и разработчик в Яндексе. 

Гость
Михаил Мазанов — отвечает за разработку и управление системой кодирования и защиты лицензионного контента в Кинопоиске и руководит отделом контроля качества Плюс Студии. Вторая работа Михаила — консультирование и менеджмент проекта Olympic Video Player в международной Олимпийской вещательной службе.

Подкаст уже доступен на YouTube, Apple Podcasts, Яндекс Музыке и ВКонтакте.

Подписывайтесь на удобные платформы, чтобы не пропустить новые выпуски!

P. S. Мы поменяли очередность выпусков по просьбе гостей. Сегодня публикуем третий подкаст, а на следующей неделе — второй.

Небольшой глоссарий (часть 1, часть 2), который поможет вам разобраться со стриминговыми терминами — чем VOD отличается от OTT, что такое FAST, SVOD, EST и другие страшные аббревиатуры.

Возвращаемся с апдейтом по Managed Media Source

В предыдущих сериях: раз, два.

Первая и самая интересная часть новости – Managed Media Source в iOS 17.1 работает. Но с нюансом – Apple хочет, чтобы вы не забыли про AirPlay. Изначально мы предполагали, что достаточно будет заменить new MediaSource() на new ManagedMediaSource()и все само заработает. Однако это приводит к тому, что инстанс ManagedMediaSource не кидает событие sourceopen и не инициализируется. Ошибок при этом вы тоже не увидите.

В попытке проверить, что происходит с нашей демкой, мы начали, в числе прочего, копаться в feature-флагах Safari. И обнаружили сразу под флагом Managed Media Source API другой – Managed Media Source Requires AirPlay source. И он включен по умолчанию. Если же его выключить, то демка превосходно начинает воспроизводить контент. Но пользователя же не заставишь выключать feature-флаг где-то глубоко в настройках браузера, поэтому надо искать другое решение.

Первое, что приходит в голову – поддержать AirPlay. В этом случае, все действительно начинает работать. Но если вы, вдруг, используете DASH-only потоки, вам станет грустно, так как AirPlay в них не умеет. То есть нужно всегда держать рядом HLS. Пример можно посмотреть тут.

Второе – отключить AirPlay. Тут тоже все хорошо работает. Достаточно добавить атрибут x-webkit-airplay=deny. Таким образом вы явно сообщаете Safari, что AirPlay не нужен. Пример для такого мы так же собрали.

Итого, Managed Media Source работает, но нужно помнить про AirPlay.

И в догонку к предыдущему посту, продолжим про новости от Apple.

В Safari на бете iOS 17.2 стало доступным Fullscreen API на любых HTML-элементах. Теперь можно будет показывать рекламу плеер со всеми кнопочками в Fullscreen на айфонах. Правда и тут не обошлось без нюансов. Так, например, слева сверху браузер будет рисовать свои контролы. Снизу, для большинства устройств будет отображаться системный контрол для выхода на рабочий стол. А еще нужно учитывать монобровь и Dynamic Island.

В общем, рекомендуем проверить, как ваш плеер готов к подобному, пока это еще бета.

А тем временем мы чуть было не пропустили релиз OBS с поддержкой ipv6 для RTMP и WebRTC. Три дня назад вышел релиз 30.0, который затащил эти много других прикольных фичей.

А ваша платформа уже готова принимать ultra low latency стриминг по WHIP/WebRTC?

Открыли VideoTech 2023!

А завтра на конференции будет Community Day - трансляция докладов и дискуссий 17 ноября будет доступна бесплатно (без смс, но с регистрацией🙂).

Не секрет, что авторы канала питают нежные чувства к MPEG-DASH. На конференциях в кулуарах выяснилось, что многие компании все ещё предпочитают HLS.

До мощных заруб не дошло, но возник вопрос:

WebCodecs: как используете?

На конференциях периодически слышу вопрос «Используете ли вы WebCodecs для стриминга, когда нет хардварных кодеков?»

Оно и понятно, технология новая и интересная. Есть демки (раз и два), которые показывают видео через WebCodecs. Существует мнение, что это просто демонстрация возможностей технологии, которыми на практике никто не пользуется. Формат видео mp4 + h264 покрывает 98% пользователей. Остальным 2% соболезную

Для чего же тогда нужны WebCodecs? В голову приходят несколько способов использования:
- шаринг экрана в звонке. Подробнее можно глянуть в докладе Коли Васильчука.
- замена фона в звонке (об этом Коля рассказывал на VideoTech этого года).
- покадровая перемотка для редактирования видео (этот кейс упоминался в докладе Exploring Video Editing in the Browser на Demuxed 2023).
- предпросмотр результата редактирования при применении EDL (Edit decision list) к видео. Подробнее в докладе Puppeteer + <canvas> + WebCodecs to replace ffmpeg на Demuxed 2021.

Получается, что на практике WebCodecs используются для редактирования видео в браузере и для сжатия изображения, создаваемого в браузере, а не для простого стриминга.

Расскажите, используете ли вы WebCodecs? И если используете, то для чего?

A story of an unknown low-tier device and its MSE issues

Алексей Березин из DAZN делится особенностями работы с MSE в плеерах на low-end устройствах (смарт-тв и сет-топ боксах)
blog.beraliv.dev/2023-12-21-story-of-unknown-low-tier-device-and-its-mse-issues-lvt-notes

Дорогие читатели! Поздравляем вас с наступающим или уже наступившим 2024 годом!

Желаем, чтобы ваши видео-сервисы всегда работали так, как вы этого хотите!

Видео — это вам не фото: о чём нужно знать разработчикам видеостриминговых сервисов

Антон Кортунов из Yandex Infrastructure опубликовал статью об оценке качества видео, и о том, как на него влияет синхронизация аудио и видео дорожек, параметры съёмки и FPS.
habr.com/ru/companies/yandex_cloud_and_infra/articles/783604