Playback Pioneers 2025: Главные имена и тренды в мире видео

5Video выпустили отчет Playback Pioneers 2025, в котором собраны компании, люди и сообщества, влияющие на индустрию видеосервисов. Отчет разделен на три части:
- Facilitators — ключевые сообщества и альянсы, как RDK, Women in Streaming Media, Faultline, The Media League, DTVKit, SMPTE, SVTA, и другие;
- Pioneers — инноваторы из Roku, Google, Netflix, Accedo, Disney, Prime Video, Bitmovin, 3SS, и десятки других;
- Influencers — аналитики, основатели медиа и создатели комьюнити, формирующие повестку.

Читайте и пополняйте базу контактов на LinkedIn!

IETF HLS Interest Day
23 октября в 20:00 по МСК

Apple проводит онлайн-встречу, посвящённую технологиям, связанным с HLS: кодирование, транскодирование, CDN и воспроизведение в клиентских приложениях.

Регистрация и детали:
developer.apple.com/events/view/R8NZY3AL53/dashboard

Трансляция будет проходить на YouTube.

Позавчера определи максимальное разрешение человеческого глаза. Главное практическое знание — вероятно, вам не надо 8K, не ведитесь на маркетологов. Вот тут журнал Природа учит выбирать телевизоры.

Производители экранов постоянно хотят втопырить вам экран с разрешением повыше. Есть предел, после которого человеческий глаз просто перестает замечать разницу. Дальнейшее увеличение разрешения становится пустой тратой денег, энергии и вычислительной мощности. Этот предел называют «ретинальным разрешением».

Раньше считалось, что теоретического предела достигли яблофоны с их Retina, потому что при обычном использовании на них вроде как не особо видно отдельные пиксели.

Проблема в том, что чёткая у нас только одна зона в центре, и довольно узкая, всего на пару слов для книги. Всё остальное размытое, но мы очень быстро двигаем глазом, а мозг очень классно монтирует из кучи собранных чётких снимков одну панораму. Если что, попозже принесём работы, как устроен стрим с глаза, там собираются именно что обработанные пакеты, и они приходят дискретно, а не потоком. Стандарт 60 пикселей на градус.

По идее, измерять надо только этот чёткий центр, а не всё вокруг. Раньше вроде как по-разному усредняли.

Взяли очень качественный 4K-монитор и поставили его на рельсы. Плавно двигали его ближе или дальше от сидящего перед ним человека. Участникам эксперимента (18 людей с глазами) показывали разные настроечные таблицы. Тестировали и центральное зрение, и периферийное (10 и 20 градусов в сторону).

— Черно-белое изображение: предел разрешения составляет в среднем 94 пикселей на градус. Это в полтора раза выше, чем стандартные 60! Некоторые участники могли видеть даже до 120 пикселей на градус. Это доказывает, что многие современные дисплеи, считающиеся «ретинальными», на самом деле сильно не достигают предела человеческого зрения.
— Красно-зеленое изображение — 89 пикселей на градус. Это стало сюрпризом. Обычно считается, что глаз хуже различает мелкие цветные детали.
— Желто-фиолетовое изображение — 53 пикселя на градус.
— Боковое зрение. Для черно-белых узоров разрешение на периферии (в 10°) падает в 2,3 раза, для цветных — 5 раз! То есть цветных деталей там нет.

Итого:
— Для 8K-телевизора нет смысла сидеть дальше, чем на расстоянии 1,3 высоты экрана — вы все равно не увидите разницы с 4K.
— VR-шлемы: технология фовеального рендеринга основана на том, что компьютер в шлеме отслеживает движение глаз и рисует картинку в максимальном качестве только в центре взгляда, а на периферии — в пониженном. Это экономит огромные вычислительные ресурсы. Новое исследование дает точные данные, насколько можно снижать разрешение на периферии, причем отдельно для яркости и для цвета. Оказывается, цветное разрешение можно резать гораздо сильнее, чем яркостное.
— Сжатие фото и видео (JPEG, H.265, AV1): Почти все форматы сжатия используют цветовую субдискретизацию — информация о цвете сохраняется с меньшим разрешением, чем информация о яркости. Исследование подтверждает, что для желто-фиолетовой гаммы это абсолютно оправдано. А вот для красно-зеленой не надо!

Они же положили калькулятор для дистанций/разрешений ещё.

Работу принёс @Meklon с @trinidad_creature.

--
Вступайте в ряды Фурье!
— Почему снайпера в окне здания в 500 метрах мужик видит, а кетчуп посреди холодильника нет?
— Так кетчуп не шевелится!

В догонку поста про разрешение экранов — теперь про частоту кадров!

Холивар про то, с какой частотой надо покупать экран при том, что человек вообще-то видит примерно 24 кадра в секунду (и спойлер, это не так).

Короче, с научной точки зрения — не меньше 500 Гц. Вот работа.

В ней нашли, что человеческий глаз может видеть мерцание экрана на частоте до 500 Гц (а иногда и выше), хотя раньше считалось, что предел — около 90 Гц. Но только если на экране есть резкие границы внутри картинки.

Почему понадобилось исследование: есть много всратых дисплеев, которые мерцают не одним и тем же:
— DLP-проекторы делают картинку, быстро показывая по очереди красные, зеленые и синие кадры.
— Секретные экраны: могут показывать одну картинку для человека в специальных очках, а для всех остальных — другую. Это показ очень быстрой последовательности разных изображений.
— Есть системы, где экран может сначала картинку, а в следующий момент — её точный негатив.

Если делать это быстро, считается, что глаз всё усреднит и мозг получит стабильное изображение. Тут проверили. Сажали людей в комнату и давали им регулировать изображение, пока оно не переставало мерцать:
— При равномерном свете: всё получилось как по учебнику. 65 Гц.
— На изображении с резкой границей — абсолютно все участники эксперимента видели мерцание на частоте выше 200 Гц. А медианный результат показал, что мерцание пропадало только на частоте более 500 Гц. Некоторые видели артефакты даже на частоте 800-1000 Гц! Эффект сохранялся для всех цветов.
— Именно резкие пространственные границы на изображении являются ключом к этому феномену.

Гипотеза — причина в саккадах — быстрых, непроизвольных движениях наших глаз. Когда саккада идёт через контрастный переход, и из-за сочетания движения глаза и мерцания света, на сетчатке возникает узор из вспышек, который мозг воспринимает как артефакт мерцания.

Теперь вторая работа. Уже очень прикладная — "Действительно ли монитор с частотой 120 Гц или 240 Гц лучше для показа движения, чем стандартный монитор на 60 Гц?"

Вывод: да, чем выше частота обновления, тем лучше мозг видит движение. Для большинства научных экспериментов с движением нужно использовать монитор с частотой не менее 120 Гц. А если объект движется очень быстро — то 240 Гц или даже выше. Раньше, чтобы оценить качество изображения, людей просто спрашивали: "Видите ли вы разницу?". Но такие ответы субъективны. Ученым был нужен объективный способ измерить, насколько хорошо мозг на самом деле обрабатывает движение. Тут 17 добровольцев получили электрэнцефалографы вместо вопросов:

— Сигнал мозга значительно сильнее при просмотре на мониторах 120 Гц и 240 Гц по сравнению с 60 Гц.
— Самый большой скачок качества — от 60 до 120 Гц.
— Для быстрого движения 240 Гц всё же лучше, чем 120 Гц.
— Высокая частота обновления помогает мозгу различать похожие типы движения. Мозг по-разному реагировал на плавное и резкое движение. На плавное движение отклик был сильнее.

Сказали, что стандарт теперь должен быть 120 Гц.

Третья работа, тут считали индивидуальные особенности разных людей. Мальчик, девочка — пофиг, но вот разные люди показывают разные скорости восприятия. Кому-то норм 30 fps, кому-то мало 120. Разброс скорости зрения у людей сопоставим с разницей, которую наблюдают между разными видами животных, живущих в совершенно разных условиях.

Эти различия могут объяснять, почему некоторые люди лучше справляются с задачами, требующими быстрой реакции и восприятия — например, в спорте (теннис, пинг-понг), видеоиграх или при вождении автомобиля.

Тут изучали уже киберкотлет:
— По этой работе можно тренировать эту характеристику в среднем на 30%.
— Вот ещё. Тренировки работают и ещё и скорость чтения растёт. Придумали более быстрый способ качаться. Видеоигры в детстве, кстати, помогали.

Так что обычному человеку хотя бы 120, а если вы киберкотлет, вам надо 240. Да, прирост от 120 Гц будет в считанные проценты, но это не маркетинговое фуфло.

--
Вступайте в ряды Фурье! Отрубил Илья Муромец Змею-Горынычу голову — на её месте выросло две. Срубил две, выросло четыре. Потом 8, 16, 32, 64, 128 и 256. А дальше Змей сдох, потому что был 8-битным!

30% просмотров в Netflix — с AV1

Пока мы с попкорном следим за тем, кто всё-таки купит Warner Bros, Netflix продолжает внедрять новые кодеки. В их блоге — статья, рассказывающая о таймлайне внедрения AV1 и дальнейших планах.

Коллеги, тестируете на проде?

MoQ в shaka-player

В shaka-player завезли поддержку спецификации MoQ (пока в main, релиз ещё не выпущен, но пример уже можно посмотреть на демо-стенде).

MoQ — это открытый протокол для передачи медиаконтента поверх QUIC с ультранизкой задержкой (в реальном времени). Развивается, в том числе, как замена HLS и DASH.