10.02.2025 Профайлинг в Reaper (Выпуск 46)

После того, как я добавляю звуки в игру, как и в музыке, их тоже необходимо сводить. Особенность нелинейного звука (а в играх звук зависит от действий игрока) влияет на инструменты для сведения. Правильное сведение звука в игре позволяет игроку слышать именно те звуки, которые наиболее важны в данный момент или предусмотрены драматургией.

Для игры Skylore я уже использовал линейное сведение, которое позволило мне настроить динамический микс как нестранно. То есть я собрал мультитрек конкретного геймплея и свёл его в Ableton Live. Это стало возможным благодаря профайлеру FMOD Studio, который в режиме симуляции позволяет воспроизводить звуки на нужной шине. По сути, я могу записать мультитрек игры и затем свести его. А вот для Wwise такой системы нет. Поэтому я решил создать систему, которая собирает все звуки так, как они звучали в игре, но уже в моем секвенсоре Reaper.

Об этой системе я рассказываю в своем видео:
00:10 — Демонстрация работы
00:35 — Зачем мне нужна такая система
01:58 — Как я делал линейный микс игры c FMOD Studio
04:26 — Система профайлинга в Reaper
07:32 — Я гений
09:15 — Что нужно, чтобы создать такую систему
12:12 — Работа с лупами

14.02.2025 Как озвучить шутер

Не так давно я участвовал в качестве жюри на конкурсе IGRA 2024. Конечно, основное внимание я уделял звуковому сопровождению, хотя благодаря опыту геймера могу оценить и гейм-дизайн, графику, и UX в целом. Проиграв 188 игр конкурса, я остался разочарован: около 95% проектов (я могу назвать на пальцах те, где звук выполнен достойно) подошли к звуку слишком халатно. Это как создать красивую машину снаружи, а внутри — из картона и пластмассы. Ведь игру мы воспринимаем через глаза и уши.

Вместо того чтобы жаловаться и просить разработчиков исправить звук, я решил сам озвучить один из фрагментов игры, а также показать, как правильно подобранный звук способен изменить восприятие. В итоге за час я смог добавить жизнь и динамику, просто изменив звуковую картину.

Тайм-код:
00:00 - Интро
00:32 - Предыстория
01:53 - Выбор игры
02:38 - Анализ фрагмента
03:33 - Создание базового слоя окружения
04:16 - Проговаривание основных механик фрагмента
04:48 - Озвучивание выстрелов
09:52 - Озвучивание робота
14:40 - Трассеры
15:47 - Создание атмосферы боя
16:40 - Хит-маркеры
17:04 - Хвосты выстрелов
18:38 - Сравнение: было/стало
19:58 - Выводы

25.02.2025 Реверс-инжиниринг и синтез

В 2019 году я начал активно применять синтез в аудиодизайне военной техники в World of Tanks. Чтобы понять, как воссоздать звук на синтезаторе, зачастую приходится проводить тщательный анализ спектра и разбирать звук на элементарные составляющие – синусоиды. Таким образом, любой звук можно воссоздать, если сначала разобраться, как он устроен – это главное правило реверс-инжиниринга и синтеза.

Для одного из проектов я решил реализовать систему процедурного дождя в аудиодвижке Wwise. Позже я опубликовал подробную пошаговую инструкцию по сборке такой системы на сайте компании: Generating Rain With Pure Synthesis.

В этом видео я хочу показать, из чего синтезируется звук дождя и как можно применить подобную систему:

00:08 – О реверс-инжиниринге звука
00:40 – Рассказ о проекте Generating Rain With Pure Synthesis
01:08 – Прослушивание процедурного дождя по слоям
03:37 – Демонстрация проекта Wwise
04:19 – Демонстрация проекта «Процедурный мир»
08:40 – Заключение

27.02.2025 Перевод видео

Решил перевести своё последнее видео на английский. Бабушка всегда говорила, что лень родилась вперёд меня. Поэтому саначала я решил опробовать ленивые AI-решения в поисках нейронки, которая просто подменит мой голос на английский, чтобы не приходилось перезаписывать, тратить время и сводить.

В итоге самым быстрым решением оказался Dubs от ElevenLabs, но тут возник нюанс: я начал говорить с чистейшим индийским акцентом, в лучших традициях телефонной поддержки Apple. Ни одна из нейронок не дала достойного результата.

Поэтому я по старинке перезаписал голос поверх русской озвучки. Пока "искусственный интеллект" не смог украсть эту работу.

Хочешь сделать хорошо - сделай это сам.

03.02.2025 Вдумчивый анализ звука Somerville

Что отличает хороший звук в игре от посредственного?
Ответ на этот вопрос сложно уложить в формулу, но я попробую.

Q = M^(w_M) * D^(w_D) * B^(w_B) * (exp(–α·|I – I_target|))^(w_I) * A^(w_A) * C^(w_C)

Где:
- Q – итоговое качество звука (1 самый лучший звук).
- M – полнота озвучивания всех геймплейных механик (0…1).
- D – детализация звуковых подсистем в зонах фокуса игрока (0…1).
- B – баланс звукового микса в зависимости от игровых ситуаций (0…1).
- I – фактическая интенсивность звука, отражающая динамику геймплея (0…1).
- I_target – целевой (идеальный) уровень интенсивности звука, соответствующий стилю игры (0…1).
- α – коэффициент чувствительности, определяющий, насколько сильно отклонение I от I_target снижает качество.
- A – полнота озвучивания анимаций и результатов действий (0…1).
- C – концептуальная согласованность звуков с миром игры (0…1).
- w_M, w_D, w_B, w_I, w_A, w_C – веса каждого параметра (их сумма равна 1).

На днях я опубликовал вдумчивый анализ звука игры Somerville (по моей формуле Q = 0,97), в котором поделился техническими особенностями реализации звука в этой игре. Если вы дочитали до этого места, значит вам подходит такой формат вдумчивых анализов.

В видео:
01:22 - Ощущения от геймплея
02:31 - Динамика звука игры
05:05 - Подход к миксу игры
08:05 - Кинематографическое микширование
11:44 - Плавность переходов
13:27 - Environment Ambient Zone
18:12 - Ложка дёгтя
19:03 - Микс под водой
20:37 - Реверберация
23:25 - Дизайн звука существ
28:44 - Лейтмотивы
30:32 - Система движения
39:49 - Современный саунд-дизайн
41:52 - Микширование звуков по экрану
44:48 - Что понравилось Майе
45:46 - А мне понравилось больше всего

07.03.2025 Углубленный синтез жидкости

Работая над лекцией, я решил повторить проект коллеги по синтезу реалистичного звука воды. Но на моменте, когда нужно было переносить кривые модуляции для амплитуды и питча, я понял, что это ненаучно. Вернувшись к исследованиям, которые я использую на занятиях, подумал использовать математические формулы для расчёта параметров синтезатора, вместо того, чтобы пытаться перерисовать с экрана линии модуляции громкости и высоты тона.

Для этого я написал небольшую программу, которая основывается на формуле Миннерта и в основе своей решает дифференциальное уравнение, описывающее динамику колебательной системы:

v̈ + 2β(t)v̇ + ω₀(t)²v = F(t)

Созданную мной программу я выложил на своём спонсоре для подписчиков уровня эксперт.

Звук капли воды в основном создаётся колеблющимся воздушным пузырьком, захваченным под поверхностью воды, а не звуком удара воды о поверхность. В этом видео я рассказываю о том, как я синтезировал звук жидкости на синтезаторах:

01:26 - Проект жидкости на Ableton Live
01:46 - Вдохновение для проекта
02:41 - Начало синтеза на Phase Plant
03:16 - Исследования о звуке капли
05:22 - Составление таблицы данных для синтеза
06:14 - Создание программы для расчёта кривых в модуляциях
07:35 - Генератор случайных миди-нот
10:21 - Демонстрация звука
11:01 - Выводы, как меняется звук у разных капель
12:28 - Генерация звука множества капель

Хочу поделиться как проходят наши занятия Китайского языка с удивительным преподавателем. Это всегда весело и хочется повторить.

С переездом в Пермь, мой круг общения очень изменился.

Благодаря проекту «Точка сборки» в нем появилось много классных, интересных и талантливых людей!

Они не только увлечены своим делом, но и с удовольствием пробуют новое, выходя из зоны комфорта, заново открывая себя.

Теперь мне сложно назвать себя учителем, потому что то, чем я занимаюсь сейчас, совсем не похоже на школьную систему по звонку, а больше напоминает клуб любителей китайского языка и культуры, в котором мы классно проводим время и без стресса и давления с удовольствием погружаемся в язык.

Мне нравится делиться тем, что я умею, вспоминать интересные истории из жизни в Китае, рассказывать об особенностях быта и привычках китайцев, то, в чем мы и они совершенно не похожи. И классно, что это интересно другим!

И как же круто, когда никогда не учившие китайский ребята, спустя какое-то время, выходят на новый уровень: начинают читать иероглифические тексты, умеют задавать вопросы и отвечать на них.

А, встретив китайцев в кафе, на улице или поехав в командировку или на отдых в Китай, уже не боятся общаться.

В небольшом видео-фрагменте ребята первый раз читают диалог в иероглифической записи и делают это очень классно!

12.03. 2025 Расшифровка голоса в Reaper

Для моего нового проекта Neurofit понадобилась расшифровка речи (около 10 часов видео). В секвенсоре имеются длинные записи (более чем полтора часа каждая), которые хотелось бы как-то подсветить, добавить маркеры, а, возможно, и перевести всё, что говорится в видео. Хотелось бы иметь лёгкий поиск по тексту для нахождения фраз, сказанных голосом. Я нашёл прекрасное решение от Reaspeech для Reaper.

Пока писал пост, воспользовался этой технологией для распознавания своего выступления на конференции и запилил статью «Особенности звукового дизайна и сведения для VR-игр: опыт создания Counter Space».

В видео я рассказываю:
01:08 - О Reaspeech
01:36 - Распознаём речь
03:32 - Как использовать в проекте Reaper
04:26 - Как работает с русским языком
06:00 - Немного про мой новый проект Neurofit
07:35 - Как работать с Reaspeech
09:30 - Респект команде TechAudio

Всегда приятно получать подарки

Самые лучшие подарки — когда они делаются от души и когда в них вложены усилия. Когда дарящий чем-то жертвует.

Короткий ми-ми-ми эпизод, как я дарю единственный экземпляр точкосборковских штанов, сделанных Игорем Горячевым, своему другу и соратнику Александру Хилько.

24.03.2025 - Эмоциональный text-to-speech

Ещё в 2022 году, работая над одной игрой на пре-проде мы использовали TTS-модели для синтеза речи игровых персонажей. Результаты были, мягко говоря, драфтовые, но для быстроты подтверждения гипотезы это было вполне нормальным решением. После этого я периодически возвращался к этой теме и даже делал эксперимент создания студийного голоса с помощью нейросети.

Хочу поделиться новым экспериментом, который я проводил в области нейросетей и синтеза звука. На этот раз я решил протестировать, насколько качественно современные нейросети копируют голоса и работают с эмоциональными оттенками речи.

- 00:20 - Демонстрация копирования голоса
- 01:21 - Исходный материал
- 01:51- Генерация голоса из крика
- 03:09 - Голос нарратора
- 05:06 - Что-то пошло не так
- 05:34 - Убираем шумы
- 07:22 - Демонстрация других голосов
- 08:31 - Работа с акцентами
- 10:55 - Как это легально использовать, я так и не придумал

Пока серьёзные ребята играют в серьёзные бюджеты, мы в гик-режиме экспериментируем со своей игровой консолью. Чтобы делать офигенчик — нужна свобода и желание. То, что не купишь ни за какие деньги.

31.03.2024 Создание эффекта Доплера

С переходом на Reaper я с удовольствием взялся за кастомизацию моей рабочей среды. Создал разные удобные для меня расширения (switch container, перенос параметров звуковой дорожки на другую, профайлер для Wwise) и даже создал два контроллера (шорт-кат контроллер и миди-оркестратор).
На этот раз хочу познакомить вас со своей новой разработкой - Doppler Khilko. Я вдохновился плагином для Reaktor под названием Whoosh и решил сделать себе такой же, только для своих конкретных целей. И вот что из этого получилось:

00:12 - Объяснение эффекта
00:47 - Как всё начиналось
02:26 - Плагин Whoosh
04:00 - Доплер Хилько
06:37 - Применение плагина на звуке магии
08:55 - Результат

P.S. Ни один микрофон не пострадал. Это графика.

Хочу поговорить про эти ДНИ.

Ещё в институте я повредил плечо. Оно периодически то болело, то проходило. А в позапрошлом году у меня появился синдром замороженного плеча – я не мог поднять руку выше головы, достать парковочную карту через окно автомобиля или сумку с заднего сидения. С этим синдромом я посетил трёх врачей: хирурга, травматолога и остеопата. В надежде на волшебную таблетку и процедуры я целый год ходил от одного врача к другому. Пройдя различные неэффективные процедуры (МРТ, странные массажи, уколы гиалуронкой и блокады), по совету супруги, я начал занятия суставной гимнастикой и ЛФК. Всего за 4 тренировки мне удалось вернуть около 80% подвижности плеча, а оставшиеся 20% восстановились ещё за полгода. Вместо того чтобы наслаждаться полноценной жизнью в течение года, я, ожидая волшебной пилюли, ходил по разным врачам. В итоге пришлось выкинуть из головы идею о каком-то шорткате и пойти по скучному пути работы над собой - ДНИ (Долго, Непрерывно, Интенсивно).

Волшебную пилюлю ищут даже в звуке. Многие начинающие дизайнеры считают, что, найдя какой-то уникальный плагин, они, наконец, добьются крутого звучания. На основе желания аудитории найти волшебную кнопку строятся бизнес-модели некоторых корпораций. Секрет хорошего звука прост: нужно много работать, развиваться и хорошо знать свой инструментарий.

Исходя из опыта, я решил, что вместо поиска шортката буду выбирать нудный путь труда, который суперочевиден и требует ежедневного выполнения монотонных задач (еще раз, Долго, Непрерывно, Интенсивно). И я буду получать от этого удовольствие, зная, что точно добьюсь результатов.

P.S. На видео вы видите, как я прохожу простую трассу на Сборке №3. Это спустя два месяца монотонных упражнений по суставной гимнастике и ЛФК.

Двенадцать лет назад, на первое апреля, я снял видео под названием "Ableton Mobile LEAKED VIDEO" (тогда было в моде называть видео "слитой инфой"). Я записал экран ноутбука, где в такт переключались разные экраны и кнопки Ableton Live, а затем запустил это видео на iPad. Так как всё переключалось в ритм, имитировать работу тачскрина было довольно просто.

Я пробовал разные синтезаторы для iPad, и Animoog показался мне более-менее интересным. Вот моё старое видео на эту тему. Однако в виде плагина для секвенсора это было бы в разы удобнее. Мне кажется, синтезаторы для планшетов - это скорее попытка дешёвой замены железных синтезаторов. Конечно, они не могут заменить сами устройства. Это как говорить, что порно заменяет настоящие, тёплые отношения с любимой женщиной.

В итоге, спустя десять лет, Ableton-таки выпустили свой мобильный "секвенсор", но он даже близко не может заменить десктопную версию. Ранее были попытки у FL Studio (FL Studio Mobile) и у Stainberg (Cubasis) - всё это баловство.

Вообще, iPad (и другие планшеты) на мой взгляд — довольно бессмысленное устройство. Ни для музыки, ни для написания текстов, ни для исследований оно не подходит. Мне всегда было удобнее печатать на клавиатуре, чем водить по экрану, а играть удобнее на консолях или на компьютере. Я видел людей, играющих на планшетах, и, по-видимому, самые счастливые игроки на планшете - это дети, играющие в донатные помойки. К тому же, чтобы таскать с собой планшет, нужна сумка или рюкзак, куда можно положить и ноутбук.

Кажется, единственное, где планшет действительно удобен, — это для рисования, для мерчендайзеров и для детей, которых затыкают планшетом.

В итоге мобильный Ableton Live, который мог бы изменить мобильный продакшн, останется лишь первоапрельской шуткой.

Для любого профессионала важно нарабатывать насмотренность. Хорошему саунд-дизайнеру необходимо не только уметь на заказ создавать определённые звуки, но и придумывать, как это может звучать. Для этого нужно самому играть в игры, слушать и анализировать. Чтобы эти знания, попадающие в оперативную памяти, переходили в долговременную, требуется обработка знаний. Глубина обработки существенно влияет на запоминание и усвоение, так как объём затраченных когнитивных ресурсов напрямую отражается на степени восприятия. Именно поэтому я всегда, после игр, формулирую свои мысли в виде аналитического отчёта - простого эссе. Это помогает развивать и формировать мой вкус в звуке.

В идеале стоит даже заниматься редизайном звука в игровых сценах. Это, конечно, требует значительных усилий, но главный приз - развитие профессиональных навыков. Аналогично поступали ученики академических европейских школ в эпоху барокко, копируя произведения Рубенса, Караваджо и других мастеров. Уверен, вы слышали истории про учеников Микеланджело и Рафаэля. В музыке исполнение (заучивание и воспроизведение) великих произведений является основой музыкального образования, а анализ и копирование – основой профессионального развития. 

Подобное я рекомендую своим начинающим коллегам. На занятиях по саунд-дизайну я дал задание провести аналитический разбор звука в играх, и по итогу меня приятно удивило, сколько вдумчивых эссе на эту тему получилось. Лучшие из этих отчётов я буду публиковать на нашем канале Sponsr в открытом доступе. 

Первым станет анализ саунд-дизайна игры Amnesia: The Bunker.

Вчера включил Deus Ex: Human Revolution и удивился, что я не получаю информации о том, достиг ли мой выстрел цели. Отсутствие хитмаркеров, как утверждают, является специальным дизайнерским решением. А я, как любитель шутеров, ожидал очередного игрового микса, где мне чётко давали бы обратную связь, как в соревновательных шутерах.

Поскольку при озвучке шутеров я уделяю большое внимание UX, решил глубже изучить тему обратной связи в шутерах. В мои руки попали свежие исследования шведских коллег «Аудиальная и визуальная обратная связь: влияние на игровую производительность и понимание в шутерах от первого лица». Прикладываю перевод: https://sponsr.ru/xssracademy/91415

Исследователи выдвинули гипотезу о том, что конфигурация обратной связи оказывает заметное влияние на время прохождения уровня. Более конкретно, предполагается, что разница в игровом времени между наилучшей и наихудшей конфигурацией может достигать 10–20 секунд.

Мне кажется время прохождения уровня странной метрикой для определения успешности игроков. Я бы даже отдал предпочтение субъективному восприятию медиапродукта, то есть тому, насколько удобно и кайфово играть в игру. Тем не менее:

В рамках исследования участников попросили поиграть в специально разработанную игру с тремя различными «конфигурациями обратной связи»: одна основана на визуальных элементах, вторая — на аудиоэлементах, а третья сочетает оба типа сигналов. Количественные показатели, такие как время прохождения уровня и количество собранных предметов, отслеживались для определения влияния конфигурации обратной связи. Участников также просили поделиться своими впечатлениями от игры с разными конфигурациями, и среди них наблюдался широкий консенсус о том, что конфигурация, основанная исключительно на визуальных элементах, не является предпочтительной. В целом, обратная связь не оказала значительного влияния (🤨 ) на производительность игрока, однако все 12 участников отдали предпочтение либо смешанной, либо аудиоконфигурации.

Наиболее интересно то, что удалось достичь, и, конечно, как звук влияет на общий игровой опыт. Оказывается, что различные конфигурации обратной связи не оказали значительного влияния на объективные показатели (например, время прохождения уровня), но существенно повлияли на субъективное восприятие и способность усваивать информацию об игровых событиях.

Коллеги работали своими силами и не привлекали профессиональных аудиодизайнеров. Уверен, если бы в разработке участвовали саунд-дизайнеры, результаты могли бы более выраженными.

А вот и результаты:

Результаты исследования указывают на предпочтение минималистичного визуального дизайна, а дополнительную информацию (например, о сборе предметов) эффективнее передавать через аудиальные сигналы. Аудиальные подсказки позволяют игроку пассивно регистрировать информацию, не отвлекаясь от основной задачи.

Оказывается, звук важен!

В исследованиях даже приводится эксперимент из публикации 1998 года:

Брюстер провёл исследование, в котором кнопки — один из самых распространённых элементов графических интерфейсов — были улучшены с помощью неречевых аудиальных сигналов. В исследовании отмечается, что кнопки могут создавать проблему: пользователи могут полагать, что кнопку нажали, даже если нажатие не было зафиксировано. Это происходит, когда курсор уходит с кнопки до отпускания мыши, а отсутствие обратной связи лишь усугубляет ситуацию. Брюстер успешно решил эту проблему, добавив к кнопкам неречевые звуковые эффекты, предоставляющие более информативную обратную связь. Реализация включала три звука, соответствующие трём этапам взаимодействия с кнопкой. Первый звук — постоянный тон 130 Гц, воспроизводившийся, пока курсор находился над кнопкой. Второй звук — постоянный тон 261 Гц, звучавший при нажатии кнопки мыши, когда курсор находился над ней. Третий звук, состоящий из двух коротких тонов 1046 Гц, воспроизводился при отпускании кнопки, сигнализируя об успешном нажатии. Итоговое тестирование показало, что звуковое сопровождение графических элементов приводит к положительным результатам.

Почему игру нельзя озвучить правильно, если человек, который этим занимается, сам не играет в игры? Ответ очевиден: получится не «игровой звук», а какой-то другой.

Я даже допускаю, что существуют примеры игр, где саунд-дизайн был создан людьми, не знающими, как должен звучать «игровой звук», и это получилось гениально (хоть я и не могу привести ни одного примера). Но я слышал слишком много случаев, когда работу выполняли люди, либо не обладающие нужными навыками, либо вовсе не играющие в игры, и результат звучал посредственно.

Под «игровым звуком» я понимаю совокупность звуков, которая в каждый момент времени выставлена в нужном игроку балансе. В кино звук выполняет роль поддержки эмоций, задуманных режиссёром, и передачи состояния героев сцены или мира. В играх задача меняется: в зависимости от жанра, звук может выполнять как информативную, так и художественную функцию. Часто в одной игре сочетаются несколько видов озвучки.

Я приведу видеопример из игры Horizon Forbidden West. Сначала идёт катсцена, где слышны только звуки того, что находится в кадре — здесь огромную роль играет музыка (например, звучит лейтмотив из первой части игры). А затем, когда герои спускаются с обрыва, камера переходит в «игровой стейт», и звуковая сцена полностью перестраивается. Это уже другой тип звука: эмбиент становится громче, диалоги меняются, даже шаги и движения приобретают другую громкость и акценты.

Разный подход к созданию звуковой сцены обусловлен тем, что когда игрок наблюдает историю, он является зрителем. Ему нужно рассказать историю и создать условия для сопереживания персонажу или миру. А когда он управляет персонажем, задача звука меняется: он должен передать состояние героя, дать информацию о количестве патронов (или стрел), их убойной силе, типе поверхности, по которой движется персонаж, и сообщить, находится ли сзади враг, готовый напасть. Именно потому, что потребности игрока отличаются от потребностей зрителя, в Battlefield 2042, например, слышны настолько громкие шаги других игроков, что первое впечатление может создать ощущение скачущих лошадей. Но когда ты лежишь в засаде и выцеливаешь противника, возможность заранее услышать подкрадывающегося врага может дать решающее преимущество.

В истории есть примеры, когда создатели чего-либо не являлись потребителями своей продукции. Как я слышал, создатели дизайна дорожных знаков не были водителями; создатель системы Лондонского метро не имел отношения к общественному транспорту; создатель памперсов был инженером, а не отцом маленького ребёнка; создатель синтезатора Moog был инженером и исследователем звука, а не музыкантом. Я встречал множество успешных электронных музыкантов, не обладающих исполнительскими навыками на каком-либо инструменте и даже без базовых знаний музыкальной теории. И при этом, мы не узнали тысячи продуктов, созданных людьми, не разбирающимися в вопросе, поскольку такие продукты оказались бесполезными и неудобными.

Все эти примеры лишь подтверждают концепцию: для создания хорошего продукта необходимо понимать целевую аудиторию и проводить исследования пользовательского опыта. Один из способов для аудиодизайнера понять игрока и его игровой опыт — это играть в разные игры (хорошие и не очень).