Замечательные люди и моя гитара

В седьмом выпуске Хилько о звуке для взрослых я решил написать композицию для игрового прототипа, который мы делаем на Unreal Engine по мотивам 𝒯𝒽ℯ ℒ𝒶𝓈𝓉 𝑜𝒻 𝒰𝓈. Так как у меня появилась такая классная гитара, грех было её не использовать для этого трека.
В видео:
- Поиск идеи;
- Эксперименты с гармонией;
- Подбор тембров;
- Запись инструмента;
- и удовольствие от процесса создания музыки.

Всё, Нил Дракман, я сделяль.

[1/2] 27/09/2023
Виртуальные эмиттеры звука. Создание геймобъектов на нормалях векторов относительно точки аттенюации.

Если вас не испугали эти слова, тогда вам будет интересно посмотреть очередной эпизод из моего рабочего процесса.
Этот выпуск действительно о звуке и для взрослых 🔞

На сей раз я решил разобраться, как лучше технически реализовать "считывание" звуков для изометрический камеры. Этот вопрос меня давно мучил, хотя я делал звук для нескольких игр с подобным расположением камеры, но всегда опускал руки из-за недостатка технических навыков. А потом я просто собрал прототип на коленках и выяснил, как лучше настраивать аттенюацию в играх с подобной камерой.

Идея оказалась проста: Листенер вешаем на камеру. Затем выбираем точку аттенюации, которая размещена в голове персонажа. Для каждого звукового объекта вычисляем расстояние от 3D позиции источника звука до позиции аттенюации. Затем находим нормализованный вектор от каждого эмиттера звука к позиции листенера. Наконец, создаём геймобъект вдоль нормализованного вектора на расстоянии, рассчитанном от позиции аттенюации.

Вот об этом я и рассказываю в видео:
- Сначала я разбираюсь с проблемой восприятия звука в играх с "дьяблоподобной" камерой
- Сдуваю пыль с книги Game Audio Programming и начинаю погружаться в теорию виртуальных эмиттеров звука
- Пишу несложный скрипт, который проецирует геймобъекты относительно точки аттенюации на нормалях от листенера
- И самое главное я решил сравнить с обычным для меня методом восприятия звука
- А на вкусное сравнение для камеры от третьего лица

А если вас всё-таки испугали слова Виртуальные эмиттеры звука, точка аттенюации и так далее, тогда вы, скорее всего, не читаете это и я могу написать что угодно. Например, Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.

[2/2] 27/09/2023

Новый месяц и новый набор реакций, которые не имею никакого смысла.
Вы можете себя награждать ими за то, что дочитываете (досматриваете) мои посты и видео до конца.
В этом месяце ничего не значат: 🕊голубка, несущая веточку, 🌚 чёрный кружочек с рожицей, 🎅 жёлтый Дед Мороз, и, конечно же, каменный истукан 🗿

[1/3] Как сэкономить на локализации игр?

Одним из вызовов при разработке нарративных игр, выходящих на разные регионы, является правильная локализация и озвучка персонажей. Чем больше языковых версий игры (например, в World of Tanks у нас было более 20 локалей), тем выше расходы на адаптацию.

Некоторые разработчики используют интересный подход - создают вымышленные языки для персонажей. Такие языки можно встретить не только в играх, но и в литературе, кино. Вот несколько знакомых примеров:
▪️ "Elder Scrolls: Skyrim" с языком драконов Dovahzul;
▪️ "Mass Effect" и язык асари Keleseya;
▪️ "Star Wars" и известный язык Huttese;
▪️ "World of Warcraft" с языками эльфов крови Thalassian и троллей Zandali;
▪️ "The Sims", где используется Simlish — скорее имитация, чем полноценный язык.

Этот список стоит дополнить примерами из литературы и кино:
▪️ Квенья и Синдарин - созданные Дж. Р. Р. Толкиеном языки для "Властелина Колец".
▪️ Клингонский из "Звёздного пути", разработанный Марком Окрандом.
▪️ Дотракийский и Валирийский из "Игры престолов".
▪️ Язык На'ви из "Аватара".

Отдельно стоит упомянуть Эсперанто — искусственный язык, созданный в конце 19 века как универсальный язык для общения.

Примерами хорошей реализации микроязыков являются игры Brothers: A Tale of Two Sons и Planet of Lana (которую я в настоящий момент прохожу и от которой в восторге), так как они направлены именно на звуковую составляющую. Микроязыки в этих играх полностью устные. С первых же слов игрок интуитивно опирается на знакомые маяки: интонацию, жесты и контекст, легко расшифровывая смысл произнесённого уже после первой демонстрации.

Важно отметить, что вымышленный язык необходимо тщательно проработать, особенно когда отсутствуют субтитры и локализация игры. Это становится критичным, когда нарратив передаётся через нестандартные средства: цвета, эмоции, музыку, и игрок строит историю в своём воображении самостоятельно (хороший пример - Scorn с его бессловесным миром).

Войсоверы, так же как и любая информационная система, подчиняются принципам информационной достаточности (это концепция предполагает, что информация, предоставляемая пользователю, должна быть столь полной и ясной, чтобы позволить получателю принимать осознанные решения или понимать предмет без необходимости обращения к дополнительным источникам):
▪️ Краткость: минимизация объёма передаваемой информации без ущерба для понимания;
▪️ Последовательность: логичная и согласованная подача информации;
▪️ Доступность: войсоверы должны апеллировать к основным эмоциям и желаниям, легко узнаваемым у персонажа (например, страх, любовь, голод).

[2/3] Как сэкономить на локализации игр?

Создание псевдоязыка также предоставляет преимущество в виде возможности лёгкой адаптации контента для различных аудиторий без затрат огромного количества ресурсов на перевод и дубляж.

В процессе передачи нарратив через такой (обычно примитивный) язык, игроков необходимо ознакомить с базовым словарём игры. Это обычно происходит в туториалах, когда, например, ❶ показывают, какие кнопки необходимо нажимать, ❷ демонстрируют соответствующее действие и ❸ сопровождают его голосовым уведомлением на вымышленном языке.

Анализируя выдуманный микроязык, можно выделить ключевые элементы:
▪️ Фонетика и фонология: особенности произношения, акценты и ударения.
▪️ Грамматические категории: время, падежи и структура вопросов.
▪️ Приставки и окончания: они могут менять значение слова или его грамматические особенности.

Таким образом, помимо слов, стоит продумать конструкции, описанные мной выше, и вводить их постепенно, обучая игрока как ребёнка.

Рассмотрим, например, микроязык в игре "Planet of Lana". В этом языке есть:
▪️ Гласные: a, e, i, o, u и согласные: k, l, m, p, s.
▪️ В слове “kielo” суффикс “-lo” может указывать на инфинитив глагола. Префиксы “o-” и “pa-”, вероятно, указывают на направление действия.
▪️ Структура предложения чаще всего "глагол-объект", например, "отправляйся туда" (pamaki).
▪️ Глаголы: "kielo" (совершить действие), "olai" (следовать), "pamaki" (отправляться), "ima" (оставаться);
▪️ Существительные: "mui" — имя напарника Ланы, похожего на кота.

Основываясь на этих правилах, словарь можно расширить следующими словами:
"быстро" — opila;
"помощь" — makielo;
"дружба" — lumai;
"вода" — pina;
"еда" — komi;
"спать" — silo.

А так могло бы звучать осмысленное предложение на этом языке: Mui silo opila lumai pina (буквальный перевод — Муй быстро спит в обществе воды).

Интерпретация: Муй быстро засыпает, находя умиротворение под звуки воды.

Создание такого языка — отличный способ сэкономить на локализации игр. Главное, чтобы язык был "созвучен" окружающему миру и актёр убедительно его отыграл. А игроков мы будем учить с такой же теплотой и трепетом, как мы обучаем детей. Представьте, как вы говорите ребёнку. "Мааааамааа" и "Пааааапа". С правильной интонацией войсоверы помогут игроку быстро освоить псевдоязык и погрузиться в игровой мир.

P.S. И да, в таких играх звук является важнейшей частью игрового процесса!

[3/3] Как сэкономить на локализации игр?

А вот пример звучания выдуманного языка к которому я так долго подводил.
Обратите пристальное внимание на звучание персонажа. Я верю!

05.10.23 Аттенюация по экрану

Мне показалось, что я где-то слышал ещё один способ настройки аттенюации в изометрии. Напомню, в прошлый раз мы с вами разбирались с виртуальными эмиттерами, а сейчас задача усложнилась. Я захотел, чтобы звук был слышен только тогда, когда он на экране, а его громкость затухает плавно ко всем точкам.

- Я показываю, как в Unity можно реализовать Аттенюацию по экрану (screen-space distance attenuation);
- Как (и зачем) работает "прямоугольная" аттенюация;
- И главное, какой способ аттенюации лучше: когда листенер на камере, виртуальные эмиттеры или экранная аттенюация?

Суть идеи:
❶ Берём точку из игрового мира;
❷ Применяем к ней математические преобразования, используя матрицы вида и проекции;
❸ Преобразуем эту точку в координаты экранного пространства;
❹ Рассчитываем расстояние от этой точки до персонажа;
❺ Передаём параметр в Wwise.

Меня с коллегами пригласили в жюри Siberian Game Jam. Мне кажется, создавать хороший звук можно (и нужно) именно с таких маленьких проектов, которые могут вырасти в сильные студии.
Своей задачей вижу не просто сказать хороший звук в игре или плохой. Я считаю нужно рассказать (и показать) как именно озвучивать игры.
Мой подход такой: трезвонить на каждом углу про звук в играх, показывать примеры хорошего звука, разбирать под микроскопом звук, демонстрировать примером как нужно делать звук в играх. И когда-нибудь, это приведёт к тому, что будет выходить больше хорошо звучащих игр, а наши саунд-дизайнеры будут задавать тренды в игровом звуке.

Вся информация про геймджем находится здесь: https://vk.com/sibgamejam
Буду рад видеть вас на проекте.

13.10.2023 Озвучивание окружения в прототипе игры

Коллеги, каждое видео в этом блоге — это фрагмент моего рабочего дня с моими комментариями. Поскольку здесь нет сценарной постановки, то вы сможете увидеть мои методы решения задач, как рассуждаю, какие ошибки я делаю и как нахожу решения. Я хочу показать настоящий рабочий процесс аудиодизайнера и, надеюсь, это поможет кому-то влюбиться в профессию.

В десятом эпизоде я записал процесс озвучивания небольшой карты постапокалиптического мира, вдохновлённой игрой The Last of Us 2.

Вы увидите:
❶ Анализ звукового оформления в выбранном референсе;
❷ Процесс создания звукового контента;
❸ Как происходит создание подсистем в Wwise;
❹ Имплементация звуков в Unreal Engine 5;
❺ И, конечно, подлинные эмоции, когда я придумываю что-то новое.

Кто твоя тень?

В мае, вместе с коллегами, мы начали работать над этой композицией. Нам хотелось создать песню с понятным смыслом, красивой запоминающейся мелодией и интересными инструментами.

Трек был создан в темпе 120 ударов в минуту, а гармония строится по аккордам Dm (До минор) - Eb (Ми-бемоль мажор) - Ab (Ля-бемоль мажор) - Fm (Фа минор). Опираясь на мой прошлый опыт в области электронной музыки, чтобы композиция "качала", стоило увеличить темп до 138-144 BPM и транспонировать его, например, в тональность Соль минор. Это позволило бы начинать на сильной доле не с 65Гц в саб-басе, а около 50Гц, добавив таким образом больше энергии в нижний регистр и сделав трек более динамичным.

Однако на этот раз мы подошли к композиции иначе. Музыка работает с различными элементами композиции, исходя не из математических расчётов (хотя математика в музыке определённо есть), но и из глубины души.

Именно этот принцип лежит в основе нашей песни и клипа: когда работаешь в команде мастеров своего дела — музыкантов, исполнителей, художников, аниматоров, 3D-дизайнеров и других специалистов — и вкладываешь душу, итоговый продукт становится уникальным и запоминающимся. Результат будет актуален не просто, пока популярен определённый стиль, но и дольше — всё время, пока живёт идея.

Музыка:
- Иван Кучеренко
- Александр Хилько

Слова:
- Ли́са

Саунд-дизайн:
- Александр Хилько

Музыканты:
- Вокал: Ли́са
- Клавишные и оркестровка: Иван Кучеренко
- Синтезатор: Александр Хилько
- Гитара: Дмитрий Мигаль
- Бас-гитара: Вячеслав Скадорва
- Ударные и перкуссия: Алесь Соболь
- Гитара и постпродакшн: Владимир Козин

20.10.2023 Создание студийного голоса с помощью нейросетей

На этой неделе я активно экспериментировал с голосовыми нейросетями. Подумал, раз они способны имитировать голос, то, возможно, могут и превратить голос низкого качества в студийный. С этой идеей я начал экспериментировать: записывал свой голос через микрофон телефона и с помощью нейросети, обученной на моём голосе, преобразовывал записи.

Меня интересовало, как длительность обучения влияет на итоговое качество и каким должен быть исходный материал для тренировки (эмоциональный, статичный, шёпот или с разной интонацией).

В видео:
❶ провожу тестирование создания студийного голоса;
❷ исследую минимальные требования для достижения лучшего качества;
❸ демонстрирую возможности системы TTS;
❹ подменяю голос Гузеевой;
❺ говорю на английском.

Я большой поклонник серии The Last of Us. Пройдя обе игры спереди и сбоку, меня очень вдохновил детальный подход ко всем составляющим игры. А так как мой домен - это звук, то от меня не могла скрыться детализация в звуковой картине. И чтобы научиться делать также я с помощью UE5 + Wwise воссоздал звуковую картину, написал подобную музыку, создал основные звуковые подсистемы The Last of Us 2. Будем считать, что это мой трибьют звуку этой замечательной серии.

Видео: https://www.youtube.com/watch?v=wBQNwKKUaw4

27.10.2023 Дизайн выстрелов автоматической винтовки

После успешного редизайна 𝕋𝕙𝕖 𝕃𝕒𝕤𝕥 𝕠𝕗 𝕌𝕤 𝟚 в предыдущих выпусках, я двигаюсь в сторону новых игровых горизонтов. На этот раз мой выбор пал на шутер от первого лица ᴄᴀʟʟ ᴏғ ᴅᴜᴛʏ: ᴍᴏᴅᴇʀɴ ᴡᴀʀғᴀʀᴇ 2. Вместе с Димой Мигалем мы разрабатываем ещё один проект на базе Unreal Engine 5, звучание которого, надеемся, будет не уступать, а возможно и превосходить референс.

В данном видео я занимаюсь созданием звука автоматического огнестрельного оружия. Моей целью было изучить оригинальный звук и воссоздать его, используя свои записи. Результат моих усилий вы увидите в конце видео. А желающих углубиться ждут следующие этапы:

❶ Основы звукового дизайна оружия в играх;
❷ Дизайн выстрела на примере штурмовой винтовки Steyr AUG A3;
❸ Моя не слишком удачная попытка ускорить процесс с помощью сэмплера Krotos Weaponizer;
❹ Работа над звуком стрельбы очередью;
❺ И, как всегда, увлекательный процесс аудиодизайна.

04.11.2023 Система дыхания персонажа

Привет, друзья. Напомню, что для того, чтобы погружение в игру было полным, нужно проработать каждую деталь игрового мира. Особенно если мы говорим о гиперреализме. Вздутие вен, когда персонаж злится или поднимает тяжесть, блестящие от слёз глаза, для подчёркивания драматургии, учащённое дыхание, когда персонаж боится - каждая деталь важна. Поэтому в действительно хороших играх разработчики подходят с любовью к каждой мельчайшей детали игрового мира.

Сегодня я буду заниматься разработкой довольно неочевидной, но очень важной системы - системы дыхания персонажа. Для нашего прототипа Unreal Engine я буду разрабатывать систему, которая бы подчинялась базовым законам: нормальное дыхание в состоянии покоя, плавный переход в бег и постепенное усиление интенсивности при беге, в спринте лёгкие прокачиваются кислородом. При остановке дыхание должно плавно успокаиваться.

❶ Демонстрация текущего состояния проекта;
❷ Разбор системы дыхания референса;
❸ Анализ выступления команды Naughty Dog на GDC;
❹ Создание контента;
❺ Построение системы в Wwise;
❻ Усложнение системы;
❼ И, как всегда, результат, который лучше, чем в оригинале;

Часто привык судить других по себе, особенно что касается работы. Мне казалось, что раз я нашёл дело, заниматься которым мне доставляет удовольствие и как следствие затраченного времени мне ещё и платят деньги, то и у всех должно быть такое. Оказывается, многие не могут найти реализацию своих талантов. О том, как найти себя и дело по душе мы пообщались с Антоном Волковым, когда он с супругой прилетал к нам в гости.

В новой серии своего влога Антон добавил фрагмент нашей беседы. А ещё в видео рассказывает про “Лабораторию Сборки”, подход к деталям и трёхколёсном велосипеде. Рекомендую к просмотру.

Тайм-код:
00:00 Вид шикарный
00:27 Снежная заставка
00:59 Что с делами
02:57 Кусочки из лаборатории сборки
05:46 Поездка в Калининград
06:20 Встреча с Сашей Хилько
07:27 Разговор о поиске своего пути в жизни
11:44 Тренировка с Игорем Анфаловым
12:56 Суверенитет и поддержка команды
16:08 Иллюстрация к будущей книге
16:31 Смысл жизни человека
17:34 Делать круто и много и честно зарабатывать
18:38 Волков продолжает грести

Привет, друзья.
В своих видео и текстах я часто употребляю специфические термины из аудиодизайна. Для того чтобы вам стала понятнее информация, которую я транслирую на этом канале я подготовил для вас глоссарий: https://sponsr.ru/xssracademy/44320

Надеюсь теперь станут понятнее такие фразы, как ровный микс, депрессивные дроны, бленд уан-шотных 3D-звуков.

17.11.2023 - Генеративная музыка

На этом канале нет сценарных и постановочных видео - это всё рабочий процесс. Иногда я даже не уверен, что у меня получится задуманное с первого раза. Мне нравится пересматривать эти видео и вспоминать ход мыслей. Поэтому я называю этот блог рабочим дневником, в который вы можете заглянуть.

В повседневной деятельности я не только создаю различные технические решения для звука, но и занимаюсь творчеством. Сегодня как раз такой случай, когда я создаю музыкальную композицию для игрового прототипа. Это система псевдогенеративной музыки, которая должна звучать в определённом месте игрового пространства. Я хотел создать ощущение импровизирующего виртуального пианиста. Есть множество музыкальных партий, которые играют поверх тональной подложки, которая случайным образом собирается из различных слоёв.

Кстати, подобную технологию я собирал для приложения с генеративным эмбиентом и музыкой для своих прошлогодних исследований.