Недавно один из моих ув. друзей в личной беседе про таланты написал: «Вы могли бы стать композитором, я мог бы стать стендапером», на что я ему ответил: «что я и стал им в каком-то роде». На это он заявил: «случайно угадалось - я об этом у Вас не читал». Поэтому решил разбавить блог своим музыкальным творчеством.

За жизнь я написал много музыки, много из неё было в стол, но часть дошла до широкой публики. Ниже я расскажу, на мой взгляд, о наиболее интересных произведениях.

1_Despair
Одна из моих любимых композиций была написана для одного из хэллоуинских событий танков, где мы с коллегами активно рассказывали историю через разные инструменты, в том числе музыку.
Композиция представлена в драматическом жанре, струнные исполнены камерным оркестром. Композиция для меня была написана в период душевных терзаний, поэтому она мне так эмоционально близка.
Посмотреть видео здесь.

2_Hope
А ещё из этой же серии - композиция «Надежда». Она вдохновлена саундтреком фильма «Красота по-американски». Я писал об этом ранее.

3_Fight_Back
Композиция родилась под воздействием эмоций, которые меня обуревали после прохождения Doom Eternal. Когда я в раже крошил монстров, захотел передать это ощущение игрокам танков. Мы с коллегами записали джентоподобный трек, который воспроизводился в сражении с боссом.
Видео здесь.

4_Akira_Yamaoka,_Aleksander_Khilko,_Aleksey_Vanchuk - Mirny
Я также люблю создавать и эмбиентную музыку, которая по факту больше является тональными текстурами, нежели исполнительской музыкой в этом смысле. Одна из ярких работ - наш совместный трек с композитором серии Silent Hill Akira Yamaoka, о котором я уже упоминал ранее. В композиции есть ощущение эстетики напряжения из Silent Hill.
Видео здесь.

5_Aleksandr_Khilko_And_Ivan_Kucherenko - Road_To_Berlin_Theme_1
6_Aleksandr_Khilko_And_Ivan_Kucherenko - Road_To_Berlin_Theme_4
Мы с коллегами много писали музыки, экспериментируя с нарративом. Получилась серия видеооткрыток «Страницы победы», посвящённые Дню Победы. Мои любимые произведения - первый эпизод и четвёртый.
Обе композиции написаны в разном настроении. Обратите внимание, как в четвёртом эпизоде меняется настроение от слов. 
Видео первой серии здесь.
Четвёртая серия здесь.

Это только малая часть того, что я делал с коллегами, но эти произведения мне наиболее близки, так как отзываются эмоциями, которые я закладывал при написании.

P.S. А раньше я делал совсем другую музыку. Например, вот один из моих проектов: https://youtu.be/q6RUKRGgkVo?si=Vtoby6fnneI6Q8fu

Выпуск 79: Роли в разработке звука для игр.

Это видео для разработчиков и продюсеров игр. А также будет интересно музыкантам и звукорежиссерам, которые хотят узнать, куда приложить свой талант в игровой индустрии.

Допустим, у вас игра. Кто вам нужен, чтобы озвучить игру? Только композитор или еще саунд-дизайнер? А может, еще технический саунд-дизайнер? Или сперва взять аудиодиректора проекта, который сам решит, как сделать лучший звук в игре.

В этом видео я рассуждаю на следующие темы:
01:02 - Роль саунд-дизайнера
02:42 - Роль композитора
04:12 - Роль технического саунд-дизайнера
06:17 - Роль звукорежиссера
08:03 - Роль аудиодиректора
09:53 - Роль аудиопрограммиста
10:38 - Роль аудио-QA
12:12 - Специалисты или дженералисты
15:58 - Наиболее эффективная работа
16:51 - Как вырастить аудиодиректора
18:12 - Как устроена моя студия
19:38 - Если вам нужно озвучить игру

Если вы играли в медитативные игры, такие как Cocoon, Monument Valley 3 и другие им подобные, то понимаете: чтобы в игре было комфортно и уютно, важен правильный звук. Для подобных игр важно, чтобы звуки были приятными - тут уместен даже англицизм - сатисфайными. То есть чтобы хотелось слышать их ещё и ещё. Вот хороший пример - игра Lego Builder’s Journey: там звуки деталек звучат как в реальности. Меня он даже отсылает к моему первому отцовству: у меня в детстве не было лего, но с первой дочкой я наигрался. Очень приятные и уютные эмоции.

В подобных играх важно, чтобы все элементы звучали на своём месте - так, как ожидаешь, что они будут звучать.
Я решил провести небольшой эксперимент в игре Tiny Glade: при построении башенки замка ДОБАВИЛ ПОВЕРХ на 00:18 секунде (в оригинальной игре не было этого звука) простой казуальный звук - звук получения достижения. Обратите внимание: сразу же разрушается медитативная часть строительства. Откуда-то прилетает звук награды и вырывает нас из мира «маленького» строительства. Всего несколько неправильных звуков (особенно это касается стимулирующих звуков) могут разрушить все погружение и сделать звук дешёвой поделкой.

Звук в игре Tiny Glade заслуженно можно считать хорошим примером (референсом) звука медитативных игр. В ней звук сделан так, как будто его делала моя команда.

Основная механика игры (строительство) передана с максимальной скрупулёзностью - правильно звучат все типы материалов и размеры объектов. И главное, звуковые текстуры выбраны так, чтобы это хотелось слушать ещё и ещё. Именно в этом, я считаю, проведена искусная работа - в правильном подборе звуковых текстур. И вообще, игра звучит очень уютно!

Я составил чек-лист того, что должно быть сделано, чтобы звук был уютным.

1. Все звуки должны быть приятными и натуральными.
2. Важна сбалансированность звуков, ничего не должно раздражать или перетягивать внимание.
3. Не должно быть повторяющихся мелодий в музыке.
4. Не должно быть звуков «не к месту». Например, какой-то нарративный или оповещающий голос был бы в Tiny Glade совсем неуместен. А вот если бы бегали человечки по типу миньонов с их абракадаброй, то они бы хорошо подошли, так как мы слышим только эмоции без каких-либо смыслов.

Чтобы вы смогли погрузиться в мои размышления, я написал большой вдумчивый разбор звука в этой игре и сделал эту публикацию бесплатной: https://sponsr.ru/xssracademy/75377/Zvuchit_uutno_Tiny_Glade/

Случайно наткнулся на статью пятилетней давности: «пользователь Reddit рассказал про сниженное качество звука в Assassin’s Creed Valhalla». Суть заключается в том, что какой-то товарищ извлёк Wwise-анпакером звуки из банков игры и с «ужасом» обнаружил, что часть ассетов имеет пониженуюю частоту дискретезации и "низкий" битрейт. Как обоснование он призвал божество-науку и в рамках теоремы Котельникова доказывал реддиту, что часть вытащенных из банков звуков имеет "ниже качество". Он ссылался на то (мы с вами давно это знаем), чтобы передавать частоты до ~20 кГц, нужна частота дискретизации не ниже 40 кГц; в гейм-аудио стандартно применяют 48 кГц (44,1 кГц тоже достаточно). В итоге он даже выразился так: это будто из картины удалили 50% цветов, а детали заменили на мазки. Он имел в виду, что в звуках с более низким битрейтом отсутствует часть высоких частот.

На DTF даже посвятили этому статью в рамках хейта к игре.

Так как я не люблю лезть в комментарии, и этой статье уже пять лет, то расскажу вам "страшную правду". Постараюсь простыми словами.

В рамках одного из этапов оптимизации звука (их всего три) аудиодизайнеры стараются максимально уменьшить объём звуковых банков, при этом соблюдая то, что на качество звука в миксе это не должно повлиять. Не отдельного файла, рассмотренного под микроскопом, а всего микса игры. В результате, убирая часть шума из звуков, мы уменьшаем размер самих банков, чтобы пользователю не качать сотни гигабайтов на релизе. В Wwise есть прекрасная удобная функция автоматического определения спектральной части контента, чтобы быстро убирать всё ненужное.

В итоге автор своего «разоблачающего исследования», распаковав банки, не восстановил оригинальные звуковые дорожки, а вытащил из «архива» уже скомпрессированные звуки. А также начал их слушать изолированно, смотря на спектр. Кстати, судя по спектру в статье DTF, там всё по контексту норм: нет резкого среза, а убран ВЧ-шум, хотя надо слушать.

Почему я считаю важным написать об этой ситуации? Потому что всякие громкоголосые инфлюэнсеры, начитавшись фрагментов «священных» научных текстов (я так иронизирую, что все современники возвели в божество науку, которая имеет свойство периодически противоречить себе же) и неверно оценив обстановку, подняли волну хейта, которая докатилась до нашего DTF. А всякие эффективные менеджеры считают, что нужно переубеждать всяких убогих с их аудиторией. В итоге получаются ПЛОХИЕ игры про персонажей с различными девиациями в попытках всем угодить.

Я, как и все, учил английский в школе, а также в институте. Уровень моего английского был - купить гамбургер в макдаке. Никакого осмысленного диалога вести не мог. Тем не менее, на тот момент (2003-2005 гг.) вся информация о брейкс-музыке была только на английском. UK были родоначальниками стиля, все новые релизы и сэмплы можно было найти только на англоязычных форумах. А мы, мамкины продюсеры из провинции, самостоятельно откапывали знания, как умели.

Сейчас я в целом могу свободно общаться по-английски, имитировать ломанный RP, да и в целом вести длительную беседу на философские темы (без специальных терминов, само собой). А ранее мне просто необходимо было доставать информацию, читать посты музыкантов и участвовать в беседах по-английский.

Я помню, в то время был популярен форум NuSkoolBreaks.co.uk, где обменивались мыслями и промо-пластинками пионеры этого стиля. И вообще это был центр престижа для любителей breakbeat. Сначала, вычитывая форум, я начал запоминать определенные формулы, которыми отвечают, задают вопросы и комментируют местные. Из этих речекряков можно было составить короткие предложения на форуме. И я стал пытаться общаться текстом.

У некоторых музыкантов было свое шоу на радио NSB (радио от NuSkoolBreaks.co.uk) - это первое интернет-радио, которое я слушал: подключался по ссылке на стрим, затем для общения использовалась IRC, и поехали. Все самое крутое, престижное и свежее звучало на этом радио. В противовес единственным аналогом у нас были записи с Радио Рекорд - больше по радио нигде нельзя было услышать ничего из современной электроники.

Я в то время уже активно играл в клубах и имел неплохую коллекцию пластинок. И страшно сильно хотел приобщиться к тусовке NSB-радио, и единственным препятствием был языковой барьер. Хотя в чате радио я уже общался короткими высказываниями.

И вот я списался с организаторами радио, и меня с моим другом пригласили вести свое шоу - еженедельно по субботам мы вели часовой живой стрим, где нужно было делать какие-то подводки к композициям.

Я даже нашел одну из наших записей 18-летней давности. "Esessions" with Mars and Matter. Моей самой любимой фразой того времени было: wicked choon (=классный трек).

Первые выпуски я просил своих друзей-носителей языка написать для нас фразы-конструкторы, которые можно было бы зачитывать с листочка. Важно сказать, что все выпуски мы играли вживую, и надо было еще общаться со слушателями, отвечать в чате и следить за тем, чтобы сигнал на трансляции был без перерывов. Все эти эфиры для нас были, конечно, стрессом, но они не только прокачали мой разговорный, но и дали уверенность в том, что меня поймут.

Постепенно, с опытом на радио и гастролями по различным странам, я копил все больше словесных конструктов, которые обогащали мою речь.

Вот для примера мое выступление на конфе GSC, которая проходит в Лос-Анджелесе: https://vimeo.com/1044972618

Все навыки были приобретены естественным, ненасильственным способом, и они остались до сих пор. А все, чему учили в школе, испаряется сразу после окончания.

На фото как раз я за пультом во время нашего стрима на радио NSB.

Как бы звучал трейлер Call of Duty Black Ops 7, если бы его озвучивали как игру, а не в попытках подражать Battlefield.

Мы с ребятами из интенсива озвучили его за неделю. Казалось бы, 24-секундный трейлер делать целую неделю? Но если приглядеться, то каждую секунду-полторы мы получаем не только смену плана, но еще и новых действующих лиц и даже новую локацию. Поэтому это можно воспринимать как будто мы быстро перелистываем страницы книги, на каждой из которых свои события и персонажи.

От себя могу сказать, что это была очень непростая, интенсивная задача - за 5 вечеров получить полноценный синематик триполэй уровня.

Не знаю, было ли у кого-то такое ощущение, что постоянно не успеваешь что-то сделать - от этого тревожность и агрессия. Перманентное ощущение, что чего-то не сделал, что-то не успел. Я с этим ощущением жил раньше, когда была куча этих проклятых созвонов по каждому пуку. Особенно усиливается чувство, когда проектов несколько.

Создавалось ощущение, что везде ты делаешь работу плохо. Вроде бы и время закладываешь, но всё равно, как будто всё рушится. Брррррррр.

Уверен, проблема здесь довольно глубока: и долбящий департамент доказательств, говорящий, что я плохой мальчик, и страх упущенной выгоды, и завышенные ожидания.

Если вы куда-то сегодня опаздываете, то, скорее всего, у вас есть нечто похожее.

Один из способов убрать описанное мной состояние не стоит ни копейки, нужно всего лишь отключить все входящие оповещения. Вот так просто.

Уже два года у меня на телефоне стоит режим фокусирования - это когда до меня могут дозвониться только те люди, которые у меня в книге контактов, а уведомления - только от близкого круга. То есть никакие обновления в чатах, новые акции, входящие от неизвестных контактов, комментарии к публикациям. Ничто из этого не забирает моё внимание.

Вдумайтесь: почему кто-то извне решает за нас, когда нам с ними общаться? Или почему мы читаем чаты, когда кто-то решил, что нам нужно прочитать это. По-моему, правильно только так: я общаюсь только тогда, когда я сам этого захотел.

Я исхожу из такой мысли - что все, кого я не знаю, звонят мне на личный телефон с целью поиметь с меня выгоду, заработать на мне или обмануть. За два года был всего лишь один случай, когда мне не дозвонился контакт, звонок от которого я, возможно, принял бы. Не дозвонился и не дозвонился. Вот проблема.

Электронная почта с этой стороны очень удобна: когда появилось время, я сажусь за компьютер, открываю клиент и просматриваю только потенциально полезные имейлы. Я самостоятельно принимаю решение, какие письма читать, а какие нет. В этом случае важно именно то, что никто за меня не может решить, когда читать письмо и отвечать ли на него. С этой стороны звонок или сообщение в мессенджере создают ощущение, как будто бы мы обязаны ответить на инициацию контакта.

Отключать почти полный доступ извне - это привилегия. Большинство не сделает себе такой режим, так как всегда есть страх пропустить что-то важное. Я уверен, вы сейчас придумаете 100500 ситуаций, в которых не взять трубку = совершить ошибку. Тем не менее все важные для меня люди (их немного) на прямом контакте, а самые важные - в зоне прямой видимости. Я исхожу из мысли, что среагировать на звонок или сообщение достойны только люди, которые мне дороги и достойны этого.

Есть среди моих друзей люди, которые не могут не брать трубку с разных номеров. Но я думаю, это можно решить неким фильтром в виде секретаря или аи-болвана.

Два года такого режима - полёт нормальный, ощущение тревоги стало намного реже, и я никуда не опаздываю. А ещё много времени провожу с семьёй, но об этом я позже расскажу, когда сам захочу.

Я много слышал, что небольшие коммерческие истории хорошо работают тогда, когда основатель сильно погружён в работу своего дела. В случае масштабирования бизнеса всегда приходится делегировать часть функций не только по управлению, но и зачастую другие важные функции. В результате хорошие бизнесы (кофейни, маленькие кафешки, мастерские) становятся хуже, и бизнесы долго не живут. Невозможно других заставить любить твоё дело жизни так же, как и его создатель.

Когда основатель хочет уйти на заслуженный отдых, часто нанимают управляющего и эффективных менеджерок, которые начинают постепенно портить бизнес. Казалось бы, у них в руках цифры, но спустя время бизнес меняется, и зачастую в худшую сторону. Например, зачем для кондитерских изделий продолжать использовать дорогостоящую упаковку, если можно купить дешёвые лотки - качество пирожных же не изменится. Тем не менее постоянные клиенты, которые формировали основной чек, заметят подмену и почувствуют разницу (удешевления продукта, который они любят). При этом основатель вкладывает в свой продукт свою жизнь и душу, а, пытаясь просто разложить успех на цифры, почти никогда не получается хорошего результата.

Ранее мне предлагали продать часть моего дела (при этом, конечно, получая контроль и имея возможность всё оптимизировать и делать более эффективным). Я представляю, чтобы стало с моим делом, если бы я согласился. Видя упадок, к которому пришла компания, хотевшая купить, я понимаю, что они бы всё похерили. Я не вижу ни одного сценария, при котором то, что я создал, стало бы лучше с точки зрения долгосрочного заработка и качества. Вместо бутиковой истории с личным взаимодействием мы бы превратились в ширпотреб с рассрочкой.

Во всём этом были бы виноваты эффективные менеджерки. В этой публикации я говорю слово эффективность в нарицательном контексте, так как обычно никто из наёмных оптимизаторов не принимает долгосрочных решений. Менеджерки заинтересованы в бонусах и премиях, которые выписываются за циферки на короткой дистанции, им не важно, что будет с компанией через год, десять лет и более. Возвращаясь к примеру кондитерской, математически, если тратить меньше на упаковку, то и итоговый заработок будет какое-то время выше. Но в перспективе года есть вероятность перейти из бутиковой истории в бюджетный сектор, и в перспективе двух лет бизнес станет меньше зарабатывать. Но на короткой-то дистанции циферками можно изящно морочить голову основателю.

Всякого рода менеджерки портят не только бизнесы при масштабировании, но и в повседневной жизни. В айти такое сплошь и рядом. Им дали инструмент - можно создавать синки по любому поводу, приглашая на них занятых специалистов. Очень часто такие менеджерки для имитации работы постоянно генерят синки, тем самым усложняя жизнь людям, которые создают продукт.

Недавно мне пришлось взаимодействовать с такой эффективной менеджеркой. Моя студия делала аутсорс-озвучку для другой студии. Они взяли заказ на создание презентационного видео продукта, а наша задача была сделать озвучку, написать музыку и записать голоса со специфическим акцентом. Так как мы работали не с заказчиком или продюсером, а с менеджеркой, то все процессы замедлялись, так как она была передастом. Не понимая специфики, мы тратили время на то, чтобы она поняла задачу, потом она коряво объясняла заказчику. В итоге вместо работы на пару недель в комфортных условиях она увеличила все процессы до 6 недель. Всё из-за того, что лезла туда, в чём не разбиралась, и ей нужно было быть в курсе всего. И, очевидно, она доказывала свою полезность, создавая ненужную суету. Я уверен, что она докладывала своему начальнику, как она эффективно управляет, и что все процессы более качественные, и циферки не врут. Но в итоге они тупо больше заплатили.

В погоне за эффективностью многие компании начинают делать хуже. Поэтому, если это ваше дело, никогда не бросайте своё детище в лапы эффективных менеджерок. Лучше постепенно включать в дело своих мелких, вместе с ними занимайтесь, передавайте ваш опыт, тогда вероятность, что дело будет жить - выше.

Неделю назад ко мне зашёл в личку очередной стартап, который ищет бета-тестеров для "new software tool, Thol, specifically for sound designers, and focused on the spotting session process of post-production". Ребята сделали систему споттинга для саунд-дизайнеров - аишка разбирает видос на сцены и собирает данные о сценах в файл, чтобы можно было закинуть в секвенсор.

Обычно с этой работы начинается первый этап озвучки видео:
- просматривается видео
- расставляются маркеры на сменах сцен, планов или каких-то ярких фрагментах

В целом я считаю, что споттинг (разбиение видео на сцены или планы) - это полезная работа, которую лучше делать руками и головой, так как в процессе продумываешь, какие акценты должны быть и какие сложности предстоят. Но после того как в видео стартапа Thol показали "АИ-магию", я такой подумал: а нафига мне что-то бета-тестить, лучше я сам сделаю подобное, только свой православный и удобный.

Удобство - автоматическая расстановка маркеров в проекте и возможность править текст описания сцен. За пару часов собрал рабочий проект: видео отправляется на мой сервер и загружается в Google Gemini API. Дальше Gemini анализирует видео (картинка + звук), по промпту делает споттинг сцен и собирает таймкоды начала каждой сцены с кратким описанием. Сервер приводит время к формату MM:SS.CS, возвращает список сцен, а в REAPER скрипт проставляет маркеры. Всё!

Теперь у меня есть своя система автоматического споттинга, которую я написал за пару часов. Не знаю, буду ли ей пользоваться, мне просто было по приколу сделать такое, да ещё и внутри REAPER.

Мне всегда смешно наблюдать за бурлениями гумуса в ленкедин. Для тех, кто не в курсе, LinkedIn - социальная сеть, задуманная для профессионального общения. Люди делятся своими профессиональными успехами и размещают резюме. Но, как мы уже знаем, ничего не работает как задумано - люди сами решают, во что это превратить. Линкедин превратился в место для нытья по поводу работы, где рекрутеры и прочие эйчарки жалуются на кандидатов, а кандидаты - на рекрутерок, что их не берут. Так, по крайней мере, выглядит 50% моей ленты. Хотя попадаются алмазы - иногда специалисты выкладывают свой офигенчик, который я с удовольствием смотрю.

Я давно слышал, что многие кандидаты составляют резюме с помощью ChatGPT, выбирая определённую формулу, как лучше себя подать для конкретной компании. В результате рекрутеров стали заваливать неживыми резюме, и они офигели: а как среди всего вранья выбрать нужных кандидатов? Но рекрутерки не отчаиваются, и сами стали использовать ChatGPT для проверки резюме. В одной из таких слёзных публикаций одна с гордостью говорит, что, как "профессионал", начала использовать нейронки для проверки резюме. Позор какой.

В итоге сейчас это выглядит так: специалисты, вместо того чтобы быть заметными и рассказывать о себе, перепоручили это ботам, а недуры эйчарки - проверку этих резюме тем же ботам. Получается, что ChatGPT пишет сам для себя, а никто из тех, кто должен работать, не работает. А поиск работы для таких людей превращается в лотерею.

Я пробовал рассылать резюме ещё в 2016 году, но быстро понял, что так никогда не добиться желаемого. Поэтому мой путь другой (да, долго, да, требует усилий, но 100% результативный) - показывать, что я могу делать офигенчик лучше всех. В результате люди, которым нужны мои навыки, сами ко мне приходят. Я не занимаюсь унизительным ожиданием, когда бот меня выберет. Спасибо, мы сами!

На днях я вам рассказывал, что собрал расширение для Reaper + свой сервер для того, чтобы нейронка делала споттинг - анализировала видео, разбирала его на сцены и планы и добавляла в проект маркеры своего разбора. Запостил этот же видос в LinkedIn, и ко мне в личку налетели разнообразные коллеги с просьбами купить мою тулзу. И это несмотря на то, что я описал, как оно работает, чтобы, если захотят, можно было повторить. Причём самое смешное - никого почему-то не пугала кириллица в интерфейсе. Люди настолько сильно верят в магию ИИ, что готовы в очередную фигню вложить свои деньги.

Я считаю, что этот процесс никак нельзя перепоручать нейронкам, так как в эти моменты, изучая сцены, мы можем порассуждать и подумать, как может звучать не один кадр, а вся сцена - потому что важны контраст и фокус в озвучке, а не просто чтобы всё звучало. Но, как сказал Мараховский о тенденции упрощения в работе:

- А знаете, нам с вами работать всё проще и проще. Конкуренты буквально самоуничтожаются.

Я здесь полностью согласен: чем больше коллеги себе упрощают жизнь, тем больше интересных проектов нам достанется.

Кстати, я всё-таки протестировал стартап Thol, который меня вдохновил на создание моей системы споттинга для Reaper. Что ж, они работают в 5 раз медленнее и выдумывают в сценах то, чего не должно быть.

P.S. На скриншоте - сверху маркеры, созданные моим скриптом, а миди-файл на второй дорожке - созданное сервисом Thol. Если не считать длинный текст, который Thol выдал (нечитаемый текст внутри миди), работать с таким файлом сложно. Для Reaper мой сервис, очевидно, удобнее, тем более не нужно уходить в браузер и ждать в пять раз дольше.

Недавно ехал в машине и слушал один из самых любимых треков, под который я настукивал ритм. И подумал: блин, было бы классно, чтобы в игре под такую музыку подыгрывать как барабанщик, но чтобы это были какие-нибудь выстрелы. Например, есть пушка, которая стреляет, когда нажимаешь под кик, а второе оружие, например, будет под снейр звучать. И всё, идея осталась идеей: я доехал до студии и забыл её.

Тут перед выходными мне снова попался этот же трек, и я решил размотать идею и попробовать воплотить такую механику. Мне почему-то сразу представилась игра про самолётик (или космический корабль), который летит по разным локациям. Чтобы выстрелить, надо попасть в ритм.

В итоге я решил спроектировать систему:
Нам понадобится запускать музыку, узнавать её темп и размерность, а далее все события привязывать к сетке. Я решил считывать данные из Wwise, а затем строить сетку в Unity и периодически синхронизировать её, чтобы не росла задержка. Теперь у нас считывается ритм композиции, и можно игровые события и анимации воспроизводить в ритм.

Далее я создал небольшую сцену, в которой добавил самолётик игрока и вражеский (пока без движения).

Первая сложность - мозгу обычного человека необходимо время, чтобы понять, что сейчас надо нажать в ритм, он нажимает, и программа должна просчитать функции - это всё создаёт задержку. После нескольких попыток я написал простую калибровку - нужно нажимать в ритм (как я это чувствую), и рассчитывается дельта задержки. У меня это оказалось 150-180 мс.

Теперь нужно было создать звуки выстрелов, чтобы они хорошо ложились поверх музыки. И сразу понимаю, что мне нужны красивые эффекты стрельбы: запускается условная ракета на кик и летит во врага. Захотелось все эффекты привязать к темпу.

Подрыв врага происходит на сильную долю такта - получается гиперэффектно, подрыв снарядов, попадающих во врага, тоже проходит в ритм на каждую четверть. Урон наносится тоже чисто в ритм.

А ещё в ответ на нажатие клавиши вне ритма противник стреляет в наш корабль. И, конечно, он стреляет (звук и эффект) в ритм.

В итоге я решил почти все события привязать к ритму композиции и её темпу. Получается, каждый эффект и звук у нас идёт по "игровому сердцебиению" - ритму композиции.

За два дня я сделал небольшой прототип ритм-шутера под любимую музыку. Что из этого получится? Может быть, я вдохновлюсь на целую игру, а может быть, я просто научился делать ритм-шутеры и пойду искать приключения дальше.

Хозяйке на заметку: "Как достать голосовую дорожку, эффекты и музыку из фильма".

Сейчас готовлю видео для озвучки, и мне нужно было из фрагмента фильма достать голосовую дорожку, чтобы потом самостоятельно озвучить всё остальное (шаги, улицу, людей и прочее). Задача была максимально отделить голос из фрагмента кинофильма.

В поисках инструмента я нашёл бесплатную нейросетевую модель, которая разбирает звуковую дорожку из видео на голос, эффекты и музыку. Я уверен, есть браузерные онлайн премиум-аналоги, но мне хотелось бесплатного и контролируемого решения без регистрации и смс.

Сначала я загрузил в Reaper фрагмент фильма со звуком 5.1. Далее в Reaper разбил аудио поканально - получилось 5 отдельных аудиодорожек. Голос главного персонажа хранится в центральном канале. Но в этой же аудиодорожке были и эффекты - звуки чашек, шаги, улица и другие. Я экспортировал центральный канал в WAV-файл и пропустил этот аудиофайл через модель. В результате она разделила звуки на диалог и эффекты.
Теперь можно рендерить видео либо только с голосом, либо только с эффектами. Удобно, быстро и пригодится в хозяйстве.

На видео:
00:05 - Центральный канал (голос + эффекты)
00:18 - Дорожка: только голос
00:35 - Слушаем только звуковые эффекты без голоса
00:57 - Результат разложения на дорожки моделью