Очень рекомендую посмотреть разбор клипа Man Made of Meat, в котором Степа делится своими наблюдениями о режиссерской и операторской работе.
В целом, Степа делает то же самое, что и я, только про визуальное медиа. Подписка!

Я тут сделал разбор клипа, о котором писал пару дней назад. Ну дико угарный)

Добавлю ещё, что стилистика очень напоминает работы одного из моих любимых режиссёров Уэса Андерсона и похожа на театральную постановку. Ну там и так театр абсудра, так что всё в тему)

Упоминал ещё в ролике про документальный фильм "Всему есть цена" о том, как с молотка улетают за миллионы долларов разные предметы искусства.

Приятного просмотра!

Я обсуждаю не только вопросы звука, но и самые разные темы: от жизненных аспектов до построения клана и бизнеса.
Ниже приведён один из фрагментов беседы с уважаемым другом об алгоритмизации людей, детей и жизни.

Осенью был у Хилько в Калининграде на его знаменательном событии. А это архивное видео нашего обсуждения, почему подавляющая масса людей не мыслит самостоятельно, а полагается на методички.

Да, мы все очень энергоэффективные создания. Нас такими сделала природа: если можно сэкономить мыслительный ресурс без последствий, то НУЖНО это сделать. Другой вопрос, что последствия могут быть краткосрочными и долгосрочными. И вот тут, к сожалению, наша древняя внутренняя обезьяна обычно фейлит, предпочитая сегодняшние ништяки большим, но дальним перспективам.

Ну ок, таков наш дизайн —никаких претензий! Каждый сам решает, воспитывать ли в себе долгосрочное мышление или экономить думательный ресурс ради комфорта (физического и психологического).

Но только ли в этом дело? Почему шаблонное мышление прогрессирует последние 100+ лет? Почему некоторые очень влиятельные фигуры на полном серьёзе говорят о том, что "люди для большинства вещей будут не нужны, разве что для бейсбола"? Какие есть предпосылки к ускорению алгоритмизации всего и вся?

Об этом в нашей беседе. А также о том, как появились отпуска и при чём тут коммунисты.

Приятного просмотра!

07.02.2025 Современный саунд-дизайн

О современном саунд-дизайне на просторах моего дневника мы уже говорили, когда я рассказывал о cтильном звуке в Аркейн и Somerville. В последнее время я всё чаще встречаю в медиа подобное (яркое, агрессивное, синтезированное) звучание. Такой подход к дизайну звука можно услышать не только в современном аниме, но и в играх, и даже в кино. Особенно в фантастике агрессивный звук удачно сочетается с живыми текстурами. Поэтому я решил разобраться в секрете этого звучания, используя подручные средства. О своих экспериментах я рассказываю в этом видео.

10.02.2025 Профайлинг в Reaper (Выпуск 46)

После того, как я добавляю звуки в игру, как и в музыке, их тоже необходимо сводить. Особенность нелинейного звука (а в играх звук зависит от действий игрока) влияет на инструменты для сведения. Правильное сведение звука в игре позволяет игроку слышать именно те звуки, которые наиболее важны в данный момент или предусмотрены драматургией.

Для игры Skylore я уже использовал линейное сведение, которое позволило мне настроить динамический микс как нестранно. То есть я собрал мультитрек конкретного геймплея и свёл его в Ableton Live. Это стало возможным благодаря профайлеру FMOD Studio, который в режиме симуляции позволяет воспроизводить звуки на нужной шине. По сути, я могу записать мультитрек игры и затем свести его. А вот для Wwise такой системы нет. Поэтому я решил создать систему, которая собирает все звуки так, как они звучали в игре, но уже в моем секвенсоре Reaper.

Об этой системе я рассказываю в своем видео:
00:10 — Демонстрация работы
00:35 — Зачем мне нужна такая система
01:58 — Как я делал линейный микс игры c FMOD Studio
04:26 — Система профайлинга в Reaper
07:32 — Я гений
09:15 — Что нужно, чтобы создать такую систему
12:12 — Работа с лупами

14.02.2025 Как озвучить шутер

Не так давно я участвовал в качестве жюри на конкурсе IGRA 2024. Конечно, основное внимание я уделял звуковому сопровождению, хотя благодаря опыту геймера могу оценить и гейм-дизайн, графику, и UX в целом. Проиграв 188 игр конкурса, я остался разочарован: около 95% проектов (я могу назвать на пальцах те, где звук выполнен достойно) подошли к звуку слишком халатно. Это как создать красивую машину снаружи, а внутри — из картона и пластмассы. Ведь игру мы воспринимаем через глаза и уши.

Вместо того чтобы жаловаться и просить разработчиков исправить звук, я решил сам озвучить один из фрагментов игры, а также показать, как правильно подобранный звук способен изменить восприятие. В итоге за час я смог добавить жизнь и динамику, просто изменив звуковую картину.

Тайм-код:
00:00 - Интро
00:32 - Предыстория
01:53 - Выбор игры
02:38 - Анализ фрагмента
03:33 - Создание базового слоя окружения
04:16 - Проговаривание основных механик фрагмента
04:48 - Озвучивание выстрелов
09:52 - Озвучивание робота
14:40 - Трассеры
15:47 - Создание атмосферы боя
16:40 - Хит-маркеры
17:04 - Хвосты выстрелов
18:38 - Сравнение: было/стало
19:58 - Выводы

25.02.2025 Реверс-инжиниринг и синтез

В 2019 году я начал активно применять синтез в аудиодизайне военной техники в World of Tanks. Чтобы понять, как воссоздать звук на синтезаторе, зачастую приходится проводить тщательный анализ спектра и разбирать звук на элементарные составляющие – синусоиды. Таким образом, любой звук можно воссоздать, если сначала разобраться, как он устроен – это главное правило реверс-инжиниринга и синтеза.

Для одного из проектов я решил реализовать систему процедурного дождя в аудиодвижке Wwise. Позже я опубликовал подробную пошаговую инструкцию по сборке такой системы на сайте компании: Generating Rain With Pure Synthesis.

В этом видео я хочу показать, из чего синтезируется звук дождя и как можно применить подобную систему:

00:08 – О реверс-инжиниринге звука
00:40 – Рассказ о проекте Generating Rain With Pure Synthesis
01:08 – Прослушивание процедурного дождя по слоям
03:37 – Демонстрация проекта Wwise
04:19 – Демонстрация проекта «Процедурный мир»
08:40 – Заключение

27.02.2025 Перевод видео

Решил перевести своё последнее видео на английский. Бабушка всегда говорила, что лень родилась вперёд меня. Поэтому саначала я решил опробовать ленивые AI-решения в поисках нейронки, которая просто подменит мой голос на английский, чтобы не приходилось перезаписывать, тратить время и сводить.

В итоге самым быстрым решением оказался Dubs от ElevenLabs, но тут возник нюанс: я начал говорить с чистейшим индийским акцентом, в лучших традициях телефонной поддержки Apple. Ни одна из нейронок не дала достойного результата.

Поэтому я по старинке перезаписал голос поверх русской озвучки. Пока "искусственный интеллект" не смог украсть эту работу.

Хочешь сделать хорошо - сделай это сам.

03.02.2025 Вдумчивый анализ звука Somerville

Что отличает хороший звук в игре от посредственного?
Ответ на этот вопрос сложно уложить в формулу, но я попробую.

Q = M^(w_M) * D^(w_D) * B^(w_B) * (exp(–α·|I – I_target|))^(w_I) * A^(w_A) * C^(w_C)

Где:
- Q – итоговое качество звука (1 самый лучший звук).
- M – полнота озвучивания всех геймплейных механик (0…1).
- D – детализация звуковых подсистем в зонах фокуса игрока (0…1).
- B – баланс звукового микса в зависимости от игровых ситуаций (0…1).
- I – фактическая интенсивность звука, отражающая динамику геймплея (0…1).
- I_target – целевой (идеальный) уровень интенсивности звука, соответствующий стилю игры (0…1).
- α – коэффициент чувствительности, определяющий, насколько сильно отклонение I от I_target снижает качество.
- A – полнота озвучивания анимаций и результатов действий (0…1).
- C – концептуальная согласованность звуков с миром игры (0…1).
- w_M, w_D, w_B, w_I, w_A, w_C – веса каждого параметра (их сумма равна 1).

На днях я опубликовал вдумчивый анализ звука игры Somerville (по моей формуле Q = 0,97), в котором поделился техническими особенностями реализации звука в этой игре. Если вы дочитали до этого места, значит вам подходит такой формат вдумчивых анализов.

В видео:
01:22 - Ощущения от геймплея
02:31 - Динамика звука игры
05:05 - Подход к миксу игры
08:05 - Кинематографическое микширование
11:44 - Плавность переходов
13:27 - Environment Ambient Zone
18:12 - Ложка дёгтя
19:03 - Микс под водой
20:37 - Реверберация
23:25 - Дизайн звука существ
28:44 - Лейтмотивы
30:32 - Система движения
39:49 - Современный саунд-дизайн
41:52 - Микширование звуков по экрану
44:48 - Что понравилось Майе
45:46 - А мне понравилось больше всего

07.03.2025 Углубленный синтез жидкости

Работая над лекцией, я решил повторить проект коллеги по синтезу реалистичного звука воды. Но на моменте, когда нужно было переносить кривые модуляции для амплитуды и питча, я понял, что это ненаучно. Вернувшись к исследованиям, которые я использую на занятиях, подумал использовать математические формулы для расчёта параметров синтезатора, вместо того, чтобы пытаться перерисовать с экрана линии модуляции громкости и высоты тона.

Для этого я написал небольшую программу, которая основывается на формуле Миннерта и в основе своей решает дифференциальное уравнение, описывающее динамику колебательной системы:

v̈ + 2β(t)v̇ + ω₀(t)²v = F(t)

Созданную мной программу я выложил на своём спонсоре для подписчиков уровня эксперт.

Звук капли воды в основном создаётся колеблющимся воздушным пузырьком, захваченным под поверхностью воды, а не звуком удара воды о поверхность. В этом видео я рассказываю о том, как я синтезировал звук жидкости на синтезаторах:

01:26 - Проект жидкости на Ableton Live
01:46 - Вдохновение для проекта
02:41 - Начало синтеза на Phase Plant
03:16 - Исследования о звуке капли
05:22 - Составление таблицы данных для синтеза
06:14 - Создание программы для расчёта кривых в модуляциях
07:35 - Генератор случайных миди-нот
10:21 - Демонстрация звука
11:01 - Выводы, как меняется звук у разных капель
12:28 - Генерация звука множества капель

Хочу поделиться как проходят наши занятия Китайского языка с удивительным преподавателем. Это всегда весело и хочется повторить.

С переездом в Пермь, мой круг общения очень изменился.

Благодаря проекту «Точка сборки» в нем появилось много классных, интересных и талантливых людей!

Они не только увлечены своим делом, но и с удовольствием пробуют новое, выходя из зоны комфорта, заново открывая себя.

Теперь мне сложно назвать себя учителем, потому что то, чем я занимаюсь сейчас, совсем не похоже на школьную систему по звонку, а больше напоминает клуб любителей китайского языка и культуры, в котором мы классно проводим время и без стресса и давления с удовольствием погружаемся в язык.

Мне нравится делиться тем, что я умею, вспоминать интересные истории из жизни в Китае, рассказывать об особенностях быта и привычках китайцев, то, в чем мы и они совершенно не похожи. И классно, что это интересно другим!

И как же круто, когда никогда не учившие китайский ребята, спустя какое-то время, выходят на новый уровень: начинают читать иероглифические тексты, умеют задавать вопросы и отвечать на них.

А, встретив китайцев в кафе, на улице или поехав в командировку или на отдых в Китай, уже не боятся общаться.

В небольшом видео-фрагменте ребята первый раз читают диалог в иероглифической записи и делают это очень классно!

12.03. 2025 Расшифровка голоса в Reaper

Для моего нового проекта Neurofit понадобилась расшифровка речи (около 10 часов видео). В секвенсоре имеются длинные записи (более чем полтора часа каждая), которые хотелось бы как-то подсветить, добавить маркеры, а, возможно, и перевести всё, что говорится в видео. Хотелось бы иметь лёгкий поиск по тексту для нахождения фраз, сказанных голосом. Я нашёл прекрасное решение от Reaspeech для Reaper.

Пока писал пост, воспользовался этой технологией для распознавания своего выступления на конференции и запилил статью «Особенности звукового дизайна и сведения для VR-игр: опыт создания Counter Space».

В видео я рассказываю:
01:08 - О Reaspeech
01:36 - Распознаём речь
03:32 - Как использовать в проекте Reaper
04:26 - Как работает с русским языком
06:00 - Немного про мой новый проект Neurofit
07:35 - Как работать с Reaspeech
09:30 - Респект команде TechAudio

Всегда приятно получать подарки

Самые лучшие подарки — когда они делаются от души и когда в них вложены усилия. Когда дарящий чем-то жертвует.

Короткий ми-ми-ми эпизод, как я дарю единственный экземпляр точкосборковских штанов, сделанных Игорем Горячевым, своему другу и соратнику Александру Хилько.

24.03.2025 - Эмоциональный text-to-speech

Ещё в 2022 году, работая над одной игрой на пре-проде мы использовали TTS-модели для синтеза речи игровых персонажей. Результаты были, мягко говоря, драфтовые, но для быстроты подтверждения гипотезы это было вполне нормальным решением. После этого я периодически возвращался к этой теме и даже делал эксперимент создания студийного голоса с помощью нейросети.

Хочу поделиться новым экспериментом, который я проводил в области нейросетей и синтеза звука. На этот раз я решил протестировать, насколько качественно современные нейросети копируют голоса и работают с эмоциональными оттенками речи.

- 00:20 - Демонстрация копирования голоса
- 01:21 - Исходный материал
- 01:51- Генерация голоса из крика
- 03:09 - Голос нарратора
- 05:06 - Что-то пошло не так
- 05:34 - Убираем шумы
- 07:22 - Демонстрация других голосов
- 08:31 - Работа с акцентами
- 10:55 - Как это легально использовать, я так и не придумал

Пока серьёзные ребята играют в серьёзные бюджеты, мы в гик-режиме экспериментируем со своей игровой консолью. Чтобы делать офигенчик — нужна свобода и желание. То, что не купишь ни за какие деньги.

31.03.2024 Создание эффекта Доплера

С переходом на Reaper я с удовольствием взялся за кастомизацию моей рабочей среды. Создал разные удобные для меня расширения (switch container, перенос параметров звуковой дорожки на другую, профайлер для Wwise) и даже создал два контроллера (шорт-кат контроллер и миди-оркестратор).
На этот раз хочу познакомить вас со своей новой разработкой - Doppler Khilko. Я вдохновился плагином для Reaktor под названием Whoosh и решил сделать себе такой же, только для своих конкретных целей. И вот что из этого получилось:

00:12 - Объяснение эффекта
00:47 - Как всё начиналось
02:26 - Плагин Whoosh
04:00 - Доплер Хилько
06:37 - Применение плагина на звуке магии
08:55 - Результат

P.S. Ни один микрофон не пострадал. Это графика.

Хочу поговорить про эти ДНИ.

Ещё в институте я повредил плечо. Оно периодически то болело, то проходило. А в позапрошлом году у меня появился синдром замороженного плеча – я не мог поднять руку выше головы, достать парковочную карту через окно автомобиля или сумку с заднего сидения. С этим синдромом я посетил трёх врачей: хирурга, травматолога и остеопата. В надежде на волшебную таблетку и процедуры я целый год ходил от одного врача к другому. Пройдя различные неэффективные процедуры (МРТ, странные массажи, уколы гиалуронкой и блокады), по совету супруги, я начал занятия суставной гимнастикой и ЛФК. Всего за 4 тренировки мне удалось вернуть около 80% подвижности плеча, а оставшиеся 20% восстановились ещё за полгода. Вместо того чтобы наслаждаться полноценной жизнью в течение года, я, ожидая волшебной пилюли, ходил по разным врачам. В итоге пришлось выкинуть из головы идею о каком-то шорткате и пойти по скучному пути работы над собой - ДНИ (Долго, Непрерывно, Интенсивно).

Волшебную пилюлю ищут даже в звуке. Многие начинающие дизайнеры считают, что, найдя какой-то уникальный плагин, они, наконец, добьются крутого звучания. На основе желания аудитории найти волшебную кнопку строятся бизнес-модели некоторых корпораций. Секрет хорошего звука прост: нужно много работать, развиваться и хорошо знать свой инструментарий.

Исходя из опыта, я решил, что вместо поиска шортката буду выбирать нудный путь труда, который суперочевиден и требует ежедневного выполнения монотонных задач (еще раз, Долго, Непрерывно, Интенсивно). И я буду получать от этого удовольствие, зная, что точно добьюсь результатов.

P.S. На видео вы видите, как я прохожу простую трассу на Сборке №3. Это спустя два месяца монотонных упражнений по суставной гимнастике и ЛФК.