Как работает Shazam?

Слышали фразу: «Любая достаточно развитая технология неотличима от магии»? Хотел поделиться одним интересным моментом, который у меня как раз и вызывает это чувство. АРечь пойдёт о том, как работает Shazam. И, вероятно, другие похожие сервисы.

Итак, начнём наш пятничный длиннопост.

Любой оцифрованный звуковой файл по сути представляет собой список чисел. При записи микрофон записывает громкость воздуха тысячи раз в секунду. Однако если записать одну и ту же песню на два разных устройства, с точки зрения цифровых данных файлы не будут идентичными.
Это логично: фоновые шумы, разная громкость, а может — и разные комнаты. Всё это влияет на финальный набор чисел.

Так что сравнить два звука вот так «в лоб» не выйдет. И Shazam использует весьма изящное решение.

🟢вместо raw-файла он нарезает аудио на очень короткие кусочки по ~20–50 мс;
🟢далее выполняется Преобразование Фурье (Fourier Transform). Я не силён в математике, и вероятно, мне сейчас накидают в комментах, но... после преобразования у нас получается набор тонов и понимание, какие частоты присутствуют в звуке, и насколько громкие они. Даже при наличии шума ключевые частотные пики остаются узнаваемыми.
🟢благодаря коротким отрезкам Shazam знает не только частоты и громкость, но и то, когда именно они были в песне;
🟢если сложить всю эту информацию вместе — получаем спектограмму песни: слева-направо время, снизу-вверх частота, а точки показывают «яркость» звука;
🟢а потом алгоритм отбрасывает почти всю спектограмму, и оставляет только самые яркие точки. Остаются редкие маркеры в местах, где песня звучала громче всего, — это напоминает карту созвездий.
🟢для каждой «якорной» точки Shazam просматривает близлежащие точки и спрашивает, как далеко они находятся как по времени, так и по частоте. Каждое такое соотношение превращается в уникальный код.

Среднестатистический трек длительностью около трёх минут генерирует тысячи таких меток. Shazam хранит их в базе данных для большинства существующих песен. При этом сервис кодирует не просто отдельные точки, а их пары и расстояние между ними — это позволяет находить совпадения даже в шумной среде.

Ваш телефон выполняет все эти преобразования очень быстро, и за считанные секунды Shazam точно определяет, что за песня сейчас играет.

Это ли не магия? А вы говорите, что алгоритмы не нужны. 🧐

Google Android Skills

Тут Google завёл репозиторий со скиллами для LLM, которые напрямую связаны с Android-разработкой. Пока он небольшой, но со временем материалов наверняка станет больше. В списке уже есть:
🟢миграция на AGP 9;
🟢миграция на Compose с xml;
🟢переход на Navigation Library 3;
🟢анализатор R8;

Что ж, тенденция ещё раз подтверждается, так что обогащаем наших агентов новыми знаниями.

yt-dlp

Пост не про Android, но не могу не поделиться.

На днях папа попросил скачать ему видео с YouTube, чтобы посмотреть его позже на телевизоре. А желательно — не просто один ролик, а весь канал целиком, чтобы далеко не ходить.

Для скачивания одного видео решений масса. А вот для скачать весь канал уже задача со звёздочкой. К счастью, мне попалась ультимативная утилита для сохранения любых видео и аудио— yt-dlp. Даже не представляю, какой гений её создал.

Она хоть и консольная, но невероятно мощная и кастомизируемая. В моём случае я смог:
🟢выбрать не самое высокое качество видео, чтобы уменьшить размер и улучить стабильность на бюджетном телезизоре;
🟢«прикинуться» браузером, чтобы скачивать без лишних сложностей: YouTube сейчас блокирует ботов, поэтому утилита сама предложила использовать эту опцию;
🟢выбрать только одну звуковую дорожку;
🟢загрузить сначала плейлисты, а потом и остальные видео. Без повторов.

В общем, если перед вами когда-нибудь встанет подобная задача — вы знаете, в какую сторону копать. Лучшего решения всё равно не найти.

Что у нас по AI-переводам? 🤖

Сколько бы я ни разрабатывал приложения — проблема локализации всегда стояла остро. До недавнего времени существовало два основных пути:
🟢путь самурая — наймём агенство профессиональных переводчиков, которые будут в теме нашего контекста и обеспечат высокое качество;
🟢путь ронина — а зачем нам переводчики, давайте машинные переводы сделаем, это лучше, чем ничего;

Первый вариант — дорогой и долгий, при этом качество не всегда было безупречным. Второй — бюджетный, но уровень перевода оказывался совсем низким.

С недавних пор у нас появился третий путь: а давайте натравим AI, чтобы он сам делал переводы, модели ж уже весьма умные. Или нет? Поделюсь своим опытом.

Для работы с переводчиками у нас использовалась платформа CrowdIn. По сути, при работе с переводчиками это было удобным хранилищем для строк. А ещё была неплохая поддержка CI, что позволяло отправлять и получать переводы без ручного участия команды разработки.

С приходом эры AI платформа добавила поддержку нейросетевых моделей. Можно подключать свои ключи API и использовать любые подходящие модели.

В результате текущий workflow выглядит так:
🟢загружаем новые строки;
🟢обогащаем контекст с помощью встроенного инструмента harvester: по сути, это команда, которая добавляет описание к каждой строке (например: «эта строка используется для кнопки «Вперёд» на экране авторизации»). Считаю это критически важным этапом;
🟢запускаем перевод.

Для генерации контекста можно использовать модель попроще, а для финального перевода — более мощную и дорогую.

На выходе получилось очень достойно: надо было добавить пару правил по поводу того, что не стоит переводить и шаг за шагом добавлять языки, иногда проверяя переводы носителем, если есть возможность. Оцениваю фичу по качеству на 8 из 10, а по деньгам — 10 из 10. Даже с самой дорогой моделью на переводах.

Так что если у вас есть подобная задача — смело интегрируйте удобное для себя готовые решение, благо их на рынке сейчас много. Или навайбкодьте своё, чего уж.