GPU Audio: как GPU и NPU ускоряют аудио в реальном времени

• Первая и единственная платформа, разблокировавшая GPU и NPU для аудио в реальном времени; $12 млн инвестиций с 2012 года.
• Ядро — патентованный планировщик GEARS с Host и Device шедулерами и окнами выполнения 100–200 мкс.
• 60 свёрток реального времени в Cybertruck потребляют 2,3% GPU Adreno 690 против 2–3 CPU-ядер на 100%.
• Активная компенсация зон — 13–15 дБ в полосе 250 Гц – 8 кГц; цифровая версия даёт 30–35 дБ.
• Работает на NVIDIA CUDA, AMD HIP, OpenCL, Vulkan и Apple Metal без нового «железа» — достаточно OTA.

Что такое GPU Audio?

GPU Audio — программная платформа, превращающая графические и нейропроцессоры в аудиодвижки реального времени. Компания позиционирует себя как автора первой в мире технологии, открывшей GPU и NPU для обработки звука с профессиональными требованиями по задержке.

GPU Audio выросла из фундаментального вопроса, который сооснователь Александр Талашов сформулировал ещё в 2012 году: «Почему GPU нельзя использовать для аудио?». Три года прототипов, большинство из которых провалились, ушли на попытку заставить последовательные аудиоалгоритмы работать на железе, спроектированном для параллельных вычислений.

Прорыв произошёл в 2017 году, когда к швейцарской команде присоединился эксперт по трассировке лучей и привнёс в планирование аудиозадач подходы из 3D-рендеринга. Сегодня GPU Audio — команда из 18 человек преимущественно в Европе с демонстрационной лабораторией в Купертино, Калифорния.

Как работает GPU Audio: архитектура GEARS

GEARS (GPU Engine Audio Resource System) — патентованный планировщик, координирующий аудиозадачи на массово-параллельной архитектуре GPU. Именно он решает главную проблему: классические DSP-алгоритмы последовательны, а GPU требует десятков тысяч параллельных потоков.

Двухуровневый планировщик

GEARS использует dual-scheduler архитектуру из двух частей — Host Scheduler на CPU и Device Scheduler на GPU. Host Scheduler строит «чертежи» (blueprints) графа обработки один раз и переиспользует их для тысяч и миллионов запросов, а также отвечает за батчинг аудиоданных от DAW и их возврат.

Device Scheduler работает на GPU: распределяет задачи по вычислительным блокам, управляет памятью и разрешает зависимости. Такое разделение снижает объём пересылаемых между CPU и GPU данных до двух порядков, а сам планировщик работает на уровне Instruction Set Architecture (ISA), а не поверх конкретного фреймворка.

Дискретизированные окна выполнения

Аудио требует жёстких временных рамок, тогда как GPU исторически оптимизирован под 60 кадров в секунду, то есть 16 мс на кадр. GPU Audio дискретизирует время на окна по 100–200 мкс, что даёт 5–10 запусков на миллисекунду.

Запросы собираются без блокировок (lock-free) по принципу FIFO, а система предсказывает время выполнения каждой задачи и перекрывает передачу данных с вычислениями. Если обработка не успевает завершиться в окне, планировщик продлевает его до готовности результата.

Как строится компенсация зон

Для активной компенсации инженеры снимают акустический «отпечаток» салона: устанавливают бинауральные микрофоны на манекен-голову, проигрывают синусоидальные свипы с каждого динамика и записывают импульсные характеристики (IR). Затем голову смещают на 2 см и повторяют процедуру — получается сфера IR вокруг позиции слушателя.

После этого матричный решатель генерирует компенсирующие IR, которые загружаются в GPU-конвольвер и обрабатываются в реальном времени. Добавление новых IR, например для Dolby Atmos или иммерсивных форматов, не увеличивает линейную вычислительную сложность.

Почему GPU эффективнее CPU и DSP для аудио?

GPU Audio снимает три ограничения, которые десятилетиями определяли потолок аудиообработки: нехватку параллелизма, лимит инстансов и высокую задержку. Классический стек из одного выделенного CPU-ядра и медленных DSP-чипов физически не масштабируется под современные задачи.

Отдельно решается задача передачи данных. DAW обрабатывает каждый трек отдельным CPU-потоком буферами по 96 сэмплов (1 мс при 96 кГц), то есть сотни независимых вызовов. Планировщик объединяет все трансферы одного временного окна в одну операцию и перекрывает их с вычислениями.

GPU Audio Soundscape: многозонное аудио в автомобиле

GPU Audio Soundscape — automotive-платформа, которая превращает уже установленный в машине GPU в мощный аудиопроцессор и реализует то, чего не удавалось добиться ни одному производителю: настоящие звуковые зоны без проникновения звука.

Проблема, которую никто не решал

Идея персонализированного звука в салоне обсуждается больше десяти лет. Существующие решения либо перекрывают звук другим звуком, либо физически разделяют зоны щитами и шторками. Пример — динамики в подголовниках (Lixian, Huawei S800): во время звонка водитель слышит собеседника, но остальные пассажиры всё равно слышат его разговор.

Звук затухает естественно, отражается от поверхностей и свободно распространяется в тесном салоне. Active zone compensation — единственный работающий подход, и до GPU Audio он был недоступен из-за нехватки вычислений.

Демонстрация в Cybertruck

Демонстрационный автомобиль GPU Audio — специально переоборудованный Tesla Cybertruck, который одновременно служит мобильной акустической лабораторией. В стандартной конфигурации — 15 динамиков, всё выведено на внешний усилитель с многоканальными интерфейсами MOTU и RME.

«Мы — первая и единственная в мире компания, которая разблокировала GPU и NPU для аудиовычислений в реальном времени».
— Александр Талашов, сооснователь и CEO GPU Audio

Уровни громкости зон при демонстрации не балансировались — одинаковые SPL подтверждают, что компенсация реальна, а не является результатом подкрутки громкости. Для сравнения: лучшие промышленные системы активного шумоподавления дают около 5 дБ.

Звуковой «пузырь» и масштабирование

Компенсация работает в динамическом пузыре радиусом около 15 см вокруг головы. При движении между заранее просчитанными пузырями коррекция пропадает. В интеграции на уровне ПО учитываются положения и наклоны сиденья, позы и данные кабинных камер: наборы IR переключаются динамически.

Автомобильные модули Soundscape, доступные уже сейчас: подавление внешнего и внутреннего шума (двигатель, шины, ветер, HVAC), управление несколькими источниками звука, стерео-в-3D upmixing, улучшение разборчивости речи и Acoustic Vehicle Alert System (AVAS). Каталожная аттенюация компенсации на сайте указана как 5–12 дБ.

GPU Audio Soundcore: ускорение Pro Audio

GPU Audio Soundcore — линейка для профессионального аудио: SDK, middleware и готовые модули, которые переносят свёрточную обработку и нейросети на GPU. Флагманский продукт — Vienna Power House, надстройка для Vienna MIR Pro 3D, выносящая свёртки на GPU.

Партнёрские продукты: MNTRA/Outer Echo Living Sky (пространственный ревербератор с High-Order Ambisonics), AnalogX Genesis, линейка Audio Modeling SWAM, пространственная система Mach1. Форматы плагинов — VST3, AU, AAX, CLAP; операционные системы — Windows, macOS и Linux.

Производительность в цифрах

GPU Audio публикует конкретные метрики, которые отличают платформу от маркетинговых обещаний. Значения измерены на реальных GPU-конфигурациях и подтверждаются демонстрациями.

Потенциальная задержка ядра технологии — 30–50 мкс, что обеспечивается интерфейсами PCI Express 4.0/5.0/6.0 и низкоуровневым драйвером.

Что входит в GPU Audio SDK?

GPU Audio SDK — открытый набор инструментов для создания собственных GPU-ускоренных аудиоприложений. Он состоит из двух API, набора строительных блоков и примеров, а документация доступна в репозитории на GitHub.

Два API

• processor_api — реализация аудиозадач: входные и выходные порты, обработка сэмплов, управление параметрами.
• engine_api — работа с движком: загрузка GPU Audio и процессоров, построение графов, синхронный и асинхронный запуск.

Строительные блоки

• OS utilities — абстракции памяти, потоков и синхронизации.
• processor_utilities (header-only) — платформо-независимые помощники для параллельных процессоров.
• gpu_primitives (header-only) — матричные и векторные операции, кольцевые буферы, свёртки, FFT, state-space фильтры.
• gpu_audio_client (header-only) — загрузка движка и процессоров, синхронный и асинхронный исполнители с двойной буферизацией.

Примеры проектов

• Gain — простейший процессор усиления.
• IIR — рекурсивный фильтр через state-space матричную форму.
• FIR — фильтр с uniform partitioned overlap-save и FFT внутри блока.
• Neural Amp Modeler (NAM) — нейромодель лампового усилителя на LSTM и WaveNet.
• RT3S — разделение стерео на bass, drums, vocals и other на базе HS-TasNet.

Поддерживаемое оборудование и платформы

GPU Audio работает поверх GPU-драйвера через CUDA, HIP, OpenCL, Vulkan или Metal, поэтому привязки к конкретному производителю нет. Интеграция выполняется на уровне операционной системы и hardware abstraction layer — для Android, Linux или QNX решение не зависит от источника аудиопотоков.

История и команда GPU Audio

GPU Audio прошла путь от скептицизма индустрии до коммерческих контрактов, и этот путь занял 13 лет.

Ключевые люди: Александр Талашов (Co-founder & CEO, держатель патента на архитектуру GEARS), Василий Суматохин (Co-founder & CPO, 20+ лет в аудиоинженерии), Евгений Протасенко (Chairman & Acting CFO), Сергей Коробов (Chief Business Development Officer, 11+ лет в Qualcomm).

Продукты, партнёрства и мероприятия

GPU Audio строит экосистему из трёх уровней: SDK, platform middleware и готовые модули для двух рынков — Pro Audio (Soundcore) и automotive (Soundscape).

Партнёры и направления: Vienna Symphonic Library (Vienna Power House), MNTRA/Outer Echo (Living Sky), AnalogX (Genesis), Audio Modeling (SWAM), Mach1 (spatial), NVIDIA (DRIVE AGX, Deep Learning Institute), AMD, Qualcomm, а также совместная демонстрация с Pioneer и Dirac (июль 2026).

Публичная активность: CES 2026 (стенд Hall G, 60846, Venetian Expo, Eureka Park), Audio Developer Conference 2023–2025, NAMM 2022–2025, AES New York 2022, NVIDIA GTC.

Как получить доступ к платформе

GPU Audio предлагает два уровня поддержки. Для Pro Audio: Essential (документация, примеры кода, email/чат) и Premium (прямой доступ к инженерам, приоритетные ответы). Для automotive: Essential и Premium с выделенным техническим менеджером и помощью в интеграции.

Партнёрская программа GPU Audio Ready открыта для производителей чипов, разработчиков плагинов, алгоритмов и облачных инструментов: участники получают ранний доступ к SDK, техническую коллаборацию и co-marketing. Скачать бинарники и SDK можно на странице ресурсов, текущая версия платформы — 2.3.0.219. Контакт: info@gpu.audio.

Частые вопросы

Что такое GPU Audio?

GPU Audio — технология и платформа, впервые открывшая GPU и NPU для аудиообработки в реальном времени. Её ядро, планировщик GEARS, обеспечивает задержку менее 1 мс при нагрузке 1–5% ёмкости GPU. Платформа работает на NVIDIA, AMD, Apple Silicon, Qualcomm и других GPU.

Нужны ли дополнительные аудиочипы для работы GPU Audio?

Нет. GPU Audio — чисто программное решение, использующее уже установленный в системе GPU. DSP-чипы не требуются, а существующий парк автомобилей можно обновить по OTA. Производительность растёт вместе с каждым новым поколением GPU.

Насколько реальна компенсация звуковых зон?

В демонстрационном Cybertruck GPU Audio достигла 13–15 дБ компенсации в диапазоне 250 Гц – 8 кГц в alpha-версии при равных уровнях зон. Цифровая версия алгоритма показывает 30–35 дБ. Для сравнения: лучшие промышленные системы активного шумоподавления дают около 5 дБ.

Почему ускорение аудио на GPU не работало раньше?

GPU проектировались под 60 кадров в секунду (16 мс на кадр), а про-аудио требует задержку 1 мс и меньше. Классические DSP-алгоритмы последовательны и плохо ложатся на параллельную архитектуру. GPU Audio переписала математику (state-space IIR, overlap-save FIR) и создала планировщик, который укладывает аудиозадачи в окна 100–200 мкс.

Сколько ресурсов GPU потребляет платформа?

Типовая нагрузка — 1–5% ёмкости GPU. В демонстрации 60 свёрток реального времени заняли 2,3% Adreno 690. На CPU тот же объём потребовал бы 2–3 ядра на 100%. Нагрузка выделяется динамически и возвращается, когда функция отключена.

Итоги

GPU Audio решила задачу, которую индустрия считала неразрешимой: перенесла последовательную аудиообработку на параллельную GPU-архитектуру с задержкой менее 1 мс.

• Платформа строится на патентованном планировщике GEARS с Host и Device шедулерами и окнами выполнения 100–200 мкс.
• 60 реальных свёрток в автомобиле работают на 2,3% GPU против 2–3 CPU-ядер на 100%.
• Активная компенсация зон достигает 13–15 дБ, цифровая версия — 30–35 дБ.
• SDK включает два API и готовые блоки: свёртки, FFT, state-space фильтры, нейросети.
• Поддержка NVIDIA, AMD, Apple, Qualcomm без привязки к железу и без дополнительных чипов.
• Экосистема охватывает Pro Audio (Soundcore) и автомобили (Soundscape).

Рекомендация: если вы разрабатываете аудиопродукт с высоким числом каналов, нейросетевой обработкой или боретесь за задержку — начните с открытого SDK на GitHub и запросите демонстрацию Cyber Buck через info@gpu.audio.