Приветствую всех вСообщество Юнцзя, получить больше крупной технической практики Tencent по галантерее ~
автор:Облако игр Tencent
Введение:На только что завершившемся первом дне открытых дверей Tencent User Open Day компания Tencent Audio and Video Lab представила всем пользователям решение с трехмерным позиционным звуковым эффектом, обеспечивающее иммерсивное прослушивание в 360-градусном трехмерном пространстве. с конкретным Улучшает ли сцена слух и опыт пользователя? В этой статье будет подробно.
Применение в играх 3D звуковых эффектов на основе движков разработки игр (таких как Unreal, Unity) очень распространено.Игровой движок имитирует и воспроизводит ориентацию источника звука в пространстве, например выстрелы в CS, звуковые эффекты при выстреле, легкие шаги ближайших врагов могут значительно улучшить погружение в игру и создать захватывающий игровой процесс.
Здесь мы можем прослушать сравнение звука до и после обработки аудио- и видеолабораторией с помощью алгоритма 3D-звукового эффекта (пожалуйста, возьмите с собой наушники для прослушивания):
Перед обработкой:№ V.QQ.com/play/play. Тем не менее…
После обработки:№ V.QQ.com/play/play. Тем не менее…
Можно услышать, что обработанный звук несет больше пространственной и направленной информации.Расширяя расширение музыки, звуковое поле становится больше, положение звука более точным, а траектория движения звука более яркой, что улучшает присутствие и ощущение музыки.
Тем не менее, 3D-звуковые эффекты ранее не применялись в больших масштабах в области голосовой связи в реальном времени, главным образом потому, что позиционирование голосовых возможностей в предыдущих тяжелых играх является скорее методом общения, чем инновационным геймплеем. сцена также требует голоса в реальном времени, чтобы нести чувство ориентации.Не сильно.
В 2017 году игра «PUBG Mobile: Battle Royale» за короткий промежуток времени стала любимой и востребованной игроками по всему миру благодаря инновационной королевской битве на 100 игроков и игре «Цыпленок победителя». В дополнение к творчеству самого игрового процесса, в игру также были внесены подрывные инновации в голосовом игровом процессе в реальном времени.Во время игры игроки могут установить [Все режимы], чтобы кричать, провоцировать и заводить разговор с ближайшими игроками., этот голосовой режим может быть очень интересным для общения и взаимодействия с незнакомыми людьми. Многие пользователи социальных сетей создали много интересных видеороликов на основе этого голосового режима.
После введения трехмерного позиционного голоса игрок будет отображать свое положение и информацию о положении во время процесса крика, и голос игрока также будет меняться в реальном времени в соответствии с изменением положения. Можно сказать, что 3D-звуковые эффекты делают общение и боевые действия между игроками, такими как «Королевская битва», более реалистичными, а игровой процесс более захватывающим и захватывающим.
Трехмерные звуковые эффекты не только используются в играх с поеданием цыплят, но и могут значительно улучшить взаимодействие с пользователем в сочетании с многопользовательскими голосовыми сценариями, такими как онлайн-шахматы и карточные комнаты.
Теперь в сеансе с несколькими людьми, после сведения нескольких каналов звука в моно, источник звука будет сконцентрирован в одной точке. Используя трехмерные позиционные звуковые эффекты, слушатель может виртуализировать разных отправителей в разных положениях в пространстве, и пользователям легче узнать, кто говорит, с помощью информации о положении. Этот метод идеально подходит для использования в чатах с фиксированным положением.
Например, когда трехмерные звуковые эффекты применяются к голосовой комнате в шахматах и карточных играх, виртуализируя каждый звук в соответствующем месте на рабочем столе, игроки могут четко различать, исходят ли голоса других игроков слева, справа или прямо. перед ними, создавая онлайн-комнату для игры в шахматы и карты.Погружение также делает игроков более склонными к открытому голосовому общению.
Ниже приведен голосовой эффект в реальном времени в шахматно-карточной игре, в котором мы моделируем обработку позиции игрока:
№ V.QQ.com/play/play. Тем не менее…
Еще одним важным сценарием применения 3D-звука является VR-аудио.
Виртуальная реальность — это присутствие, и реалистичные звуковые 3D-эффекты могут стать завершающим штрихом присутствия. Для устройств VR важно иметь возможность отслеживать объекты посредством движений головы, но не менее важно иметь возможность слышать звук, который несет информацию о местоположении объектов.Реалистичные 3D-звуковые эффекты могут передавать информацию о местоположении и информацию об окружающей среде. других игроков к игроку, путем взаимного усиления зрения и слуха для достижения наилучшего эффекта.
С точки зрения ориентации, каждый звук в VR может быть виртуализирован в определенное положение в пространстве, чтобы пользователь мог почувствовать, что звук исходит из определенного положения; когда пользователь поворачивает голову, звук в виртуальном положении в VR будет соответствующим образом измените соответствующую позицию, создавая звук на 360 градусов.Эффект пространственной пространственной локализации звука делает игроков более уверенными в том, что источник звука находится в реальности. Это очень важно для игр, подобных VR. В настоящее время техническое предложение Лаборатории аудио и видео, связанное с 3D-звуковыми эффектами, было представлено национальному стандарту для VR-аудио AVS (Национальный стандарт технологии аудио- и видеокодеков) и было запущено в игре VR «hello world». ", выпущенный Tencent в этом году.
Трехмерные звуковые эффекты также можно использовать для обработки звука видео высокой четкости, и пользователи могут испытать захватывающий стереоаудиовизуальный опыт кинотеатра дома, используя только двухканальные наушники.
Мы знаем, что 5.1-канальный и 7.1-канальный обычно используются для создания стереоэффекта во время просмотра фильма в кинотеатре.Звук каждого канала воспроизводится через динамики, расположенные в разных местах.В кино впечатления зрителей более шокирующие. При ношении наушников для просмотра фильма, потому что обычный метод заключается в простом микшировании всех левых каналов в левый канал, правого канала в правый канал и центрального канала в микширование левого и правого каналов, что приводит к независимому от 5.1 или 7.1, все звуковые образы в конечном итоге становятся левым, центральным и правым, размывая многие детали и делая некоторые звуковые изменения нереалистичными, например, движение от заднего левого налево к переднему левому. А если серьезно, то если другие каналы молчат и звук есть только в левом переднем канале, то он становится только в левом наушнике, что очень плохо.
Трехмерный звуковой эффект может виртуализировать каждый канал в соответствии с положением каждого соответствующего динамика, так что слух будет больше похож на каждый динамик в пространстве. Используя технологию 3D-звука, пользователи могут испытать стереоэффекты с эффектом присутствия в домашних стереонаушниках.
Ниже приведен эффект оригинальной музыки, которую мы записали на Tencent Video и обработали с помощью 3D-звуковых эффектов:
№ V.QQ.com/play/play. Тем не менее…
Итак, как достигается виртуальный трехмерный слух? Преобразование обычного монофонического звука в иммерсивный звук требует понимания следующих вопросов: Как человеческое ухо определяет, откуда исходит звук? Давайте посмотрим на картинку ниже:
Из рисунка видно, что последовательность звуков, слышимых левым и правым ухом, размер звуков, слышимых левым и правым ухом, и фактический частотный спектр звуков, слышимых левым и правым ухом, различаются. .
В нашей технологии трехмерных звуковых эффектов используется «передаточная функция головы» (алгоритм HRTF) для моделирования разницы во времени и спектральной разницы между ушами для формирования звука с ощущением ориентации источника звука. В то же время мы также заполняем недостающие отражения окружающей среды HRIR с помощью семплированной реверберации, чтобы построить полную модель звукового поля. Например, в небольшой комнате слышен не только разговор двух людей, но и эффект отражения звука от стен, усиливающий ощущение погружения. В следующей статье о секретах технологии 3D звука мы раскроем больше принципов этой технологии, так что следите за обновлениями!
Трехмерное позиционное голосовое решение применяется к голосовой связи в игре в реальном времени.Игроки могут «слушать звук» в соответствии с голосом товарищей по команде и получать «иммерсивный» игровой опыт. В настоящее время технология 3D-звуковых эффектов интегрирована в решение TMG (Tencent Mobile Gaming) для аудио- и видеоигр в режиме реального времени, запущенное Tencent Audio and Video Lab. TMG предоставляет функции, включая многопользовательский голос в реальном времени, видео в реальном времени, голосовые сообщения, преобразование голоса в текст и т. д., охватывающие различные типы игр, такие как казуальные социальные игры, MOBA, MMORPG и т. д. Это звук игры в реальном времени. и видео SDK, специально настроенный для игровых сценариев., и порог доступа чрезвычайно низок, один SDK может удовлетворить разнообразные требования игрового аудио и видео.
Сервис аудио- и видеоигр в режиме реального времени (Tencent Mobile Gaming) официально появился в облаке Tencent, предоставляя услуги большинству производителей и разработчиков игр.cloud.Tencent.com/product/крем для удаления волос…
Чтобы узнать больше о решениях и кейсах для индустрии облачных игр Tencent, зарегистрируйтесь сейчас.19 января Tencent Cloud GAME-TECH Salon Станция Ханчжоу, Давайте обсудим
Живое бронирование:Woohoo. IT и т. д. выглядит как .com/event list/…
Связанное Чтение
"Tencent облачных игровых технологий разработчик Салон" 19 января игра ждет вас, чтобы ускорить тему о!
Tencent Game Cloud Dolphin онлайн, откройте простой режим обновления игры
«Черная технология», настроенная за одну минуту, Tencent Cloud эксклюзивно открывает возможности измерения облачного давления
Эта статья была разрешена автором для публикации в сообществе Yunjia, пожалуйста, укажите при перепечаткепервоисточник