MPEG-H Audio Academy

O MPEG-H Audio é uma nova tecnologia de áudio de última geração que oferece mais realismo por meio do som que vem de cima e ao redor do ouvinte. Com seus recursos exclusivos de personalização, o MPEG-H Audio oferece aos ouvintes grande flexibilidade para que se envolvam ativamente com o conteúdo e o adaptem às suas próprias preferências. Independente do dispositivo, o sistema MPEG-H Audio oferece a melhor experiência de som possível.

O MPEG-H Audio é uma solução de áudio completa e muito mais do que apenas um codec. Entre outras coisas, oferece as seguintes grandes vantagens em comparação com os codecs de áudio legados:

1) Som imersivo: O MPEG-H Audio permite a transmissão de áudio imersivo tridimensional (áudio 3D) adicionando fontes de som elevadas a partir de cima e de baixo da posição do ouvinte. O MPEG-H Audio foi projetado especificamente para sinalização flexível de alto-falantes, incluindo layouts tradicionais como estéreo, 5.1, 7.1, bem como configurações 3D, como 5.1+4H, 7.1+4H 22.2 ou até mesmo layouts ainda a ser definidos. No MPEG-H Audio, o som imersivo pode ser transmitido como canais, objetos ou uma combinação deles.

2) Som interativo e personalizado: O MPEG-H Audio permite que o ouvinte interaja com o conteúdo e crie experiências de áudio personalizadas. As opções avançadas de interatividade vão desde ajustes simples, por exemplo, aumentando ou diminuindo o nível do diálogo em relação a outros elementos de áudio, até cenários avançados em que os elementos de áudio podem ser selecionados e ajustados em nível e/ou posição conforme a preferência do ouvinte e sob os limites de autoria do criador do conteúdo.

3) Entrega universal: O MPEG-H oferece flexibilidade ao fornecer a mesma transmissão de bits através de diferentes plataformas de distribuição (por exemplo, redes terrestres, via satélite, de banda larga ou móveis) para todos os tipos de dispositivos (por exemplo, aparelho de TV, AVR, soundbar, receptor-decodificador, tablet, equipamento de realidade virtual com vídeo 360graus) em vários ambientes, por exemplo, sala de estar, home theater ou ambientes móveis barulhentos.

O MPEG-H Audio é um padrão internacional desenvolvido pelo ISO/IEC Moving Picture Experts Group (MPEG), a organização que tem uma longa história em codificação de áudio com mp3 e a família de codecs AAC. O padrão MPEG-H Audio (ISO/IEC 23008-3) especifica dois perfis relevantes – Low Complexity (LC) e Baseline (BL) – essenciais para a indústria de transmissão e streaming, que permitem a decodificação e renderização de conteúdo de áudio 3D imersivo enquanto permite recursos avançados de personalização. Os objetos de áudio podem ser usadossozinhos ou em combinação com canais para entrega e reprodução eficientes de som imersivo. O uso desses objetos de áudio permite a interatividade ou personalização de um programa ajustando o ganho ou a posição dos objetos durante a reprodução. Detalhes sobre o padrão MPEG-H Audio podem ser encontrados aqui.

O MPEG-H Audio é uma solução de áudio completa. Ele não usa outros codecs de áudio, sua funcionalidade de codec se baseia nos desenvolvimentos de gerações anteriores de codecs de áudio MPEG, como a família de codecs AAC.

O MPEG-H Audio enriquece a experiência de áudio combinando som imersivo e opções avançadas de personalização com taxa de bits eficiente e entrega universal para atender aos requisitos das necessidades atuais do consumidor.

O sistema MPEG-H Audio provou ser a solução de áudio mais avançada para aprimorar os serviços de transmissão e streaming para eventos esportivos, permitindo que o público experimente a emoção da arena esportiva em sua sala de estar e decida o que é mais importante para si, por exemplo, ouvir apenas a torcida do seu time de coração ou focar nos comentários. Leia mais aqui.

Da mesma forma que os eventos esportivos, o streaming de shows ao vivo é outro caso de uso importante em que os provedores de serviços estão ansiosos para aprimorar seus serviços com som imersivo e opções de interatividade. Leia mais aqui e aqui.

Os recursos de acessibilidade avançados do sistema MPEG-H Audio são essenciais para idosos e deficientes visuais ou auditivos. Com seu aprimoramento de diálogo e serviços de descrição de áudio avançados, o MPEG-H Audio torna a transmissão de áudio mais acessível para todos os espectadores.

O MPEG-H foi adotado em vários padrões de transmissão, streaming e realidade virtual. Uma lista pode ser encontrada aqui.

O MPEG-H Audio alimenta o formato de música 360 Reality Audio, da Sony. Os primeiros serviços de streaming de música imersiva 360 Reality Audio da Amazon Music HD, Deezer, nugs.net, Sony Select e TIDAL foram lançados no outono de 2019 com atualmente mais de 3.000 músicas disponíveis. As principais gravadoras que apoiam a iniciativa 360RA incluem Sony Music Entertainment, Universal Music e Warner Music.

O sistema MPEG-H Audio é usado como o único sistema de áudio do primeiro serviço de TV UHD terrestre da Coreia do Sul. O lançamento do sistema foi em maio de 2017 e os serviços comerciais da KBS, MBC e SBS estão no ar 24 horas por dia, 7 dias por semana desde então.

Um número crescente de dispositivos suporta o MPEG-H Audio, como a sound bar Sennheiser Ambeo, receptores de áudio e vídeo da Denon, Marantz e McIntosh, o alto-falante inteligente Amazon Echo Studio ou o Google ChromeCast Ultra 4K, bem como aparelhos de TV da Samsung e LG para o serviço de TV UHD na Coreia do Sul.

Devido à flexibilidade do MPEG-H Audio quando se trata de configurações de sinal, não há uma resposta simples para essa pergunta, pois a taxa de bits depende do número de sinais (sinais de canal ou sinais de objeto). Com um número crescente de sinais em uma configuração, a eficiência do codec aumenta e a taxa de bits total resultante é menor do que a soma dos sinais de codificação única. A tabela a seguir indica as taxas de bits para algumas configurações de canal comuns, respectivamente, uma combinação de sinais de canal e objeto, começando com estéreo e surround 5.1 até várias configurações 3D (indicadas por “H” para os canais de altura) e combinações de configurações de canal 3D e diferentes números de sinais de objeto. Todos os exemplos dados usam um número total de 16 ou menos sinais que são cobertos pelo “Nível 3” no padrão MPEG-H Audio, exceto a última configuração, “22.2”, que é coberta pelo “Nível 4”.

Escala de acordo com a Recomendação MUSHRA ITU-R BS. 1534-3

Os serviços de transmissão existentes que usam estéreo AAC/HE-AAC ou áudio surround podem ser aprimorados com os recursos avançados do MPEG-H Audio simplesmente adicionando uma transmissão MPEG-H Audio adicional no multiplex. Todos os codificadores de transmissão de áudio e vídeo que suportam o MPEG-H Audio podem criar um multiplex contendo a transmissão AAC, bem como a transmissão do MPEG-H Audio. O primeiro pode ser decodificado por receptores legados e o último será decodificado por receptores mais novos.

Dispositivos habilitados para o MPEG-H Audio oferecem nativamente uma “interface do usuário” que exibe todas as opções de interatividade habilitadas por uma transmissão do MPEG-H. Com base nas intenções do criador do conteúdo, para cada transmissão MPEG-H, diferentes opções de interatividade podem ser oferecidas aos espectadores em casa e, por meio da interface do usuário, eles têm a liberdade de personalizar seu conteúdo.

Uma cena do MPEG-H Audio compreende o próprio conteúdo de áudio junto com metadados adicionais. Esses metadados são criados durante a produção e contêm todas as informações necessárias para renderizar o conteúdo de áudio em layouts de reprodução arbitrários e garantir a melhor experiência de áudio em qualquer plataforma.

O MPEG-H Audio foi cuidadosamente projetado para aprimorar aplicativos de transmissão, streaming e música imersiva. Para garantir a integridade dos metadados em um ambiente baseado em SDI em qualquer etapa da produção, os metadados são entregues na “Faixa de controle”. A faixa de controle é um sinal de áudio “timecode” e pode ser tratada como um canal de áudio regular. Isso garante a sincronização dos metadados com seus sinais de áudio e vídeo correspondentes. A faixa de controle é robusta o suficiente para sobreviver a conversões A/D e D/A, mudanças de nível, conversões de taxa de amostragem ou edição de quadros. A faixa de controle não força o equipamento de áudio a ser colocado no modo de dados ou no modo sem áudio para a passagem.

Um MPEG-H Master transporta todo o conteúdo de áudio não compactado e metadados de produção da cena do MPEG-H Audio. Um MPEG-H Master pode ser um arquivo Broadcast Wave Format que carrega os metadados do Audio Definition Model compatível com o perfil MPEG-H (MPEG-H BWF/ADM) ou um arquivo MPEG-H Production Format (MPF) que carrega os metadados dentro de um arquivo MPEG-H Control Track.

O MPEG-H Control Track é uma solução exclusiva para fornecer os metadados alinhados com os dados de áudio e vídeo por meio de infraestruturas baseadas em SDI existentes. A faixa de controle é como um sinal de áudio PCM “timecode” que pode ser transportado em um SDI extra ou canal de arquivo wave. Ela ser editada em um editor de vídeo como qualquer outro sinal de áudio.

Isso permite transportar os metadados estreitamente acoplados ao conteúdo de áudio em qualquer mídia que ofereça transporte de dados PCM, como SDI, MADI ou AoIP. A faixa de controle pode ser tratada como qualquer outro sinal de áudio e é robusta contra conversões de taxa de amostragem ou alterações de nível. Os metadados contidos na faixa de controle são alinhados aos dados de áudio e vídeo, portanto, qualquer alteração de configuração ao vivo ou na pós-produção pode ser aplicada em cada limite de quadro de vídeo.

O MPEG-H Production Format (MPF) é um arquivo de áudio PCM multicanal que contém todo o conteúdo de áudio e metadados de produção da cena do MPEG-H Audio. Os metadados são armazenados como uma faixa de controle, que é um sinal de áudio PCM “timecode” e uma das faixas de áudio no arquivo wave multicanal.

O Audio Definition Model (ADM) de acordo com o ITU-R BS.2076 define um formato de metadados aberto para produção, troca e arquivamento de conteúdo de áudio de última geração (NGA) em fluxos de trabalho baseados em arquivo. Sua sintaxe abrangente de metadados permite descrever muitos tipos de conteúdo de áudio, incluindo representações baseadas em canal, objeto e cena para experiências de áudio imersivas e interativas. Uma representação serial do Audio Definition Model (S-ADM) é especificada no ITU-R BS.2125 e define uma segmentação do ADM original para uso em fluxos de trabalho lineares, como produção em tempo real para aplicativos de transmissão e streaming.

O MPEG-H ADM Profile define restrições em ITU-R BS.2076 e ITU-R BS.2125 que permitem a interoperabilidade com sistemas de produção e distribuição de conteúdo NGA estabelecidos para o MPEG-H Audio conforme definido na ISO/IEC 23008-3.

O ADM Info Tool, disponível gratuitamente, é um utilitário de software que fornece suporte na criação de metadados do ADM em conformidade com o perfil. Sua estrutura de verificação de conformidade executa metadados do ADM de entrada em um conjunto exaustivo de verificações derivadas do MPEG-H ADM Profile, reunindo relatórios detalhados de quaisquer problemas de conformidade encontrados e fornecendo informações sobre como resolvê-los.

Com a MPEG-H Conversion Tool, a Fraunhofer oferece uma solução simples de um clique para converter arquivos Dolby Atmos BWF/ADM existentes no MPEG-H Production Format. A ferramenta está disponível como parte do MPEG-H Authoring Suite (MAS).

A Fraunhofer IIS oferece ferramentas de produção, agrupadas no MPEG-H Authoring Suite. O pacote consiste no MPEG-H Authoring Plug-in (MHAPi), no MPEG-H Authoring Tool (MHAT) autônomo e no MPEG-H Conversion Tool (MCO).

Registre-se aqui para fazer o download do MPEG-H Authoring Suite

Outras opções para produzir MPEG-H incluem o New Audio Technology Spatial Audio Designer e o Blackmagic DaVinci Resolve Studio para fluxos de trabalho de pós-produção, bem como o Linear Acoustic AMS e o Jünger MMA Hardware para produção ao vivo com o MPEG-H Audio.

O MPEG-H Authoring Suite (MAS) é um conjunto de ferramentas que tornam a produção de conteúdo de MPEG-H Audio mais fácil, rápida, intuitiva e potente. É compatível com o recém-publicado MPEG-H ADM Profile, bem como o monitoramento binaural para reprodução de áudio envolvente em fones de ouvido.

O MPEG-H Authoring Plug-in (MHAPi) conduz você por todas as etapas de criação de produções do MPEG-H Audio baseadas em objeto ou canal dentro de uma estação de trabalho de áudio digital (DAW) habilitada para VST3 ou AAX. Você poderá exportar suas cenas do MPEG-H Audio imersivas e interativas para o MPEG-H Production Format (MPF) ou MPEG-H BWF/ADM, contendo áudio e metadados e prontos para distribuição por meio de canais habilitados para MPEG-H.

A MPEG-H Authoring Tool (MHAT) é uma nova ferramenta de software para Mac e Windows que ajuda a criar metadados do MPEG-H com material de áudio existente. O MHAT permite fácil criação de MPEG-H sem a necessidade de uma estação de trabalho de áudio digital (DAW). Você pode definir parâmetros do MPEG-H específicos, ouvir instantaneamente suas configurações e exportar suas mixagens criadas como MPEG-H Production Format (MPF), MPEG-H BWF/ADM ou como exportação de modelo em um arquivo XML.

A MPEG-H Conversion Tool (MCO) é uma ferramenta de software para Mac e Windows que pode ser usada para converter mestres de conteúdo compatíveis com MPEG-H. O MCO serve como interface para o ecossistema MPEG-H Audio e suporta a importação e exportação de MPEG-H Production Format (MPF) e arquivos BWF/ADM.

O MPEG-H Production Format Player (MPF-Player) é uma ferramenta de software para Mac e Windows para verificar a qualidade dos metadados do MPEG-H já criados e a mixagem de áudio que os acompanha, com ou sem um vídeo correspondente.

A produção baseada em objetos requer uma etapa de criação de metadados para os recursos de interatividade e acessibilidade baseados em objetos, bem como para a medição do volume. Não há uma resposta única que atenda a todos os tipos de ambientes e requisitos de produção, mas uma variedade de fluxos de trabalho típicos, desde a criação simples, automatizada ou baseada em predefinições que se adapta aos tipos de conteúdo mais comuns, até fluxos de trabalho de autoria abrangentes para aplicativos avançados. Veja aqui para mais informações.

O sistema MPEG-H Audio foi projetado para que os criadores de conteúdo possam definir várias predefinições e explorar novas opções criativas. Uma emissora pode preparar mixagens (incluindo a mixagem padrão ou principal do programa) usando ferramentas de autoria que especificam um conjunto de configurações de ganho e posição para objetos para criar seleções de mixagem predefinidas que podem ser apresentadas em um menu simples ao usuário. Ainda mais controle dos elementos de áudio em um programa é possível e pode ser ativado no »menu avançado de interatividade do MPEG-H Audio« por espectadores entusiastas. Todos os recursos de interatividade oferecidos ao usuário são rigorosamente definidos pela emissora durante a criação dos metadados. Este processo de geração de metadados é chamado de »autoria« e é a diferença mais importante na produção de conteúdo de MPEG-H Audio em comparação com uma produção legada.

Existem várias soluções, dependendo do cenário de produção. Usar as ferramentas do MPEG-H Authoring Suite em pós-produções, áudio e metadados podem ser exportados como:

MPEG-H BWF/ADM: Um arquivo MPEG-H BWF/ADM (abreviação de Broadcast Wave Format com metadados de Audio Definition Model incorporados) é um arquivo wave multicanal que contém todo o áudio e metadados para a cena do MPEG-H. O arquivo BWF/ADM exportado é compatível com o MPEG-H ADM Profile. O volume será medido durante a exportação e será incorporado ao arquivo exportado.

MPF: Um arquivo MPF (abreviação de MPEG-H Production Format) é um arquivo wave multicanal que contém todo o áudio e metadados para a cena do MPEG-H. Os metadados são armazenados na faixa de controle, que é uma das faixas de áudio no arquivo wave multicanal e contém um sinal modulado que é robusto contra conversões de taxa de amostragem ou alterações de nível. O volume será medido durante a exportação e será incorporado ao arquivo exportado.

XML: Esta opção de exportação destina-se a aplicativos especiais que utilizam definições de cena do MPEG-H como representação XML. O XML é acompanhado por um arquivo wave multicanal contendo a essência do áudio.

Para mais informações assista este vídeo no Vimeo ou este vídeo no Youtube.

Para produções ao vivo em MPEG-H, as Authoring and Monitoring Units (AMAU) exportam os sinais de áudio e a faixa de controle em tempo real. Isso permite transportar os metadados estreitamente acoplados ao conteúdo de áudio em qualquer mídia que ofereça transporte de dados PCM, como SDI, MADI ou AoIP. A faixa de controle pode ser tratada como qualquer outro sinal de áudio e é robusta contra conversões de taxa de amostragem ou alterações de nível.

Para mais informações assista este vídeo.

Sim, o MPEG-H Authoring Suite é compatível com a exportação de áudio e metadados como BWF/ADM de acordo com o perfil ADM MPEG-H (MPEG-H BWF/ADM). Você pode baixar o perfil aqui.

O MPEG-H Audio foi projetado especificamente para renderização flexível de alto-falantes, incluindo layouts tradicionais como estéreo, 5.1 e 7.1, bem como configurações de áudio 3D com canais de altura, como 5.1+4H e 7.1+4H, ou configurações com canais de camada alta, média e inferior, por exemplo, 22.2, ou até mesmo layouts ainda a ser definidos.

A configuração do alto-falante depende dos requisitos da produção pretendida. As recomendações para colocação de alto-falantes, design de estúdio e fluxos de trabalho de produção podem ser encontradas aqui.

Oferecemos sinais de teste MPEG-H, incluindo identificação de canal, sincronização labial e verificações de nível para verificar se os alto-falantes estão conectados e ajustados corretamente.

Sim, essa opção está disponível na versão 3.5 do MPEG-H Authoring Suite.

O MPEG-H Audio é compatível com a redução para layouts de alto-falantes comuns típicos com um conjunto de configurações predefinidas de downmix. Além disso, ele vem com opções personalizáveis de downmix que permitem o downmix específico do conteúdo que é configurável para cada layout.

Sim, essa funcionalidade pode ser ativada usando o recurso Dynamic Gains no MPEG-H Authoring Plug-in versão 3.0 e posterior e no MPEG-H Authoring Suite.

Sim, o MPEG-H Authoring Suite vem com um conjunto de sessões de modelo para Nuendo, Pro Tools, Reaper e Sequoia.

Como primeiro passo, recomendamos a nossa série de vídeos tutoriais para o ajudar a começar a criar MPEG-H utilizando o nosso plug-in MPEG-H Authoring.

Assista no YouTube

Assista no Vimeo

Se você tiver mais dúvidas, pode sempre entrar em contato com nossos especialistas em MPEG-H Tool através do e-mail: productiontools-techsupport@iis.fraunhofer.de