MPEG-H 오디오 아카데미

MPEG-H 오디오는 주변을 에워싸는 듯한 실감나는 사운드를 제공하는 차세대 오디오 기술입니다. MPEG-H 오디오의 맞춤형 기능은 사용자가 자신의 취향에 맞게 컨텐츠를 설정할 수 있도록 도와줍니다. MPEG-H 오디오 시스템은 재생기기에 관계없이 최상의 사운드 경험을 제공합니다.

MPEG-H 오디오는 코덱을 넘어선 종합 오디오 솔루션입니다. MPEG-H 오디오가 레거시 코덱에 비교해 갖는 장점은 다음과 같습니다.

1) 몰입형 사운드: MPEG-H 오디오는 청취자의 머리 위 또는 아래에 음원을 배치시킴으로써 3D 몰입형 오디오 전송을 지원합니다. MPEG-H 오디오는 기존의 스테레오, 5.1, 7.1 채널을 비롯하여 5.1+4H, 7.1+4H, 22.2 채널과 같은 3D 포맷 등 다양한 스피커 구성을 지원하도록 고안되었습니다. MPEG-H 오디오 시스템 내에서 몰입형 사운드는 채널, 객체 또는 그 둘이 조합된 형태로 전송될 수 있습니다.

2) 맞춤형 인터랙티브 사운드: MPEG-H 오디오는 청취자가 컨텐츠와 상호작용하면서 맞춤형 오디오 경험을 만들어낼 수 있는 기능을 제공합니다. 인터랙티브 설정에는 대화음량 조절 등 단순 기능뿐 아니라, 컨텐츠 제작자가 설정한 범위 내에서 청취자가 자신의 취향에 따라 특정 오디오 구성요소의 음량과 위치를 조절하는 고급 기능도 포함됩니다.

3) 모든 재생기기 지원: MPEG-H는 동일한 비트스트림을 다양한 송출 플랫폼(예: 지상파, 위성, 브로드밴드, 모바일 네트워크)을 통해 거실, 홈시어터, 소음 환경 등 여러 환경에서 각종 기기(예: TV, AVR, 사운드바, 셋톱박스, 태블릿, 360도 영상을 지원하는 VR 기기)에 전송하는 유연성을 제공합니다.

MPEG-H 오디오는 mp3, AAC 계열 코덱 등 각종 코딩기술의 표준화를 주도한 ISO/IEC Moving Picture Experts Group (MPEG)가 개발한 국제 표준입니다. MPEG-H 오디오 표준(ISO/IEC 23008-3)은 저복잡도(Low Complexity, LC), 베이스라인(Baseline, BL) 등 2개의 프로파일을 규정하고 있습니다. 방송 및 스트리밍에 필수적인 이들 프로파일은 몰입형 3D 오디오 컨텐츠의 디코딩 및 렌더링과 고급 맞춤형 설정을 가능하게 합니다. 오디오 객체는 단독으로 또는 채널과 함께 사용되어 효율적인 전송과 몰입형 사운드 구현을 지원합니다. 이 외에도 재생 시 객체의 게인(gain)이나 위치를 조정하여 인터랙티브 기능이나 맞춤형 기능을 구현할 수 있습니다. MPEG-H 오디오 표준에 대한 자세한 정보는 여기에서 확인하세요.

MPEG-H 오디오는 종합 오디오 솔루션으로, 타 오디오 코덱을 사용하지 않습니다. MPEG-H 오디오의 코덱 기능은 AAC 계열 코덱 등 전세대 MPEG 오디오 코덱 기술을 기반으로 합니다.

MPEG-H 오디오는 몰입형 사운드, 맞춤형 기능, 효율적인 비트율, 모든 재생기기 지원 등 소비자의 니즈를 충족시키는 다양한 장점을 바탕으로 오디오 경험을 업그레이드 시켜줍니다.

MPEG-H 오디오 시스템은 스포츠 경기의 방송 및 스트리밍 중계에 가장 이상적인 오디오 솔루션으로 평가되고 있습니다. 홈팀이나 원정팀 응원석 현장음, 경기 해설 등 듣고 싶은 음향을 직접 선택하여 경기장의 뜨거운 열기를 안방에서 느낄 수 있기 때문입니다. 더 자세한 정보는 여기에서 확인하세요.

스포츠 경기 외에도 몰입형 사운드와 인터랙티브 옵션을 활용하여 서비스를 개선할 수 있는 사례로 라이브 공연 스트리밍이 있습니다. 더 자세한 정보는 여기와 여기에서 확인하세요.

MPEG-H 오디오 시스템의 고급 접근성 기능은 노인이나 시각/청각장애인에게 필수적입니다. 특히 음량증폭(Dialog Enhancement)과 음성해설(Audio Description) 서비스는 방송 접근성을 높이는데 유용합니다.

MPEG-H는 다수의 방송, 스트리밍 및 VR 표준에 채택되었습니다. 목록은 여기에서 확인할 수 있습니다.

MPEG-H 오디오는 소니의 360 리얼리티 오디오(360 Reality Audio)의 핵심기술입니다. 360 리얼리티 오디오를 바탕으로 한 몰입형 음원 스트리밍 서비스는 지난 2019년 가을 아마존 뮤직 HD(Amazon Music HD), 디저(Deezer), 너그즈넷(nugs.net), 소니 셀렉트(Sony Select), 타이달(TIDAL)에서 최초로 공개되었으며, 현재 3,000여곡이 이용 가능합니다. 360 리얼리티 오디오 이니셔티브를 지원하는 주요 음반사에는 소니뮤직, 유니버설뮤직, 워너뮤직 등이 있습니다.

MPEG-H 오디오 시스템은 지난 2017년 5월 한국에서 세계 최초로 개시된 지상파 UHD 방송에서 유일한 차세대 오디오 코덱으로 채택되었으며, 이후 KBS, MBC, SBS의 모든 상용서비스에 적용 중입니다.

젠하이저 앰비오(Sennheiser Ambeo) 사운드바, 아마존 에코 스튜디오(Amazon Echo Studio) 스마트 스피커, 구글 크롬캐스트 울트라 4K(Google ChromeCast Ultra 4K), 삼성 및 LG UHD TV 등 다수의 소비자 기기가 MPEG-H 오디오를 지원하고 있습니다.

비트율은 신호 개수(채널 또는 객체 신호)에 따라 달라지는데, MPEG-H 오디오는 신호 구성이 유연하기 때문에 간단하게 답변드리기가 어려운 질문입니다. 신호 개수가 증가하면 코덱의 효율성도 높아지기 때문에 전체 비트율은 개별적으로 인코딩된 신호들의 합보다 낮습니다. 아래의 표는 자주 사용되는 채널 구성을 채널과 객체 신호의 조합으로 나타냅니다. 스테레오, 5.1 서라운드 또는 3D 구성(하이트채널(H)로 표기)과 함께 객체 신호 개수가 표시되어 있습니다. MPEG-H 오디오 표준의 레벨 4(Level 4)에 해당하는 마지막 22.2 채널을 제외한 모든 예시는 레벨 3(Level 3)에 해당하는 최대 16개 신호를 사용합니다.

ITU-R 권장사항 BS. 1534-3 MUSHRA 등급 기준 1534-3

AAC/HE-AAC 스테레오 또는 서라운드 오디오를 사용하는 기존 방송 서비스의 경우, 멀티플렉스에 MPEG-H 오디오 스트림을 추가하는 간단한 방식으로 고급 MPEG-H 오디오 기능을 제공할 수 있습니다. MPEG-H 오디오를 지원하는 모든 방송용 A/V 코덱은 AAC 스트림과 MPEG-H 오디오 스트림을 포함하는 멀티플렉스를 생성할 수 있습니다. 이때 AAC 스트림은 레거시 수신기로, MPEG-H 오디오 스트림은 신규 리시버로 디코딩할 수 있습니다.

MPEG-H 오디오 지원기기에는 MPEG-H 스트림에서 제공하는 모든 인터랙티브 기능이 표시된 사용자 인터페이스가 기본 탑재되어 있습니다. 컨텐츠 제작자의 의도에 따라 MPEG-H 스트림별로 제공하는 인터랙티브 기능이 상이할 수 있으며, 시청자는 사용자 인터페이스를 통해 맞춤형 컨텐츠를 설정할 수 있습니다.

MPEG-H 오디오 장면에는 오디오 컨텐츠 외에도 메타데이터가 포함되어 있습니다. 제작 시 생성된 메타데이터는 재생 플랫폼에 관계 없이 탁월한 품질의 오디오를 재현하고 렌더링하는데 필요한 모든 정보를 담고 있습니다.

MPEG-H 오디오는 방송, 스트리밍 및 몰입형 음악에 최적화되어 설계되었습니다. 제작 단계 전반에 걸쳐 SDI 환경에서 메타데이터의 무결성을 보장하기 위해 메타데이터는 ‘컨트롤 트랙(Control Track)’ 형태로 전송됩니다. 컨트롤 트랙은 일반 오디오 채널처럼 처리되는 타임코드 같은(time-code like) 오디오 신호입니다. 이를 통해 메타데이터와 그에 상응하는 A/V 신호 간 싱크가 맞춰집니다. 컨트롤 트랙은 A/D 및 D/A 변환, 레벨 변화, 샘플레이트 변환, 프레임 단위 편집 등에 강하며, 패스스루(pass through)를 위해 오디오 장비를 데이터 모드나 비오디오(non-audio) 모드로 강제 전환시키지 않습니다.

MPEG-H 마스터는 특정 오디오 장면에 대한 모든 오디오 컨텐츠와 제작 메타데이터를 담고 있습니다. MPEG-H 프로파일에 부합하는 MPEG-H BWF/ADM(Broadcast Wave Format with embedded Audio Definition Model metadata)이나 MPEG-H 컨트롤 트랙(Control Track) 내에서 메타데이터를 담고 있는 MPF(MPEG-H Production Format) 파일 형식을 취합니다.

MPEG-H 컨트롤 트랙은 기존의 SDI 기반 장비를 통해 메타데이터와 그에 상응하는 A/V 데이터를 전송하는 기술입니다. 컨트롤 트랙은 별도의 SDI 또는 WAV 파일 채널로 전송 가능한 타임코드 같은 PCM 오디오 신호입니다. 여느 오디오 신호와 마찬가지로 영상 편집기에서 편집이 가능합니다.

컨트롤 트랙은 SDI, MADI, AoIP 등 PCM 데이터 전송이 가능한 모든 형식을 통해 메타데이터 및 그와 연계된 오디오 컨텐츠의 전송을 지원합니다. 또한, 일반 오디오 신호처럼 처리되며, 샘플레이트 변환과 레벨 변화에 강합니다. 컨트롤 트랙에 담긴 메타데이터는 A/V 데이터와 연동되어 있기 때문에, 생방송 또는 후반제작 시 설정 변경은 영상 프레임별로 적용될 수 있습니다.

MPF(MPEG-H Production Format)는 MPEG-H 오디오 장면에 대한 모든 오디오 컨텐츠와 메타데이터를 담고 있는 다채널 PCM 파일입니다. 메타데이터는 타임코드 같은(time-code like) PCM 오디오 신호이자 다채널 WAV 파일의 오디오 트랙 중 하나인 컨트롤 트랙(Control Track)으로 저장됩니다.

ITU-R BS.2076에 따르면 오디오 정의 모델(Audio Definition Model, ADM)은 차세대 오디오(NGA) 콘텐츠의 생성, 교환 및 저장을 위한 공개 메타데이터 포맷을 정의합니다. ADM의 포괄적인 메타데이터 신택스는 채널, 객체 및 장면 기반 몰입형 인터랙티브 오디오 경험을 제공합니다. ITU-R BS.2125에서는 S-ADM에 대한 일련의 표현 뿐 아니라, 실시간 방송 및 스트리밍 제작 과정에서 사용하는 원본 ADM의 구간분할 역시 정의하고 있습니다.

MPEG-H ADM 프로파일은 ITU-R BS.2076 및 ITU-R BS.2125의 제한사항을 정의하며, ISO/IEC 23008-3에 정의된 바와 같이 MPEG-H 오디오를 위한 기존 NGA 콘텐츠 제작 및 송출 시스템과의 호환을 가능하게 합니다.

무료로 제공되는 프라운호퍼 ADM 인포 툴(Fraunhofer ADM Info Tool)은 프로파일에 부합하는 ADM 메타데이터의 생성을 지원하는 소프트웨어 유틸리티입니다. ADM의 적합성 시험 체계는 입력되는 ADM 메타데이터에 대해 MPEG-H ADM 프로파일을 바탕으로 하는 일련의 테스트를 실시하고, 부적합이 발견될 경우에는 해결방안이 담긴 세부 보고서를 제공합니다.

MPEG-H 변환 툴(MPEG-H Conversion Tool, MCO)을 사용하면 클릭 한 번으로 기존의 돌비 애트모스 BWF/ADM 파일을 MPEG-H Production Format(MPF)로 변환할 수 있습니다. 변환 툴은 평가 협의 하에 파트너사들에게 제공되고 있습니다. 더 자세한 정보는 프라운호퍼에 문의하세요.

프라운호퍼 IIS는 MPEG-H 저작 스위트(MPEG-H Authoring Suite, MAS)를 통해 제작 툴을 묶음 형태로 제공하고 있습니다. MAS는 MPEG-H 저작 플러그인(MPEG-H Authoring Plug-in, MHAPi) 과 MPEG-H 저작 툴(MPEG-H Authoring Tool, MHAT) 으로 구성되어 있습니다과MPEG-H변환 툴(MPEG-H Conversion Tool, MCO).

MPEG-H 저작 스위트를 다운로드 하시려면 여기를 클릭하세요.

기타 MPEG-H 제작용 프로그램에는 후반작업용으로는 New Audio Technology Spatial Audio Designer와 Blackmagic DaVinci Resolve Studio가, 생방송용으로는 Linear Acoustic AMS와 Jünger MMA Hardware가 있습니다.

MPEG-H 저작 스위트(MPEG-H Authoring Suite, MAS)는 MPEG-H 오디오 컨텐츠의 빠르고 손쉽고 직관적인 제작에 특화된 툴 셋트입니다. MAS는 최근 출시된 MPEG-H ADM 프로파일뿐 아니라 헤드폰에서 몰입형 오디오를 구현하기 위한 바이너럴 모니터링(binaural monitoring)을 지원합니다.

MPEG-H 저작 플러그인(MPEG-H Authoring Plug-in, MHAPi)은 VST3나 AAX 를 지원하는 디지털 오디오 워크스테이션(DAW)에서 객체 또는 채널 기반 MPEG-H 오디오 제작을 지원합니다. MHAPi를 사용하여 몰입형 인터랙티브 MPEG-H 오디오 장면을 MPEG-H 지원 채널에 송출할 수 있는 MPF(MPEG-H Production Format)나 MPEG-H BWF/ADM 포맷으로 내보내기 할 수 있습니다. 이때 파일에는 오디오와 메타데이터가 포함됩니다.

MPEG-H 저작 툴(MPEG-H Authoring Tool, MHAT)은 맥이나 윈도우에서 기존 오디오 자료를 사용하여 MPEG-H 메타데이터를 생성할 수 있는 신규 소프트웨어툴입니다. DAW 없이도 MPEG-H 저작 작업이 가능한 것이 특징입니다. MHAT에서는 특정 MPEG-H 파라미터를 정의한 후, 즉시 설정값을 청취해 볼 수 있습니다. 저작된 믹스는 MPF, MPEG-H BWF/ADM 포맷으로 내보내기 하거나 XML 템플릿으로 내보내기 할 수 있습니다.

MPEG-H 변환 툴(MPEG-H Conversion Tool, MCO)은 맥이나 윈도우에서 MPEG-H에 적합한 마스터 파일의 포맷을 변환할 수 있는 소프트웨어툴입니다. MCO는 MPEG-H 오디오 에코시스템의 인터페이스 역할을 하며, MPF 및 BWF/ADM 불러오기/내보내기 기능을 지원합니다.

MPF 재생기(MPEG-H Production Format Player, MPF-Player)는 맥이나 윈도우에서 저작 작업을 마친 MPEG-H 메타데이터와 오디오 믹스의 품질을 확인할 수 있는 소프트웨어툴입니다. 품질 확인은 상응하는 영상의 유무와 관계없이 가능합니다.

객체 기반 제작 시 인터랙티브 기능, 접근성 기능, 음량 측정 등을 위해서는 메타데이터 저작 과정이 필요합니다. 모든 제작 환경과 요건에 들어맞는 단일 솔루션은 없으며, 일반적인 컨텐츠를 위한 간단한 자동 또는 프리셋(preset) 기반 저작부터 고급 애플리케이션용 종합 저작까지 여러 종류의 워크플로우를 활용할 수 있습니다. 더 자세한 정보는 여기에서 확인하세요.

MPEG-H 오디오 시스템은 컨텐츠 제작자들이 다양한 프리셋(preset)을 정의하여 창의적 컨텐츠 제작 방안을 모색할 수 있도록 설계되었습니다. 방송사는 저작 툴을 통해 특정 객체의 게인(gain) 및 위치 설정을 정의하여 오디오 믹스(프로그램 기본/메인 믹스 포함)를 준비하고, 사용자가 메뉴에서 선택할 수 있는 프리셋 믹스 옵션을 생성할 수 있습니다. 이 외에도 오디오 매니아 층을 겨냥하여 MPEG-H 오디오 고급 인터랙티브 메뉴에서 프로그램 오디오 구성요소 제어가 가능하게 했습니다. 사용자에게 제공되는 모든 인터랙티브 기능은 방송사가 메타데이터 생성 시 정의합니다. 메타데이터를 생성하는 과정을 ‘저작(authoring)’ 이라 부르는데, 이는 기존 제작 시스템에서 찾아볼 수 없는 MPEG-H 오디오만의 특징입니다.

제작 방식에 따라 여러가지 방법이 있습니다. 후반작업 시 MPEG-H 저작 스위트(MPEG-H Authoring Suite)의 툴을 사용하면 오디오 및 메타데이터를 아래의 파일 형식 중 하나로 내보내기 할 수 있습니다.

MPEG­-H BWF/ADM: MPEG-H BWF/ADM(Broadcast Wave Format with embedded Audio Definition Model metadata)은 MPEG-H 오디오 장면에 대한 모든 오디오와 메타데이터를 담고 있는 다채널 WAV 파일입니다. 내보내기 한 BWF/ADM 파일은 MPEG-H ADM 프로파일에 부합합니다. 음량은 내보내기 과정 중 측정되어 내보내기한 파일에 내장됩니다.

MPF: MPF(MPEG-H Production Format)은 MPEG-H 오디오 장면에 대한 모든 오디오와 메타데이터를 담고 있는 다채널 WAV 파일입니다. 메타데이터는 다채널 WAV 파일의 오디오 트랙 중 하나이자 샘플레이트 변환과 레벨 변화에 강한 변조된 신호를 포함하는 ‘컨트롤 트랙(Control Track)’에 저장됩니다. 음량은 내보내기 과정 중 측정되어 내보내기한 파일에 내장됩니다.

XML: XML으로 MPEG-H 장면 정의를 사용하는 특수 애플리케이션을 위한 내보내기 옵션입니다. XML은 오디오 에센스(audio essence)가 담긴 다채널 WAV 파일과 함께 저장됩니다.

더 자세한 정보는 비메오 영상이나 유튜브 영상에서 확인하세요.

MPEG-H 생방송 제작용 저작 및 모니터링 유닛(Authoring and Monitoring Units, AMAU)은 오디오 신호와 컨트롤 트랙을 실시간으로 내보내기합니다. 컨트롤 트랙은 SDI, MADI, AoIP 등 PCM 데이터 전송이 가능한 모든 형식을 통해 메타데이터 및 그와 연계된 오디오 컨텐츠의 전송을 지원합니다. 또한, 일반 오디오 신호처럼 처리되며, 샘플레이트 변환과 레벨 변화에 강합니다.

더 자세한 정보는 이 영상에서 확인하세요.

네. MPEG-H 저작 스위트(MPEG-H Authoring Suite)는 MPEG-H ADM 프로파일에 따라 오디오 및 메타데이터를 BWF/ADM로 내보내기 하는 것을 지원합니다. 스피커 구성은 제작 요건에 따라 상이합니다. 스피커 배치, 스튜디오 설계 및 제작 워크플로우 관련 권장사항은 여기에서 확인하세요.

MPEG-H 오디오는 스테레오와 5.1, 7.1 외에도 5.1+4H, 7.1+4H 등 하이트 채널이 추가된 3D 오디오 구성뿐 아니라 하이트, 중단 및 하단 레이어 채널이 포함된 22.2 채널, 심지어는 정의되지 않은 레이아웃까지 지원하는 유연한 스피커 렌더링을 자랑합니다.

스피커 구성은 제작 요건에 따라 상이합니다. 스피커 배치, 스튜디오 설계 및 제작 워크플로우 관련 권장사항은 여기에서 확인하세요.

스피커가 제대로 연결되고 조정되었는지 확인할 수 있도록 채널 인식, 립싱크, 음량 확인 등이 포함된 MPEG-H 테스트용 신호가 마련되어 있습니다.

네. MPEG-H 저작 스위트(MPEG-H Authoring Suite) 3.5 버전에서 해당 옵션을 제공하고 있습니다.

MPEG-H 오디오는 사전 정의된 다운믹스 설정을 통해 일반적인 스피커 레이아웃으로 다운믹스 할 수 있습니다. 콘텐츠에 최적화된 다운믹스를 위해 레이아웃별로 설정 가능한 사용자 정의 다운믹스 옵션이 제공됩니다.

네. 이 기능은 MPEG-H 저작 플러그인(MPEG-H Authoring Plug-in) 3.0 버전 이상과 MPEG-H 저작 스위트(MPEG-H Authoring Suite)의 다이내믹 게인(Dynamic Gains)을 통해 적용 가능합니다.

네. MPEG-H 저작 스위트는 누엔도(Nuendo), 프로툴스(Pro Tools), 리퍼(Reaper), 세쿼이아(Sequoia)를 위한 템플릿 세션을 제공합니다.

MPEG-H 저작 플러그인(MPEG-H Authoring Plug-in)을 활용하여 MPEG-H를 저작하는 방식을 설명한 튜토리얼 영상 시리즈를 추천 드립니다.

유튜브에서 시청

비메오에서 시청

추가 문의사항이 있으실 경우, 아래의 이메일로 연락 주십시오.

productiontools-techsupport@iis.fraunhofer.de