MPEG-H Audioでのコンテンツ制作
没入型オーディオ、つまり3Dオーディオは、リスナーの上下層にスピーカーを追加することで音の再生に新たな臨場感をもたらします。MPEG-Hオーディオシステムと、生放送やポストプロダクション編集用の制作オーサリング・ツールの登場により、3D没入型サウンドのミックスはかつてないほど簡単になりました！
MPEG-H Audioによって、リスナーは音声要素と双方向でやりとりし、さまざまな言語や実況を選び、さらには音声オブジェクトの位置をすら変えることができます。ユーザーの双方向性の構成は、常にコンテンツ制作者の完全な管理下に置かれています。
MPEG-Hオーディオシステムは、ストリーミングシステムだけでなく現在と未来の放送システムに、素材伝送から放出まで機能するよう設計されています。世界中の非常に多くの試験で、放送事業の専門家は、既存のワークフローへ簡単に統合できることを体験しています。
MPEG-H Audio制作の紹介
MPEG-H Audioを使えば、コンテンツ制作者は没入感のある自分好みの体験を生み出すことができます。歌、合唱、楽器などの音源は、クリエイティブで芸術的な意図に完璧に合うように、3次元空間内に配置されます。その結果生まれるコンテンツの再生時には、コンテンツ制作者の狙いどおりに、ユーザーは全方位から音に没入できる音楽を楽しむことができます。
MPEG-Hオーディオシステムは、コンテンツ提供者に多数のプリセットを定義し、新しいクリエイティブな選択肢を模索する可能性を提供します。放送事業者は、オーサリング・ツールを用いて、シンプルなメニュー形式でユーザーに提示するプリセット・ミックスの選択肢をつくるために、ミックスのバージョン（その番組の規定値やメインミックスをなども含む）を定めることができます。
ユーザーに提供するすべての双方向機能は、コンテンツ制作者が制作時に定めるメタデータによって制御されています。このメタデータの生成プロセスを「オーサリング」と呼び、従来のコンテンツ制作と比べ、MPEG-H Audio制作では追加的な要素になります。オーサリング段階の結果は、メタデータと音声コンテンツを束ねた「MPEG-H Master」です。MPEG-H Audioのメタデータは、ユーザー双方向性用のあらゆる制御情報と、如何なるプラットフォームでも最高のオーディオ体験ができるように再生およびレンダリング用に必要な全情報を含んでいます。
MPEG-H AUDIOの制作ワークフロー
ポストプロダクション編集ファイルベースのワークフロー
ファイルベースのワークフローでは、MPEG-H Audioシーンとメタデータのオーサリングを、独立型のツールまたはデジタル・オーディオ・ワークステーション (DAW)用プラグインのいずれかで扱います。そうしたツールでは、シーンは、オーディオミックスに基づいてオーサリングされ、すべてのユーザー双方向機能が設定され、ラウドネスが測定されます。オーサリング完了後、メタデータはオーディオ・データと共に出力されます。制作シナリオに応じて、いくつかのファイルベースの伝達ソリューションを利用できます。ポストプロダクション編集時にMPEG-H オーサリングスイートのツールを使えば、MPEG-H Masterを次のフォーマットで出力できます。
MPEG-H BWF/ADM: MPEG-H BWF/ADM ファイル （組み込み音響定義モデル・メタデータを運搬する放送waveフォーマットの略称）は、MPEG-H Audioシーンに関する全オーディオ・メタデータを含むマルチチャンネルwaveファイルです。出力されるBWF/ADMファイルは、MPEG-H ADMプロファイルに準拠しています。
MPF: MPFファイル（MPEG-H Production Formatの略称）は、MPEG-H Audioシーンに関する全オーディオ・メタデータを含むマルチチャンネルwaveファイルです。メタデータは、マルチチャンネルwaveファイルの音声トラックのひとつであり、サンプリング周波数変換やレベル変化に対して堅牢な「タイムコードのような」信号を含む「コントロール・トラック」に保存されます。
詳細は、MPEG-H オーサリングスイート 講座・シリーズをご覧ください。
ライブ・リニア・リアルタイム・ワークフロー
MPEG-Hオーディオシステムは、現在のストリーミング・放送設備で作動するよう設計されています。リアルタイムシナリオでは、MPEG-H Audioシーンのオーサリングとメタデータは、「オーサリング監視ユニット」(AMAU)と呼ばれる装置によって扱われます。この装置は、リニア制作で一般的に用いられるSDI、MADI、AoIPなどの伝送規格により、音声信号としっかりと結びつき、映像信号と同期したメタデータをリアルタイムで出力します。
SDI環境の各制作段階において確実に統合させるために、メタデータは、「コントロール・トラック」として転送されます。このコントロール・トラックは、「タイムコードのような」音声信号であり、通常の音声チャンネルとして扱われます。これによって、メタデータは、対応する音声映像信号と同期します。コントロール・トラックには、A/D変換とD/A変換、レベル変化、サンプリング周波数変換、フレーム編集を実行する堅牢性があります。コントロール・トラックを通すため、オーディオ機器をデータモードや非音声モードに設定する必要はありません。
スポーツイベント、音楽ショーなどの制作シナリオを対象としたMPEG-Hライブプロダクションの制作方法について、詳しくは、MPEG-H Audio Live Production 講座・シリーズをご覧ください。
MPEG-HAudio制作ツール
MPEG-Hオーサリングスイート(MAS)は、MPEG-H Audioコンテンツの制作をより簡単に、早く、直感的で強力にしてくれるツール一式です。最近公開されたMPEG-H ADMプロファイル に加え、ヘッドホンでの没入型オーディオ再生のためのバイノーラルのモニタリングをサポートします。
MPEG-H オーサリングスイートをダウンロードするには、まずこちらからご登録ください。
MPEG-Hオーサリング・プラグイン
MPEG-Hオーサリング・プラグインは、VST3やAAX対応のデジタル・オーディオ・ワークステーション (DAW)内のオブジェクトベースあるいはチャンネルベースのMPEG-H Audio制作の全段階で使います。没入型でインタラクティブなMPEG-Hオーディオシーンを、オーディオとメタデータを含むMPEG-Hマスターに出力し、MPEG-H対応チャネルを介して配信できるようにします。
MPEG-Hオーサリング・ツール
MPEG-H オーサリング・ツールは、既存の音声素材でMPEG-Hメタデータを作るためのMacおよびWindows用の新規ソフトウェアツールです。MPEG-H オーサリング・ツールは、デジタル・オーディオ・ワークステーションを必要とせずに簡単にMPEG-Hオーサリングを行うことができます。具体的なMPEG-Hパラメーターを定め、すぐに構成を聴き、オーサリング済みのミックスをMPEG-H MasterまたはXMLファイル形式で出力することができます。
MPEG-H 変換ツール
MPEG-H 変換ツール (MCO)は、MPEG-H準拠コンテンツマスターの変換に使用できるMacおよびWindows用のソフトウェアツールです。MCOは、MPEG-H Audioエコシステムへのインターフェースとして機能し、MPEG-H Masterの読み込みと出力機能をサポートします。
MPEG-H 制作フォーマットプレイヤー
MPEG-H 制作フォーマットプレイヤー (MPF Player)は、オーサリング済みMPEG-Hメタデータと付属する音声ミックスのみ、または映像と一緒に、品質をチェックするためのMacおよびWindows用のソフトウェアツールです。
音響定義モデル (ADM)
ITU-R BS.2076で規定されている音響定義モデル(ADM)は、ファイルベースのワークフローにおける次世代オーディオ (NGA)コンテンツの制作、やりとり、アーカイブのための公開メタデータフォーマットを定めています。広範囲にわたるメタデータ構文により、没入感とインタラクティブな音声体験に必要なチャンネル、オブジェクト、シーンごとの表現など多種の音声コンテンツを記述することができます。一連の音響定義モデルの表現 (S-ADM)は、ITU-R BS.2125で規定されており、放送とストリーミングに使用できるリアルタイム制作などリニア・ワークフロー用として元のADMのセグメント化を定義します。
MPEG-H ADMプロファイルは、ISO/IEC 23008-3で定義されたMPEG-H Audioを対象に設けられた次世代オーディオコンテンツ制作配信システムと相互運用可能なITU-R BS.2076およびITU-R BS.2125に関する制約を定めています。
無償で入手可能なフラウンホーファー ADMインフォツールは、プロファイルに適合するADMメタデータの生成をサポートする実用ソフトウェアです。その適合性チェック枠組みは、入力ADMメタデータに対し、MPEG-H ADMプロファイルから派生した網羅的なチェックセットを実行し、発生した適合性の問題の詳細なレポートを収集し、それらを解決する方法に関する情報を提供します。
Dialog+
高度なスピーチミックス
背景音が大きいと、放送やストリーミングで話している内容を聞き取るのは難しいと多くの人が感じています。フラウンホーファーIISとWDRが行った最近の調査では、全人口を対象とした聴衆の68%がテレビで話している内容を頻繁にあるいはかなり頻繁に理解しづらいと感じていることが分かりました。MPEG-Hの技術Dialog+は、この課題を解決し、ダイアログと背景音の両方のラウドネスレベルを順応させることで、明瞭なダイアログ内容にします。このため、ファイナルミックスしか利用できない場合には、ディープラーニングに基づくソリューションを使い、適用することができます。これにより、各自のニーズに合わせてスピーチレベルをカスタマイズすることができます。
Dialog+は次世代のユーザー補助機能です
Dialog+は、ファイナルオーディオミックスしか利用できない古いコンテンツをアップグレードするのに、特にうまく機能するテクノロジーです。従来のシステム上でも機能します。Dialog+をMPEG-H Audioシステムと組み合わせて、カスタマイズの新境地をユーザーに提供します。MPEG-H Dialog+によって、視聴者は今や好きなミックスを選び、そのサウンドを自分好みにすることができます。
ご自身でDialog+を体験ください。
技術背景の詳細
論文などの資料をダウンロードするには、ダウンロードページをご覧ください。
フラウンホーファーIISが提供するアクセシビリティ・ソリューションの詳細は、メールにてdialogplus@iis.fraunhofer.deまでご連絡ください。
研修コース
フラウンホーファーは、研究者、エンジニア、トーン・マイスターから成る分野横断的チームを擁しています。ライブ放送の試験中は現場で制作チームをサポートします。ドイツ、エアランゲンの本部と、世界中の放送局の現場ではMPEG-Hを用いた制作のセミナーを実施しています。また、オフラインでは講座シリーズも提供しており、皆さまのニーズに合わせて専用の研修資料をご利用いただけます。詳しくは、こちらまでご連絡ください。
Vimeoチャンネルでは、全ビデオをご覧いただけます。
推奨するスタジオ環境
没入型オーディオ、つまり自宅にお届けする3D音声ミックスは、音声が制御された室内や近距離のミキシング環境でスピーカーを使って再生されます。
フラウンホーファーは、3Dオーディオミキシングに加え、スタジオとリスニングルームの開設に幅広い経験を有しています。そのため、1.0から7.1+4Hチャンネルまでのレイアウトにわたって、スピーカーの再生システムが正確なミキシングと再生を柔軟に行えるよう、3Dオーディオ生成環境のための構造的な必須条件と技術仕様をすべて提供することができます。
フラウンホーファーは、室内の形状と室内音響、スピーカーの位置と電気音響の性能、3D音声モニタリング機能とミキシング機能についてのコンサルティングを実施し、関連資料をお勧めします。
推奨するスタジオ環境に関する総合論文は、重要な出発点となります。こちらからダウンロードいただけます。
システムの設定後に、フラウンホーファー提供のMPEG-H test signalsで試験いただけます。
