//
編集者注: 超高精細、低遅延、高ビットレートの方向にライブビデオが継続的に開発される中、Apple Vision の登場により、3D、8K 120FPS、およびビデオエンコーディングの最適化はますます重要になり、より困難になっています。LiveVideoStackCon 2023 上海ステーションでは、Tencent Cloud の Jiang Aojie 氏を招待し、Tencent Cloud V265/TXAV1 のライブ ブロードキャスト シーンでのエンコードの最適化とアプリケーションを共有し、オーディオおよびビデオ テクノロジーの無限の可能性を探求しました。
文/ジャン・アオジエ
編集/ライブビデオスタック
皆さんこんにちは。Tencent Cloud の Jiang Aoojie です。主にコーデックの開発と最適化を担当しています。今日共有されるトピックは、Tencent Cloud V265/TXAV1 のエンコードの最適化とライブ ブロードキャスト シーンでの応用です。
1. V265/TXAV1 ライブ ブロードキャスト機能の概要、2. V265/TXAV1 の典型的なライブ ブロードキャスト ビジネス プラクティス、3. ライブ ブロードキャスト シナリオにおける Tencent Cloud のエンコーディング最適化テクノロジの重要なポイントの 3 つのパートで構成されています。
-パート 1 -
V265/TXAV1 ライブ ストリーミング機能の紹介
今日のインターネット時代では、ライブ ビデオ ブロードキャストは、サービス プロバイダーと消費者をより直接的に結び付けることができるため、人気があり広く使用されるメディア形式になっています。人々はライブ ブロードキャスト プラットフォームを通じてあらゆる種類のコンテンツをリアルタイムで視聴し、最も本物の洞察や経験を初めて表現または取得できます。オンライン教育からスポーツイベントのライブ中継まで、ゲームライブ中継からグッズ付きライブ中継まで、ライブブロードキャストアプリケーションはその影響力を常に拡大しており、ライブブロードキャスト業界の発展は多様化と急速な成長の傾向を示しています。高品質ビデオに対するユーザーの需要が高まるにつれ、ライブブロードキャストの分野でのビデオコーディング技術の応用が特に重要になってきています。
現在、AV1/265 エンコーダは、その効率的な圧縮性能とサウンドエコロジーにより、ライブブロードキャストの分野で広く使用されています。まず、より高い圧縮効率で高品質のビデオ コンテンツを送信できるようになります。これは、同じ帯域幅の下で、ライブ ブロードキャスト プラットフォームがより鮮明で詳細な画像を提供できることを意味し、視聴者はより現実的な視聴体験を楽しむことができます。第 2 に、AV1/265 エンコーダはビット レート要件が低いため、ネットワーク送信の負担が軽減され、ライブ ブロードキャストの安定性と信頼性が向上します。
ライブ ブロードキャスト エンコーダのパフォーマンスをさらに最適化し、テンセント クラウドのライブ ブロードキャスト サービス機能を強化するために、テンセント クラウド アーキテクチャ プラットフォーム部門のシャノン研究室は、1 年以上にわたって AV1/265 エンコーダ向けにライブ ブロードキャストを最適化してきました。超高画質・高解像度・高ビットレート環境下での映像エンコードの速度と品質の両立を目指し、低遅延ライブ配信など、ライブ配信分野の課題解決に取り組んでいきます。 Tencent Cloud は、3D ライブ ブロードキャストの圧縮パフォーマンスに優れ、より高品質、より安定した、よりインタラクティブなライブ ブロードキャスト エクスペリエンスを提供します。
終了したばかりの MSU2022 コンテストでは、当社の TXAV1/V265 エンコーダが、対応する AV1/265 トラックで非常に良い結果を達成し、ほとんどの指標で 1 位を獲得しました。特にライブブロードキャスト関連の 30fp 競技では、V265 は X265 よりも平均 30% 以上ビット レートを節約でき、TXAV1 は平均 40% ビット レートを節約できます。同時に、クラウド トランスコーディング (480p、720p、1080p) の競争でも、V265/TXAV1 が上位 2 位を獲得しました。
これは、ライブ ブロードキャスト シーンにおける V265/TXAV1 のパフォーマンスの内部反復テストです。
V265 と X265 中程度の比較: 20% の高速化の場合、コード レートの節約は 36% を超えていますが、6 倍の高速化でも比較的大きなコード レートの節約が得られます。
X265 メディアと比較して、TXAV1 は同じ速度の場合にビット レートを 40% 以上節約でき、1.5 倍に加速してもビット レートは 35% 以上節約できます。
V265 と比較すると、TXAV1 は同様の速度でも約 10% 高い圧縮率を持っています。
-その2-
V265/TXAV1 の典型的なライブ ブロードキャストのビジネス慣行
2.1 8Kライブ放送
8Kライブ放送における当社のビジネス力は、「フル機能」「低遅延」「高性能」の3点に集約されます。
フル機能: 8K、60fps、10ビット、150Mbps、422、HDR、ABRライブブロードキャストをサポートでき、基本的に現在市場に出ているすべての機能要件を満たします。
低遅延: 1 台のデバイスで配信なしで最大 8K、60fps をサポートでき、エンコード遅延を最小限に抑えることができます。
高性能: 8K 60pfs であっても、圧縮パフォーマンスは X265 メディア ファイルよりも大幅に高く、9 倍近くの高速化があります。
2.2 クイックライブ
なぜ急いでライブブロードキャストする必要があるのですか?
Quick Live は主に、電子商取引のライブ ブロードキャスト、ショーのライブ ブロードキャスト、オンライン教育など、視聴者とのリアルタイムの対話やコミュニケーションが必要なシナリオで使用されます。リアルタイム インタラクションの遅延要件は非常に高く、高速ライブ ブロードキャストの遅延要件は 500 ～ 1000 ミリ秒以内で、標準のライブ ブロードキャストよりもはるかに厳しいです。
ただし、低レイテンシはエンコーダのパフォーマンスに大きな課題をもたらします。これは主に、短い事前分析 (事前に取得できる有効な情報が少ない)、小さな GOP (圧縮パフォーマンスに対する大きなプレッシャー)、およびフレームレベルの並列処理に反映されます。少なくなります (マルチスレッドでのエンコード速度に影響します)。したがって、最適化の焦点は、速度を確保しながらパフォーマンスを向上させることです。ターゲットを絞った最適化後、現在の高速ライブ ブロードキャスト シーンでは、最適化前と比較してビット レートが 5% ～ 7% 節約されます。
2.3 MV-HEVC
Apple Vision Pro が Apple Worldwide Developers Conference (WWDC) で正式にリリースされたとき、MV-HEVC コーディング標準をサポートするハードウェア コーデックを通じて 3D ビデオの主観的および客観的なエクスペリエンスが大幅に向上したことが言及されました。これに先立ち、テンセントは 3D ビデオを圧縮し、より良い 3D ビデオの主観的品質を得るために、MV-HEVC エンコーディングのサポートを完了しました。左側は一般的な3D映像の圧縮方式で、左右の視点画像を結合して一般的なエンコーダーで圧縮し、デコードして左右2つの映像に再分割します。ダウンロードした 3D ビデオを 3D で開かないと、表示される画像が左右に分離してしまうのはこのためです。
右はMV-HEVCの3D映像圧縮方式で、2つの視点をつなぎ合わせるのではなく、複数の視点を同時に1つの画像としてまとめてエンコードします。この利点は、ビデオの左目と右目が互いに独立しなくなり、参照関係を持つようになり、圧縮効率が大幅に向上することです。
MV-HEVCの原理：左右の視点画像間の冗長情報を利用して画像圧縮効率をさらに向上させます。たとえば、一般的に使用される左右のスプライシング方法に従って、最初のフレームの左右の視点が両方とも I フレームである場合、圧縮パフォーマンスは比較的低くなります。しかし、マルチビュー符号化方式に従って符号化されると、左眼はIフレーム、右眼はPフレームとなるため、右眼は左眼の情報を完全に参照することができ、圧縮効果を大幅に向上させることができます。左右の目の視差が小さい場合、圧縮効果の向上がより顕著になります。
現在のテスト結果には 8 つの JCT3V テスト シーケンスと 5 つの 3D 映画が含まれており、最終的な平均圧縮ゲインは 20% を超える可能性があります。結果からわかるように、3D映画は遠景映像が多く、左右の目の視差が小さく、MV-HEVCの方が圧縮効果が高いため、3D映画のメリットが大きいことが分かりました。映像の動きが激しくなったり、小さくなったりすると、左右の目の視差も大きくなります。
-その3-
ライブ ブロードキャスト シナリオにおける Tencent Cloud のエンコード最適化テクノロジーの重要なポイント
3.1.1 エンジニアリングの最適化: データ構造
高解像度、高ビット レート、高フレーム レートのビデオ コーディングの場合、速度に対する要求が高いため、計算やコピーを繰り返すたびに速度が大幅に低下する可能性があるため、合理化されたコア データ構造と最適化されたプロセスが必要です。この要件に基づいて、最初から作成した V265 および TXAV1 エンコーダーについては、設計の最初から明確な目標を立てました。それは、コア データ構造を可能な限り効率的かつ簡潔に設計することです。
1. TreeNode:ノードの属性情報を取得し、二重計算を避けるのに便利です。たとえば、画像ノードを分割できるかどうか、利用可能なモードは何か、幅と高さの位置などの基本的な属性を事前に計算できます。
2. CoreUnit:コアストレージ構造はコアコーディング情報を保存できます。これにより、アルゴリズムへの時間のかかる頻繁なアクセスを節約できるだけでなく、周囲のブロックに関する情報を効率的に取得することもできます。
3. IdenticalCu:同じ Cu の計算結果を使用して計算量を削減します。いくつかのブロックは異なるノードの下で同じように分割されるという事実を考慮して、IdenticalCu はさらなる分割を回避し、事前に情報を保存し、再利用を実現します。
4. SwapBuffer:メモリを代替使用することでコピーと再計算を削減します。SwapBuffer の使用前と使用後のパフォーマンスを比較すると、使用後はパススルー テストで 5% 高速化でき、8K では 20% 以上高速化できることがわかります。言い換えれば、8K の場合、繰り返しの計算、コピー、大規模なメモリ アクセスはすべて、より大きな速度低下を引き起こす可能性があります。
3.1.2 エンジニアリングの最適化: プロセスの最適化
超高解像度、高ビットレート、高フレームレートのビデオコーディング特性に合わせて、プロセスがさらに最適化されます。AV1 を例にとると、元のプロセスでは、同じ CTU の分析、フィルタリング、符号化が同時に完了しません。これは、フィルタリングがフレームレベルのパラメータに依存しており、フレームレベルのパラメータを取得できないためです。現在のブロック操作が完了した後のフィルタリングのレベル パラメータいくつかのアルゴリズムを通じて、フレーム全体のフィルタ パラメータをできるだけ早く取得して、並列性を向上させることができます。ただし、このようなアプローチではデータのコピーが増加し、速度とキャッシュ ヒット率に影響します。
分析の結果、フィルタリングは超高精細、高ビット レート、および高フレーム レートのビデオ圧縮パフォーマンスにはあまり影響を与えませんが、全体的な速度とコスト パフォーマンスの低下には大きな影響を与えることがわかりました。フィルタリング操作を適切に減らすことができます。さらに、高いフレーム レートでは、フレーム間のフィルタリング パラメータの類似性が高く、高レベルのフレームはフィルタリングされない傾向があります。では、他のフレーム フィルター パラメーターをスキップしたり再利用したりすることは可能でしょうか? したがって、フィルタリングやパラメータ導出の使用を減らすために、一連の適応フィルタリング アルゴリズムを設計しました。
このように、プロセス全体に最適化の余地がたくさんあります。パラメータ導出を必要としないフレームの場合、現在の CTU は分析後すぐにフィルタリングとエンコードを実行できるため、コピーやロード操作の必要性がなくなり、大幅にエンコード速度が向上します。実際、V265 では常にこのエンコード プロセスが採用されてきましたが、AV1 フィルター パラメーターの導出により、初期設計ではこれを実装する方法がありませんでした。
最終的な修正後、8K シーケンスのテストは 5% 以上改善され、パススルー シーケンスではフィルターのスキップが少ないため、速度への影響は比較的小さくなります。
3.1.3 エンジニアリングの最適化: マルチスレッド化
これはマルチスレッドの一般的なフローチャートです。マルチスレッドを事前解析、フレームレベル、SLICE/TILEレベル、マクロブロックレベル、後処理などの多くの部分に分け、それぞれの部分で並列性を高めるアルゴリズムを設計します。
たとえば、フレーム レベルでの参照フレーム間並列処理、同時実行性の高い参照フレームの最適化、およびフレーム レベルの優先順位調整、マクロブロック レベルでの WPP 解析並列処理と WPP のような並列処理、ポスト レベルでのフィルタ転位参照導出はありません。処理、フィルターマクロブロックレベルの並列処理、および複数のフィルターの並列処理など。
同時に、適応型並列制御のセットも用意されています。多くの場合、並列処理はロスレスではないため、速度を向上させながらロスを減らす方法を検討する必要があります。たとえば、スレッドの数、デバイス コアの数、画像の幅と高さ、画像の複雑さがわかっている場合、WPP の並列処理、CTU サイズ、GOP 長などを適応的に調整することができます。
私たちはすでに並列ソリューションの完全なセットを持っていますが、8K シーンでは多くの新たな問題が発生するでしょう。
1 つ目の問題は、最初のフレーム遅延が大きく、CPU 使用率が低いことです。通常のフレーム内並列処理は主に WPP に基づいていますが、その左ブロックと右上ブロックに依存するため、それらの間の並列関係にずれが生じます。つまり、左の画像には最大で 4 つのブロックしか並列して存在しません。並列度をより適切に計算するために、次の式をまとめました。w、h は幅と高さの CTU の数を表しますが、WPP の並列度は徐々に上昇する過程があるため、これは最大の並列度にすぎません。したがって、これは理想的なものにすぎません。
したがって、最初のフレームの遅延を減らすには、最大並列度を高める必要があります。TILE を並列化すると、複数の TILE 間に依存関係がなくなるため、TILE の並列化が実現可能な解決策となります。4K を例にとると、WPP の最大並列度は 16.2 です。したがって、TILE の数が 16 より大きい限り、理論的には速度の利点が得られます。実際の計算結果でもこの点が実証されており、TILE分割4×4では既に2.2%、4×8では25.59%の高速化が可能であり、WPPよりもランニング効果が優れています。
しかし、プロセス中のパフォーマンスの低下を軽減または回避するにはどうすればよいでしょうか? 最初のフレームの遅延を減らすことが目的の場合、すべての画像に対してマルチ TILE エンコードを実行する必要はなく、適応的な方法を使用できます。ここでの自己適応には 2 つの方向があり、第一に、追加する TILE の数を適応的に計算でき、第二に、キー フレームのマルチ TILE のみを自己適応的にエンコードし、他のフレームにはオリジナルのエンコード方法を使用できます。このような組み合わせにより、パフォーマンスの損失を制御しながら、遅延を効果的に短縮できます。
2つ目の問題は、ウルトラマルチコアデバイスでは8K動画の高速化ができないことです。全体的な分析と比較を通じて、事前分析がエンコード プロセス全体のボトルネックとなり、エンコード速度が制限されることがわかりました。ここでは、入力から分析前のエンコーディングに至るまで、複数の最適化が行われます。たとえば、CUTREE 並列最適化、マルチ SLICE 並列入力、SLICE&BATCH 並列最適化、およびマルチ SLICE 負荷分散により、不均衡な負荷によって引き起こされる過度の遅延の問題を回避できます。マルチスライス負荷分散は、一部のストライプが比較的大きくなるのを避けるために、イメージに従ってストライプを分割します。ただし、エンコードプロセスには複雑なコンテンツの問題が含まれるため、実際の使用時に各ストリップの時間を記録し、継続的な調整を通じて最終的により良い結果を達成します。
右の写真はSLICE&BATCHを並行したものです。BATCH モードは実際にはマルチフレーム並列処理であり、SLICE モードはフレーム内ストリップ並列処理です。8Kシーンではこの2つだけでは効果が不十分で、2つを組み合わせることでより良い効果が得られることが分かり、並列度が大幅に向上しました。
一連の加速措置を講じた後、全体的な効果は 101% の加速、圧縮パフォーマンスの 0.1% の損失、および 1001:1 の加速比に達します。
3.2 アルゴリズムの最適化
8K シーンにおける一部の加速アルゴリズムの最適化においても、新たな問題が発生します。たとえば、8K では変換処理の割合がより顕著になり、エンコード速度に影響します。したがって、非標準の DCT を使用して DCT プロセスを簡素化し、速度を上げるようにしてください。たとえば、64x64 ブロックの場合、最初の 16 行のみが DCT 列変換の対象となり、転置後、16 行のみが再度列変換の対象となるため、少数の位置のみが変換され、他の位置は 0 で埋められます。 。このような処理により、DCT 順変換の時間を 50% ～ 60% 削減できます。8K シーンでは DCT 変換が大きな割合を占めるため、時間の節約も非常に明白です。
ただし、実装中に、この高速化アルゴリズムは、複雑なテクスチャを持つ画像、単語の端、人間の目など、明確な境界を持つ一部のブロックに対して比較的大きなパフォーマンス損失を引き起こすことが判明しました。そこで、ここでは、追加の計算を回避しながら、現在のブロックがスムーズ ブロックに属するかどうかを検出するための事前分析によって取得された画像の複雑さの情報を使用して、CTU レベルのシーン検出を実行する試みを示します。このように、スムースブロックの64x64/32x32TUのみが非標準DCT変換を採用しています。最終的な結果として、圧縮パフォーマンスは 0.5% 低下しますが、速度は 6% 向上します。
低遅延のライブ ブロードキャスト シナリオでは、圧縮パフォーマンスの大幅な低下を避けるために、圧縮パフォーマンスを最適化する必要もあります。上の図は、低遅延シナリオで一般的に使用される IPPP 構造を示しています。この構造のパフォーマンスを分析すると、前のフレームが単に低遅延シナリオの参照として使用されるため、各フレームによって取得される QP オフセットは類似していることがわかります。つまり、各フレームの重要度は同じであり、同じ階層に属し、階層化された状態はありません。すべてのフレームが同じレイヤにあることは、エンコーダにとって好ましくありません。たとえば、一般的に使用される階層構造では、下位レイヤのフレームの QP が小さくなり、圧縮パフォーマンスが向上します。
したがって、提案する最適化スキームは、4 つのフレームをグループとして持つ miniGOP 構造を導入し、参照関係を調整し、この低遅延 miniGOP のカットリー伝播を最適化し、階層化が自然に行われるように低レベルのフレームの参照を強化することです。同時に全体的な耐障害性が強化されました。さらに、先読みの長さが短い場合に低レベル フレームのパフォーマンスを確保するために、出力は単一フレームのプッシュ アンド プル構造に調整され、後方時間領域依存性が保証されます。低レベル フレームが押し出されるときにフレーム間を完了するために使用される QP 計算。構造とアルゴリズムの変更は、QP をさまざまなレイヤーに適切に分散して最終的な最適化効果を達成するために使用され、低遅延のライブ ブロードキャスト シナリオでは、パフォーマンスの向上が非常に明白です。
3.3 主観的な最適化
ライブ ブロードキャスト シナリオの主観的な品質をさらに向上させるために、ROI (関心領域) エンコーディングのサポートを追加して、人間の目の注目領域の品質を向上させました。しかし同時に、ROI 機能の追加により次の 2 つの問題も発生しました。
問題 1: コードレートが大きく変動します。ROI は画像の QP 分布を調整するため、実際のビット レートは目標ビット レートに比べて比較的大きなビット レート変動を持ちます。この問題を解決するために、フレーム内とフレーム間の 2 つの側面から最適化しました。まず、フレーム内で、ROI と ROU 領域の QP オフセットをより適切に見つけるために、強度、領域、複雑さを通じて、ROI と ROU 領域の QP オフセットを見つけます。 ROI と ROU の領域関数の適合度が調整され、QP の計算式が調整されます。
QP_roi=QP−func1(QP_frame, roi_cplx∗roi_area，rou_cplx∗rou_area，roi_strengtℎ,rou_strengtℎ)；
QP_rou=QP+func2(QP_frame, roi_cplx∗roi_area，rou_cplx∗rou_area，roi_strengtℎ,rou_strengtℎ)。
ここでの複雑さは、エンコーダー自体によるブロックの複雑さの評価を拡張するため、追加の計算はありません。このとき、ビットレート変動は32%から15%に低減されます。
次に、フレーム間では、フレーム間の画像間のビットレート変動をさらに低減するために、ROI 強度を調整することでビットレート変動をさらに最適化できるようにビットレート リザーバー モデルを調整しました。コード レートが上昇すると、ROU の強度が増加してコード レートが低下しますが、コード レートが特定のしきい値まで上昇し続けると、ROI の強度が低下してコード レートがさらに低下し、その逆も同様です。この一連の対策により、コードレートは 15% から 5% に低減され、想定どおりのコードレート制御が達成されました。
問題 2: 速度の低下は明らかです。また、2 つの方法で最適化しました。1 つは、エンコード パーティション決定の高速アルゴリズム最適化です。これは、対象領域は小さなブロックに分割しやすく、非対象領域は大きなブロックに分割しやすいためです。ROI と ROU が分割されたので、さまざまな領域に応じて分割決定アルゴリズムを調整できます。これにより、エンコード速度を向上させることができる。
同時に、推論フレームワークエンジニアリングの高速化、モデルのアップグレードと枝刈り、入力画像のダウンサンプリングのためのアルゴリズムとパラメータの動的調整など、対応するエンジニアリングの最適化も実行しました。
最終的な効果は、平均所要時間のわずか 5% の増加に達し、手動評価の主観的画質は 32.3% 改善され、主観的効果が大幅に向上しました。
3.4 その他
上記は最適化の一部にすぎず、さらに多くの最適化があります。
アルゴリズム:適応イントラスキップ アルゴリズム、解析前 MVP スキップ アルゴリズム、解析前サブピクセル ME スキップ アルゴリズム、解析前イントラ モード検索最適化、インター検索モード スキップ アルゴリズム最適化、イントラ クロマ モード RD 検索最適化、インター化合物などモードスキッピングアルゴリズム、参照フレーム選択アルゴリズムの最適化、フィルタリング階層スキッピングアルゴリズム、参照ブロック情報に基づく高速フィルタリングアルゴリズムなど。
エンジニアリング: CTU コーディングの最適化、CTU 参照モード情報コピーの最適化、イントラ参照ピクセル コピーの最適化、タイル構文更新の最適化、CTU 残差情報コピーの最適化、コーディング情報統計の最適化、コスト テーブル計算の最適化、エッジ拡張の最適化、再構築コピーの最適化待機など。
最後に、私たちのチームはサーバー側のエンコード機能を備えているだけでなく、Tencent Cloud を使用して R265 端末のライブ ブロードキャスト用のリアルタイム エンコード機能を出力しており、Tencent Cloud 端末で広く使用されているということを付け加えておきます。X86 プラットフォームおよび ARM プラットフォーム上で、より優れたゼロ遅延圧縮をサポートできます。R265 は、X264@veryfast と同様の速度でビットレートを 30% 節約できます。
私の共有はここで終わります。
LiveVideoStackCon は、あらゆるマルチメディア技術者にとっての舞台です。チームや会社の責任者の方、特定の分野や技術で長年の実務経験があり、技術交流に熱心な方は、ぜひ LiveVideoStackCon のプロデューサー/講師にご応募ください。
下記のQRコードを読み込むと講師募集条件や講師特典などをご覧いただけます。ページ上のフォームを送信して、講師の申し込みを完了してください。カンファレンス組織委員会はあなたの情報をできるだけ早く検討し、資格のある候補者と連絡を取ります。
上の QR コードをスキャンしてください
講師応募フォームに必要事項を記入してください