ビデオのコーディングおよびデコーディングのテクノロジは日々変化しており、新しいコーディングおよびデコーディングのテクノロジは、ビデオ サービスに新しいアプリケーション シナリオと新しいユーザーのオーディオビジュアル エクスペリエンスを提供します。同時に、ビデオは帯域幅を大量に消費するため、オーディオビジュアル体験とビデオ帯域幅の間で最適なバランスを実現する方法は永遠のテーマです。ビデオ品質評価は主に、エクスペリエンスが向上するかどうか、帯域幅が適切かどうかなどの質問に答えるために使用されます。
しかし実際には、さまざまな要因によって制限されるため、実際のビデオ品質評価には多くの問題があります。主観的な評価の信頼性をどのように保証するか。主観的な評価を大規模に行うにはどうすればよいでしょうか? LiveVideoStackCon 2022 北京駅では、Baidu の Wang Wei 氏を招待し、Baidu ビデオ品質評価の開発過程を紹介しました。
文/王偉
編集/ライブビデオスタック
皆さんこんにちは、Baidu の Wang Wei です。私は近年ビデオ品質評価に取り組んでおり、Baidu のビデオ品質評価の全プロセスをゼロから、不信から自信まで、小規模から大規模まで経験してきました。 。
現在、当社のビデオ品質評価サービスは、Baidu 内のすべてのビデオ関連ビジネスの基本的なサポートを提供しており、2022 年にはビデオ全体の評価レベルが 100,000 を超える予定です。開発プロセス全体を振り返ると、多くの問題に遭遇し、多くの検討を行ってきました。本日は、ビデオ評価に関する私たちの知識と実践を皆さんと共有できることを大変うれしく思います。
全体としては、映像品質評価の重要性、次に我々が直面している課題と課題、次にその課題に対する当社の解決策、最後にBaiduの実践事例の4つの側面から紹介していきます。ビジネスライン。
-01-
ビデオ品質評価の重要性
物事の重要性を判断し、やる価値があるかどうかを判断するには、2つのポイントをまとめました。1つ目は、その物事の人気や傾向を確認することです。
動画の品質を評価するために、過去 20 年間の Google 検索における動画の品質に関連するキーワードの検索傾向という 2 つのデータを作成しました。全体として、2022年から現在まで検索関心は上昇し続けており、今後も注目され続ける可能性があります。次に、LiveVideoStackCon 2017 以降、ビデオ品質評価の話題も年々高まっています。トレンドや人気の観点から、ビデオの品質評価は比較的重要なタスクとなっています。
2つ目は、映像ビジネスにおける映像品質評価の状況を分析することです。ビデオ品質評価システムは、画質向上、コーデックの最適化、QoE 作業の基礎であり、ビデオ業界の紅海に浮かぶ青島とも言えるものであり、研究する価値があります。TO B メーカーにとって、ビデオ品質評価作業はさらに有望であり、成熟したビデオ品質評価システムを備えていれば、さまざまな拡張アルゴリズムや HDR テクノロジの長所と短所を判断するのに役立ちます。今後、この仕事は業界においてますます重要になってくると考えられます。
-02-
問題と課題
次に、映像品質評価業務における課題と課題を紹介します。具体的には、まず映像品質評価システムの紹介、次に従来のアルゴリズムの実践上の問題点、第三に主観評価の実践上の問題点、最後に課題点の4つの観点から分析します。ビジネスに直面している。
映像品質評価制度における主観評価と客観評価は誰もが知っていることですが、技術者である実務家はアルゴリズムに注目し、主観評価と客観評価を軽視することがあります。
しかし実際には、実際の分析の結果、主観評価はビデオ品質評価システムの不可欠かつ重要な部分であることがわかりました。たとえば、HDR/SDR 評価シナリオでは、ビデオ品質は機器や画面の明るさなどの要素に直接関係しています。 . アルゴリズムの観点から測定されます。また、コーデックの調達が絡む場合、販売者が提供するアルゴリズム実行スコアがいくら高くても簡単に信用することはできず、最終的に映像の品質は主観的な評価によって判断されることになります。
多くのコーデックは CODEC だけを目的としているのではなく、フレーム シーケンスやその他の側面も最適化する場合があるため、検出と分析は実践と組み合わせてシステムに追加するリンクです。例えば、あるコーデックの発売後、ビデオフレームの間隔シーケンスが調整されたため、ビデオ品質は向上しましたが、ビデオフリーズ率が急激に増加したことがわかりました。したがって、主観的および客観的な評価に基づいて、検出と分析のリンクを追加して、現在のビデオ品質評価システムを形成しました。
次に、従来のアルゴリズムが実際に遭遇する問題を紹介します。私たちは、従来のアルゴリズムは諸刃の剣であり、不適切に使用するとさまざまな誤った結論につながる可能性があると考えています。PSNRを例に挙げると、信号レベルで計算され、損失はフレーム全体の範囲で計算されるため、主観的な知覚との差異は非常に大きくなります。
上の写真の右側の画像から、B ビデオの空と雲の位置が大きく損なわれていることがわかりますが、その PSNR 値は 38 に達しており、対応する MOS スコアはほぼ 4 です。評価結果が良いのは当然ですが、人間の目の主観とは一致しません。
次に、2 つのビデオの PSNR 値が同じ場合、どのように対処すればよいでしょうか? 4K などの高解像度ビデオの場合、グローバル空間で PSNR 値を計算すると、2 つのビデオで同じ結果が得られる可能性があります。上の写真の左側の画像では、2 つのビデオの PSNR 値は両方とも 42 です。PSNR の結果に基づいてどちらのビデオ品質が優れているかを判断するのは困難です。
SSIMの何が問題なのでしょうか？SSIM はブロック問題を解決し、明るさ、コントラスト、構造情報を導入します。これは一般に PSNR よりも優れています。しかし、実際に使ってみると、SSIM の実装バージョンが複数存在し、バージョンが異なると結果が異なる可能性があるため、使用前にバージョンを確認する必要があることが分かりました。
2 つ目は、FFmpeg の SSIM フィルターにバグがあるということで、フィルター アルゴリズムを逆解析し、式に照らしてコード実装をレビューしたところ、コード内の輝度係数の計算に問題があることが判明しました。上図の右側は比較結果で、緑色の線が通常の結果、赤色の線が64を引いた結果です。全体の結果にはあまり影響しませんが、それでも必要です。注意を払うべきです。
VMAF の状況はさらに複雑で、全体的な計算プロセスは上に示されています。まず第一に、ビジネスビデオの種類とモデルのトレーニング データには大きな違いがあります。VMAF のデフォルト モデルは Netflix の HDTV データに基づいてトレーニングされており、現在の UGC シナリオと矛盾しており、ビデオ品質のスコアリングと主観的評価に大きな違いが生じます。結果。この標準モデルを使用して独自のデータセットで実験を実施しましたが、スコアの一貫性はわずか 60% であり、全員の注意が必要です。
2 番目の問題は、現在の消費シナリオのほとんどが携帯電話であり、携帯電話側の VMAF のスコアリングが HDTV に適合するために 2 次関数を使用した結果であるため、この点には特別な注意を払う必要があることです。
最後に、強化されたシナリオにおける従来のアルゴリズムには問題があり、従来のアルゴリズムの多くは強化されたシナリオでは失敗します。上の写真を例に、左の写真のビデオのコントラストを 2 倍にし、さまざまな品質指標を観察した結果を右の写真に示します。VIF値からも映像品質が向上していることがわかりますが、PSNRやSSIMの値が悪いとはいえ、映像品質が悪いわけではありません。VMAF 値は 100 に達しますが、MOS スコアの 5 の意味とは異なりますので、上記の問題にも注意が必要です。
次に、実際の主観評価の問題点を紹介します 現在主流となっている画質評価方法はITU-R BT.500に基づく画質評価方法ですが、この方法はコストが高い、評価効率が低い、適さないなどの問題があります。モバイル端末体験用。
そこで、Web ベースの評価方法を考案しましたが、ブラウザでの視聴体験とモバイル端末での体験の違いなど、使用の過程で多くの問題がありました。図中の青色の偏差が大きいことがわかります。2つ目はいつでもどこでも評価できないこと、3つ目はWeb版ではHDRや超解像終了などのシーンを評価できないことです。最後に、BT.500 の信頼度スクリーニング アルゴリズムについての質問ですが、その信頼度は統計的信頼度に基づいているため、統計的有意性を持たない特別な非ランダム シーンでは異常になります。高品質のビデオ 評価の際、アルゴリズムはユーザーの評価の信頼レベルを無視します。
要約すると、事業開発の初期段階では、Baidu のビデオ品質評価は次のような問題に直面していました。
1 つ目は評価が正確ではないこと、2 つ目は HDR などのシーンの評価ができず、最終的に満足のいかない評価につながることです。
-03-
問題を解決するための実践的な方法
先ほど述べた問題を踏まえて、問題を解決するための実践的な方法を紹介しましょう。具体的には4つのパートに分かれており、1つ目はツールの最適化、2つ目はツールの統合、次が評価制度のサービス、そしてより多くの人に参加してもらい、最後に現在の効果を紹介します。
まずツールの最適化についてですが、前述したようにアルゴリズムツールを正しく使うことが評価作業の鍵となりますが、最適化アルゴリズムと最適化結果の分析という2つの考え方のうち、最終的には最適化結果の分析というソリューションを採用しました。
最適化のプロセスでは、できるだけ FFmpeg フィルターに埋め込むようにし、埋め込めない場合は別のツールキットを構築します。オペレーター全体は上図に示されており、後ほど詳しく紹介します。
PSNR 視覚化は、2 つのビデオが同じ PSNR を持つ場合にどのように選択するかという問題を解決します。PSNRブロックを個別に計算する最適化手法を採用しています。これにより、PSNR データが多すぎて分析が困難になるため、ブロック後の PSNR 値がグレースケール化され、PSNR 値が位置する 0 ～ 60 の範囲が 8 ビット グレースケール画像にマッピングされます。ビデオの形で表示されます。その効果は上の図に示すとおりで、各ピクセルの PSNR のダメージがわかります。
視覚情報に関しては、PSNR 値が低いからといってビデオ効果が良くないというわけではないことを先ほど述べました。そのため、HSL、コントラスト、色、テクスチャなどの指標にもさらに注意を払いました。HSL の色相と彩度の点は非常に興味深いです。当時、私たちは UE とプロジェクトで協力しました。UE は、色相と彩度が画質に与える影響を分析するために、いくつかの悪いケースを見つけたいと考えていました。FFmpeg を使用した計算結果を提出した後、フィルター、UE がフィードバックを提供しました。結果は間違っています。
逆分析の結果、FFmpeg フィルターの色相と彩度は YUV に基づいて計算されており、実際の HSL 空間計算とは大きく異なることがわかります。
色相と彩度を計算するアルゴリズムを研究して書き直しました。上の写真が実際の効果です。上の画像のカラー値は、signalstats フィルターを使用して計算され、色相と彩度はそれぞれ 130 と 77 です。実際には、ColorSlurp ツールを使用して計算され、色相は 30、彩度は 95% です。Visualstats フィルターを使用すると、結果が ColorSlurp ツールの結果と基本的に同じであることがわかります。
コントラストの計算に関しては、現在関連するアルゴリズムが多数ありますが、SSIM アルゴリズムのコントラスト評価方式を借用し、ピクセル近傍の標準偏差を使用してコントラストを推定するため、4x4 のローカル空間の標準偏差を計算し、画像のコントラストとして使用しました。最終的にはうまくいきました。
テクスチャ計算に関しては、Matlab の手法と一致するカラー ヒストグラムを使用する方法と、最初にソーベル フィルタリングを実行し、フィルタリング後に 2 つのしきい値フィルタリングを実行する方法の 2 つの方法を設計しました。次に、黒以外のピクセルの割合を計算し、比較します。どちらの計算方法でも計算結果に大きな違いはありませんので、より単純なヒストグラム計算方法を使用することをお勧めします。
色の豊かさとは、写真の色の鮮やかさや豊かさを判断することです。上の写真の紙の考え方を使って計算しましたが、その考え方は、まず色空間をRGBに変換し、次に写真の式を使って写真の豊かさを計算するというものです。
上記の指標のすべてのアルゴリズムをFFmpegフィルタに統合し、以前に2倍にしたコントラストビデオを使用してさまざまな指標を計算しました.コントラストの計算結果は実際の状況と一致しており、その他の指標の変化も確認できます。コントラストの増加によってもたらされる指標は基本的に同じであり、人間の知覚に従ってください。
次に、主観評価ツールの最適化プロセスを紹介します。Baidu の強力なビデオ技術インフラストラクチャに基づいて、Lingjing (Duzhida) と呼ばれるマルチ端末の主観的品質評価アプリを開発しました。ビデオ評価を活用することで、ユーザーの消費シナリオに沿ったものになり、いつでもどこでも評価できるようになります。このツールの機能をいくつかの側面から簡単に紹介すると、まず、PC、iOS、Android の 3 つの主要なプラットフォームの評価機器とその他のメディア形式をサポートしています。
Lingjing APP の実機の効果は上の通りで、左側はシングル フレーム モードの効果です。コーデックの最適化に携わっている同僚はもっと注目するかもしれません。中央は、より一般的に使用される一般的なフルスクリーン モードですが、比較を強化するために、ドラッグ アンド ドロップをサポートする横方向のフルスクリーン モードも設計しました。小さなビデオの場合、右側に垂直の全画面モードを設計し、同時にさまざまな次元からのビデオのプロフェッショナルなスコアリングをサポートします。Lingjing は正式にリリースされており、「Duzhile」を検索してダウンロードすると、他の機能を体験できます。
以上、主に主観評価ツールの問題点を紹介し、次にそのプロセスの問題点を紹介した。人間には評価プロセス中に惰性があり、評価シーケンスの前のビデオに対する評価者の評価が後続のビデオの品質判断に影響を及ぼし、不正確な評価結果をもたらすことがわかりました。
この問題に対し、評価プロセスにおけるユーザーインタラクションを調整し、まず評価方法を二重盲検評価に変更し、評価者の評価順序に対する印象を混乱させるために動画の順序をランダムに入れ替えました。2 つ目は、自己構築された制御ビデオ ライブラリであり、評価タスクに制御ビデオをランダムに挿入することでユーザーの信頼度を制御します。3 つ目は、モデル、画面の明るさ、全画面モード、スコアリング時間を含むスコアリング情報をレポートすることです。
全体の流れは上図のようになります｡ 評価が必要な映像は制御映像を統合した上で評価タスクを形成し､そのタスクはPC､iOS､Android端末を通じて評価者に配信され､スコアリングが行われます｡ 信頼性スクリーニングが完了した後､最終的なビデオ MOS スコアが形成されます。右下は評価結果の一例で、複数の評価者による動画の採点状況であり、採点の信頼度は様々な情報を分析することで総合的に判断できます。
アルゴリズムツールや評価プロセスの改善により、多くのビデオ評価ニーズをいただくようになりました。本来のプロセスでは、評価ごとにタスク リストを手動で分割し、必要に応じて評価タスクを作成および配布し、最後にタスクの結果を手動で結合する必要があり、このプロセスでは多数の評価ニーズに対応できません。
そこで、アルゴリズム ツールのプラットフォーム ベースの統合を検討し、評価プロセスを複数の異なる評価シナリオ (テンプレートのように機能) に分割し、シナリオをタスク タイプ、スケジューリング オペレーター、および結果分析の 3 つの部分に分割しました。具体的な構造は中図のとおりで、タスクタイプごとにスケジューラがすべてのオペレータをそのタイプに合わせてスケジュールし、結果の集計方法や解釈方法に応じて対応することで作業効率が大幅に向上します。
全体的なアーキテクチャの観点から、評価シナリオの概念を使用して、最適化された客観的アルゴリズムと主観的評価ツールを統合し、サービスに基づいて下位層の機能をスケジュールし、最終的に自動タスク分割とインテリジェントな分析の効果を実現します。この方法を使用すると、多数のビデオ評価を処理するニーズを満たすことができます。
統合ビデオ評価プロセスは上に示されており、評価要件を受け取った後、まず適切な評価シーンを選択し、次にスケジューラーが対応する主観評価、SITI、客観的オペレーター、分析オペレーターなどを計算のためにスケジュールします。 Baidu の内部 FaaS プラットフォームと API インターフェイスを通じて公開される主観的な評価は、内部ツールまたは通知を使用してユーザーを募集し、ユーザーのスコアリングを完了します。同時に、別のスケジューリングオペレーターが各オペレーターの作業進捗状況をリアルタイムで把握し、すべての計算が完了した後、分析オペレーターが出動して最終的なテストレポートを作成します。
次に応用例をあげますと、上図の左側が通常使用される評価シーンで、対応する動画比率を選択して動画をアップロードした後、動画の評価結果を待つことができます。結果は右の図に示されています。Baidu の内部要件に従ってさまざまな結論が表示されます。たとえば、右の図の主観的な分析結果は、2 つのコーデックの GSB 分布を示しています。肯定的 (良い) 32 % は A エンコーダ 32 を表します。% のビデオ品質はエンコーダ B のビデオ品質よりも優れています。同じ (同じ) は、A のビデオ品質の 66% が B のビデオ品質と基本的に同じであることを意味します。マイナス (悪い) は 2%、 A の最適化が成功し、できるだけ早く起動できることがわかります。
評価結果は分析結果だけでなく、シーンに応じたビットレート分布や全オペレータの計算結果など、多くの品質指標を分析に提供し、主観的かつ客観的な仕組みでビジネス側の分析を支援します。
アルゴリズムツールの最適化とプラットフォームの統合の完了に伴い、Baidu の主観的なビデオ品質評価タスクは 22 年以来急速に増加しており、評価担当者の数が制限の主なボトルネックとなっています。
評価ニーズに応えるため、外部からの評価人材の導入を計画していますが、その理由は主に3つあります。第一に、評価プラットフォームには完全な信頼性判断能力があり、第二に、企業の内部ユーザーの参加と信頼レベルが保証されています。第三に、視覚と聴覚は人間の生得的な能力であり、公衆には生得的な判断能力があります。明後日に展開する美術鑑賞とは異なる、映像のクオリティ。
そのため、評価担当者で構成される 3 レベルのロケット モデルを構築し、第 1 レベルは、少量の評価要件を吸収できる Duzhi チームの内部担当者で構成されています。評価量が1日300～500件と多い場合は、社内システムの担当者が解決します。タスク量が 1,000 件/日を超える場合は、外部のクラウドソーシング チームを使用して解決します。コスト的には、社内システムで 7 人で 1 つのビデオを評価する場合のコストは 0.2 元です。外部雇用のコストは比較的高く、ビデオ 1 本のコストは約 1 ～ 2 元です。
実践の過程で、1 つのビデオを評価する人の数は、対応する評価結果の精度にも関係していることがわかり、人数が増えるほど、評価結果と専門的な結論の一貫性が高まります。上記の方法が現実的であり、コスト、工期、品質などを総合的に考慮して作業を進めていただきます。
上記は、Baidu のビデオ評価システムの現在の運用効果です。現在、80 以上の評価シナリオをサポートしており、内部評価効率は1 日あたり 500 件に達することができます。外部人材を使用すると、効率がさらに向上し、信頼レベルが向上します。90％に達しています。
上図は動画評価システムのサービス化後の評価業務量の推移グラフですが、全体の数が飛躍的に増加していることがわかります。
-04-
霊境（Duzhiledo）の商習慣
次に霊京（都直寮）の商習慣を紹介します。主に 3 つのパートに分かれており、1 つ目は Lingjing (Du Zhi Liao) の動作モデルの実践、2 つ目はクラウドトランスコーディング段階の実践、最後にユーザー再生段階の実践です。
上記のビデオ評価システムと比較して、運用段階でクラウドテストユーザーの操作を統合してDuzhidaoのサービスシステムを形成しており、このシステムは外部インターフェースが1つだけで、ユーザーは料金を支払い、プラットフォームがビデオ評価結果をフィードバックします。
このモデルは、Baidu のビデオ ビジネスの 3 つの段階で使用されます。1 つ目はクラウドトランスコーディングで、エンコード段階では、現在、Kunlun コア、BD265、超解像度アルゴリズム、サードパーティ コーデックなど、すべての Baidu コーデックの導入が Duzhidao の承認基準によって判断されています。レビュー段階に続く、Duzhi は主に、モデル トレーニング用のラベル付きデータを戦略に提供する責任を負います。3 番目はユーザー再生ステージで、主にいくつかの再生/トランスコーディング最適化戦略を提供する役割を果たします。
その全体的な技術的価値は、ビデオ品質評価アルゴリズム、ツール、人材を、複数のシナリオに適用できる効率的で信頼性の高いビデオ品質評価サービスに統合することです。ビジネス価値とは、効果的なコスト管理を意味し、ビジネスラインのすべてのペニーが価値のあるものになります。
次に、Duzhizhi のクラウドトランスコーディング段階でのビジネス実践を紹介します. まず、例として、先ほど述べた PSNR が類似した 2 つのビデオの最適化結果を取り上げます. 右の図は、最適化を使用して得られた PSNR の視覚的分析図ですアルゴリズム。A コーダーのエッジでの損失が比較的大きく、B コードの方が安定性が高く、視覚的な分析によりより直観的な結論が得られることがわかります。
トランスコード処理中に、色空間変換後に画像の明るさとコントラストが大きく変化し、PSNR の視覚化効果も低いことがわかりました。エンコードおよびデコードの際、最適化アルゴリズムの計算結果に基づいて元の画像を最適化することができるため、最適化されたビデオ品質が向上します。
ユーザーの再生段階では、Ducognition のビデオ品質評価システムを使用してビデオ ソースの特性を分析し、適切なトランスコーディング戦略を選択し、対応する戦略の AB 実験を支援します。
このアイデアにより、ユーザーの視聴体験を確保しながら、映像の音声ビットレートや画質向上が必要な映像の本数を合理的にコントロールするなど、コストを削減するなど、AB実験の効率化が図れます。事業部門の小規模実験を支援するビデオ評価システムを先行導入することで、戦略策定やAB実験戦略の効果的な意思決定支援を実現します。
Baidu の現在の AB 実験プロセスは上記の通りで、まずチームの内部戦略検証が行われ、次に社内の主観評価を経てサンプルが拡大され、最後にサンプルがオンラインにプッシュされて AB 実験が行われるという全プロセスがかかります。比較的短期間で、現在 1 つのコーデックを使用した実験は約 10 日で完了できますが、新しいコーデックの評価時間はわずか 1 日です。百度の動画評価は、「不満足、不正確、評価不可能」というこれまでの歴史的状況を完全に覆した。
今日はこれが私のシェアです、皆さんありがとう！
▲画像内のQRコードをスキャンするか、「元のテキストを読む」をクリックしてください ▲
LiveVideoStackCon 2023 Shanghai Station のさらにエキサイティングなトピックをチェックしてください