オーディオとビデオの宝箱を使用して、「何千もの歩き方と顔」に対処します。
ホン・ビンフェン、チュウ・ペイシ｜著者
皆さん、こんにちは。今日私が共有するトピックは、業界におけるオーディオとビデオのデジタル化のさらなる加速である MediaBox です。
信頼できるデータによると、業界のデジタル情報の 65% はビデオから来ており、これに基づくと、業界のデジタル化にはオーディオとビデオのテクノロジーが不可欠です。本日は、この機会を利用して、業界におけるオーディオとビデオのデジタル化をさらに加速することに専念する強力なクライアント製品である MediaBox を紹介したいと思います。
MediaBox は、その名前が示すように、オーディオとビデオがすべて揃った魔法のボックスです。ここでは、複数のオーディオおよびビデオ機能を備えた SDK を自由に選択し、自由に組み合わせて、複数の端末に適応させて、さまざまなオーディオおよびビデオのニーズを一度に満たすことができます。
次回は、MediaBoxの初期導入と全景、オーディオ・ビデオ端末SDKのアーキテクチャ設計と進化、オーディオ・ビデオローコード開発のシーン構築と実践、エコロジー連携、今後の展望の4つの側面からお伝えします。 。
01 MediaBox の最初の紹介とパノラマ
需要側から見ると、従来のオーディオおよびビデオ技術は長年にわたって開発され、工業化の過程でインタラクティブエンターテインメント業界で広く使用されてきました。同時に、教育、医療、小売などの伝統産業にも徐々に浸透しており、伝統産業の需要が大きく伸びています。
研究開発側から見ると、オーディオとビデオの複雑さにより、業界の顧客は高い開発閾値、高いアクセスの複雑さ、高性能の課題など、多くの課題に直面しています。
これらの業界の傾向と課題に基づいて、企業のオーディオおよびビデオの需要は次のように要約できます。使いやすく、高性能、シナリオベース、およびマルチターミナルを備えた複数の SDK の組み合わせとソリューション。Alibaba Cloud Video Cloud の「MediaBox Audio and Video Terminal Integrated Suite」は、これらの課題に最適なソリューションを提供し、究極の自己進化を通じて業界のオーディオとビデオのデジタル化の実現を加速します。
ここでは、誰もがよく知っている相互エンターテイメント シナリオであるライブ PK を共有します。ブロードキャスト側では、ライブ ストリーミングをサポートし、ライブ ストリーミングをバイパスするために RTC テクノロジーが必要です。PK 中に、インタラクションを完了するには IM シグナリングが必要で、オーディオとビデオのストリーミング送信、および混合フロー レイアウトを完了するには RTC が必要です。このようなシナリオでは、複数の SDK とクラウド製品を組み合わせる必要があるため、オーディオ SDK やビデオ SDK よりもシナリオベースのソリューションが必要です。
MediaBox のパノラマ ビューを通じて、MediaBox がオーディオおよびビデオ端末 SDK とオーディオおよびビデオ ローコード AUI キットの 2 つの部分で構成されており、業界のエコロジー協力に基づいてオーディオおよびビデオ シーン ソリューションを構築していることがわかります。
MediaBox オーディオおよびビデオ ターミナル SDK は、リアルタイム オーディオおよびビデオ、ライブ ブロードキャスト、超低遅延ライブ ブロードキャスト、プレーヤー、ショート ビデオ、美容特殊効果などを包括的にカバーします。自由な組み合わせとパッケージ化により、さまざまな機能を備えた一連の SDK が提供されます。顧客に柔軟性と使いやすさ、効率的なアクセス体験を提供するために形成されました。
MediaBox AUI キットは、MediaBox SDK のシングルポイント機能をシナリオ ベースの方法でカプセル化し、顧客が特定のビデオ シナリオ ベースの機能を独自のアプリケーションに迅速に統合できるようにします。お客様は、オーディオおよびビデオ SDK の API の具体的な使用法を理解する必要はなく、シナリオベースのオーディオおよびビデオ機能を実現するための独自のビジネス実装についてのみ考慮する必要があるため、ビジネス開発プロセスが大幅にスピードアップされます。
MediaBox のメリットを一言で言うと「一台三役、複数シーン」です。
1 つ目は統合です。主に SDK 統合とクラウド統合です。SDK統合の基盤に基づいて、SDK開発を簡単に実行でき、端末とクラウドエクスペリエンスの統合を実現する特殊効果エンジン、インテリジェントなキャッシュ、クラウド統合などのさまざまなビジネスニーズを満たすためにSDKの組み合わせを実行できます。スケジュールの最適化などにより端末とクラウドの連携を実現します。
3つの高とは、高い使いやすさ、高いパフォーマンス、高いインテリジェンスを指します。統合された SDK に基づいて、SDK の柔軟な組み合わせを実現し、AUI ソリューションと組み合わせてローコード アクセスを実現して使いやすさを確保できます。さらに、SDK の安定性と高性能が最優先事項です。同時に、SDK のインテリジェンスは、さまざまなシナリオのニーズに非常によく応えます。
最後に、シナリオベースのソリューションは、使いやすさと使いやすさの問題を解決する必要があります。簡単な例を挙げると、長いビデオのシナリオと短いビデオのシナリオでは、開始バッファ設定、バッファ サイズ、ローカル キャッシュ設定が大きく異なりますが、顧客が必要としているのは、特定のニーズに応じてすぐに使用できることです。解決。
02 MediaBox オーディオおよびビデオ端末 SDK のアーキテクチャ設計と進化
次に、MediaBox オーディオおよびビデオ端末 SDK のアーキテクチャ設計を紹介します。
その前に、二つの短編小説を紹介しましょう。国産大型機C919の部品点数をご存知の方いらっしゃいますか？関連レポートによると、C919 には合計 250 万個の部品があり、組み立てには完全なシステムエンジニアリングが必要であり、それぞれが非常に重要です。
MediaBox を飛行機にたとえると、サブモジュールのひとつひとつが部品に相当し、それをいかに整然と組み立て、全体の機能を十分に発揮させるかが大きな課題となっています。
もう 1 つの共有は、自動車製造プラットフォームに関するものです。私たちは、異なるモデルが同じ製造プラットフォームで生産され、車両設計全体、特にシャーシ設計と車両構造を共有できることを知っています。同様に、MediaBox は、SDK 製品を迅速に反復して開発できる統合ベースに基づいています。
上の図は、MediaBox 統合 SDK の全体的なアーキテクチャです。階層構造となっており、SDKのクラッシュキャプチャやライセンス認証はSDK全体の汎用機能として機能し、SDK以外にもSDKの研究開発の効率化と安定性を確保するための研究開発支援ツールが多数用意されています。
SDK 開発の初期段階では、各企業はニーズを満たすために SDK を個別に反復します。お客様のビジネスが発展すると、機能要件を満たすために複数のSDKが必要になりますが、これらのSDKを無理に統合すると、パッケージサイズが最適化されず、パッケージの競合が発生する可能性があります。
そこで、いくつかの主要な Atom SDK の機能モジュールを分析しました。図に示すように、さまざまな SDK 間で共有できるモジュールが多数あり、SDK モジュールを使用することで、パッケージ サイズを削減しながらモジュールの再利用が可能になり、さらにパフォーマンスの最適化と互換性の向上が実現できます。
これらのコンポーネントを分離した後、どのように組み合わせるのでしょうか? 収集からレンダリングまでのプロセス全体をパイプライン機構を通じて接続できます。オーディオとビデオのパイプラインの構築、運用、破棄を含むライフサイクル管理全体を、効率的かつ柔軟なマイクロカーネルによって実装する必要があると同時に、プラグイン管理の導入により、プラグインの抜き差しが実現でき、SDKの拡張性が向上します。
次に、例を通してプラグインの設計を説明します。
顧客はインテリジェント ノイズ リダクション機能モジュールを導入したいと考えていますが、一般にインテリジェント ノイズ リダクション モジュールは深層学習ネットワークに基づいて実装されるため、SDK パッケージは比較的大きくなります。このモジュールを直接 SDK に導入すると、SDK 全体のサイズが大きくなりすぎます。
前の紹介で、パイプライン メカニズムは内部コンポーネントをうまく接続できましたが、外部コンポーネントに対する良い解決策はあるでしょうか? 私たちは、プラグインの占有を通じてマイクロカーネルにプラグインのホットスワップを実装し、プラグインのコードとパッケージングのセットを同時に実現し、両方の顧客の要求を同時に満たします。
アーキテクチャ設計の考慮事項のいくつかはこれまでに紹介しましたが、その後、実際の実装の問題点や課題についても取り上げます。
最初の質問は、SDK を書き換えるべきか、それとも既存の SDK をベースに進化させるべきかということです。ビジネス ニーズに基づいて後者を選択することしかできませんが、これは飛行機の飛行中にエンジンを交換することに相当し、全体的な安定性を試すのに最適です。
2 番目の質問は、多くの部品を備えた巨大な機械の場合、どうすればスムーズに動作するかということです。複数のチームはどのように協力するのでしょうか? バージョンはどのように管理されますか?
統合プロジェクトには複数のコンポーネントが含まれており、各コンポーネントのバージョン管理や依存関係も非常に複雑であり、コンポーネントを独立して参照することが困難です。そこで、柔軟なコンポーネント管理ツールである ACPM (Aliyun C++ Package Manager) を設計しました。これは 2 つの主要モジュールで構成されます。
1. 依存関係モジュール: 説明に従って依存関係を分析し、対応するコンポーネントをダウンロードし、cmake プロジェクトに必要なコンパイル済みファイルを生成します。
2. 公開モジュール: コンポーネントの静的ライブラリ (MTL 上) をホストし、依存関係分析のために公開するときに特定の情報を記録します。
このようにして、個々のコンポーネントをより適切に管理できるようになります。実用的なアプリケーションの例を挙げると、ショートビデオ、ライブブロードキャスト、RTC はすべてビデオ収集モジュールを使用します。このモジュールを統合し、共有用にモジュールを直接書き換えると、実際の運用時にいくつかの問題が発生する可能性があります。
当社が採用している手法はACPM化であり、比較的業務量の少ない事業（ショートビデオなど）ではSDK内の動画収集モジュールをACPM化し、他の2事業ではオリジナルモジュールをそのまま利用しています。前者の ACPM モジュールが徐々に安定した後、後者の 2 つのモジュールを ACPM 化して、コンポーネント全体の使用とエンジニアリング効率の統合を実現できます。
ACPM化は、パブリックコンポーネント、オーディオおよびビデオアルゴリズムなどにも適用できます。クロスプラットフォームベースでは、Android/iOS/Win/Mac マルチターミナルをサポートするだけでなく、Web アセンブリコードに出力できる Web ターミナルもサポートしているため、一部のネイティブ クライアント機能を迅速かつシームレスに転送できます。一貫性。
たとえば、Beauty Effects SDK は、Web プラットフォームで使用するために、ACPM を介して Web アセンブリ コードにコンパイルできます。基礎となるコードが同じセットであるため、エクスペリエンスの一貫性が最大限に確保されます。
次に、Web 上での高性能アルゴリズム特殊効果実行エンジンの実践を例に、統合フレームワークを使用して実装する方法を紹介します。
図に示すように、特殊効果エンジンはパイプライン、データ入力コンポーネント、画像処理コンポーネントからなり、Android/iOS/Win/Mac とサーバーサイド版にパッケージ化でき、Web 側の WASM を通じて関連ビジネスをサポートします。 。
Web ではパフォーマンスの低下や機能の制限が問題となるため、プロファイル ツールを使用してフレーム グラフを生成し、時間のかかる機能を解析し、SIMD に置き換えます。さらに、Web 上でマルチスレッドを有効にすることで、全体的な作業効率を向上させることができます。
クラウド統合はより極端な最適化を達成でき、競争力を反映します。
ネットワークごとに 1 つの SDK を実装し、一般的なオーディオおよびビデオ関連のシナリオをカバーしました。統合SDKと統合ネットワークMediaUniの連携により、デバイスとクラウドの統合体験を実現し、クライアントSDKをドッキングすることで簡単にクラウドサービスを利用できます。
例えば、デバイスとクラウドの連携によりインテリジェントなスケジューリングを実現したり、クラウド連携により再生キャッシュサイズをインテリジェントに制御してコストを削減したりできます。メディアサービスと連携することで、インテリジェントなオンデマンドトランスコーディングを実現し、人気の動画が見つかるとインテリジェントにトランスコーディングを開始できるため、再生エクスペリエンスが向上するだけでなく、顧客のコストも節約できます。
前回の計画により、機体は完成したと言えるが、安定性はまだ確保する必要がある。
1 つ目は、統合されたカスタマー サービスであり、すべての SDK は、統合された認可認証、統合された入口およびガイダンスのためのライセンスを共有します。
次に、高可用性と安定性を備えたシステムであり、クラッシュの収集と問題のインテリジェントな帰属を通じて、問題の影響範囲を迅速に特定できます。
次に、データ指標に基づいて最適化を実行し、異常な指標を監視する高可用性データ システムがあります。
最後のステップは、SDK の品質と安定性を完全に保証するための完全な自動テスト システムを構築することです。
MediaBox は、シナリオベースの実践において、端末インテリジェンス テクノロジーに基づいた革新と画期的な進歩を続けています。
たとえば、エンドサイドの超解像度に関しては、アルゴリズムを調整し、エンドサイドのコンピューティング能力の互換性を考慮する必要があります。さらに、インテリジェントなプリロードでは、現在のネットワークなどの情報に基づいたインテリジェントなアルゴリズムが使用されます。条件、ユーザーのスライド動作、履歴再生動作などを考慮して、プリロード キャッシュを動的に制御します。
1 対多の遠隔教育シナリオでは、生徒の集中力の低下による教育効果の低下が常にリモート教育の問題点であり、シナリオ インテリジェンスはビジネス エンパワーメントのさらなる可能性をもたらします。オーディオおよびビデオ ターミナル スイートは、単純な開発ツールであるだけでなく、業界の革新的なポートでもあり、最も軽量な方法で新しいデジタル インテリジェンス機能を現場に提供します。
03 MediaBoxオーディオとビデオのローコード開発のシナリオ構築と実践
私たちが接するお客様の多くは、オーディオやビデオの開発の専門家ではないため、パッケージソリューションを提供したいという共通の魅力を持っており、ビジネス開発のみに注力する必要があります。
ここで、議論する価値のある質問がいくつかあります。どのような種類のコンポーネントを実装する必要があるか、コンポーネントをどの粒度で実装する必要があるか、コンポーネントはオープンである必要があるかなどです。
このロジックに基づいて、オーディオとビデオ用の多くのローコード基本コンポーネントを開発しました。これらの基本コンポーネントはシーンベースのコンポーネントに組み合わせることができます。
AUI Kitのコンポーネント設計は、「仕様の統一」「多端末の統一」「シンプルで使いやすい」の3原則に沿って設計されており、複数端末間で一貫したUIスタイルを実現しています。もちろん、お客様がスクリプトを使用してワンクリックで導入できるよう、使いやすいツールもいくつか提供しています。これにより、お客様の統合効率が大幅に向上します。
AUI キット ソリューションには、UI コントロールだけでなく、サーバーと緊密に連携するシナリオベースのコンポーネントも含まれています。その柔軟なアーキテクチャ設計により、顧客はコンポーネントを簡単に組み立てることができます。さらに、コア コンポーネントのコードもオープン ソースです。
電子商取引のライブ ストリーミング クライアントを例に挙げると、シナリオベースのソリューションに基づいて、クライアントはオーディオおよびビデオ機能に迅速にアクセスしてビジネスを実行すると同時に、クライアントのニーズに応じて UI を開発およびカスタマイズしました。ニーズ。
以下では、図の例を使用して、シナリオベースのソリューションがどのように設計されるかを説明します。
シナリオベースのソリューションは通常、アプリ、AUI キット、アプリ サーバーとクラウド サービスによって完成します。顧客のワンストップ統合を容易にするために、App Server は現在、ライブ ブロードキャストの監査や録画などの一般的に使用される Alibaba Cloud PaaS レイヤー機能に接続されており、顧客はソース コードに基づいて二次開発と展開を実行するか、コンテナ化を直接使用して完了することができますサービスの展開。クライアント コンポーネントはサーバーと対話して、シナリオ ベースのビジネス機能を完了します。
エンターテインメントライブブロードキャスト、電子商取引ライブブロードキャスト、企業ライブブロードキャスト向けに、インタラクティブライブブロードキャストAUI Kitシナリオソリューションを開発し、共通機能をコンポーネントに抽出して実装しました。
グループ内の顧客向けのアプリ電子商取引のライブブロードキャストシナリオでは、AUI Kitのライブブロードキャスト、集中砲火、ショーケースなどのコンポーネントを使用してビジネスを迅速に実装しました。さらに、ある新エネルギー自動車会社は、AUI Kit ソリューションを迅速に統合して、新車発売の企業ライブ ブロードキャストを完了しました。
公開授業、大規模授業、企業内研修などのシナリオ向けに、対話型教室AUI Kitのシナリオベースソリューションを開発し、このシナリオでは対話型ホワイトボードやインテリジェントな集中監視などの機能を強化しました。
リモート監督シナリオでは、オーディオおよびビデオ テクノロジーが教育業界に大きな力を与えることができます。
中国では毎年多くの美術試験が行われますが、伝統的に美術学生は現地で試験を受ける必要があります。遠隔監督シナリオには多くの困難があります。まず、従来の RTC 会議方法では、すべての受験者が同じ会議に参加します。特定の受験者と教師が個別に通話する必要があるという要求を満たすのは困難です。さらに、美術試験モードでは多数の学生が同時にオンラインである必要があり、同時トラフィックが多いことも RTC システムにとって大きな課題です。
問題点に対処するために、リモート監督 AUI Kit ソリューションは MediaUni ネットワークに依存して 1 対 1 の通信を実現し、数万人が関与するシナリオでの同時性の高いプッシュ ストリーミングをサポートします。
ローコード ソリューションに基づいて、企業はソリューションの統合を迅速に完了し、開発の敷居を大幅に下げることができます。さらに、リモート試験監督ソリューションは Android/iOS ネイティブ アプリケーション、WeChat/DingTalk ミニ プログラム、Web をカバーしており、試験シナリオでの「高い使いやすさ」を保証します。
同時に、リモート試験官 AUI キット ソリューションは、世界中の 3,200 以上のノードの基盤ネットワークに基づいて、100,000 人以上の受験者を同時にオンラインで搬送することができ、試験官側でのビデオ遅延を 1 秒以内、1 対 1 で実現します。 1コール遅延300ms以内と高信頼性、高同時性、低遅延、高解像度で「非常に使いやすい」という要件を十分に満たしています。
04 MediaBoxの生態協力と将来展望
MediaBox のシナリオベースのソリューションは、開発の敷居を下げ、統合効率を向上させることができるため、業界のオーディオおよびビデオのデジタル化を支援するために、さらにシナリオベースのソリューションを開発し続けます。
さらに、クラウドエンドの統合により、より究極の最適化と優れたエクスペリエンスを実現することができ、検討の余地は非常に大きく、シーンディープ開発テクノロジーも組み合わせて、エンドクラウドとクラウドの組み合わせがより大きな価値を発揮できるようにしていきます。
端末インテリジェンスの観点では、モデルの計算を実行し、現在のネットワーク状態、現在のユーザーの行動、その他の情報に基づいて意思決定を行うことができるインテリジェントなプリロードを実装しました。業界のオーディオおよびビデオのデジタル化の過程で、シナリオ ソリューションにおけるエンドサイド インテリジェンスに対する要求がさらに高まることになります。デバイスとクラウドを組み合わせたインテリジェンス、大型モデルに支えられたインテリジェンスは、非常に想像力豊かな方向性です。
最後に、当社は最近 MediaBox エコロジカル パートナー プログラムを開始し、戦略的パートナーや主要パートナーを募集し、販売、マーケティング、テクノロジー、権限付与などの側面でサポートを提供し、パートナーに広範な開発プラットフォームを提供します。私たちは、パートナーと協力して、業界の顧客にシンプルで使いやすい、高品質のビデオ クラウド サービスを提供できることを楽しみにしています。
これで私の共有は終了です、皆さんありがとうございました！
