この記事の内容は、「インテリジェント メディア プロダクション」シリーズのコースの第 1 回の概念、原理、基本的な使用法を編集したものであり、Alibaba Cloud Video Cloud Media Service Technology の担当者が分野と位置付け、アーキテクチャとサービスを共有しました。インテリジェントメディア制作原則のレベル、基本概念と技術、およびビデオ制作ビジネスをワンストップで開発およびアクセスする方法について説明します。コースのリプレイビデオについては記事の最後をご覧ください。
「スーパービデオ」の時代において、クラウドコンピューティングは業界の元々の壁を打ち破り、技術の進化を促進します。メディア制作・制作のクラウド統合サービスはパンビデオ業界全体に新たな変化をもたらしており、「スマートメディアプロダクション」はこの分野に焦点を当てたエンタープライズレベルのビデオ制作ツールです。
01 編集：核と生きている
インテリジェントなメディア制作はビデオ制作と消費のプロセスのどこに当てはまりますか? リンク全体の観点から見ると、ビデオは収集から始まり、制作、管理、配信、消費を経ますが、制作と制作は「制作と放送」プロセスの「制作」リンクに含まれます。
動画の制作と消費にもトレンドの変化が見られます。制作と制作を例に挙げると、プロフェッショナルのみがプロ仕様のソフトウェアを使用し、制作にノンリニア編集やOB車両ツールを使用できるようになり、ますます多くの人がモバイル端末でワンクリック美化を使用し、Web上のさまざまな編集ツールを使用できるようになります。コンテンツ制作のためのツール。
手作業による制作から AI の全面参加まで、プロフェッショナルでニッチな制作チームから一般大衆まで、受動的受信からパーソナライズされたインタラクションへ、インターネットとクラウド コンピューティングはトレンドの変化の過程で重要な役割を果たしてきました。クラウド上での制作・制作はインテリジェントメディア制作サービスの分野です。
動画リンク全体に占める制作・制作の割合は、主に2点に基づいて増加する：まず、ショートビデオアプリの台頭により、一般の人々の審美的品質が一般的に向上したこと、配信の品質と効率が競争の焦点になったことすべての当事者の間で。これら 2 つの側面から、インテリジェントなメディア制作サービスのスペースも改善されます。
スマートメディア制作はどのような問題を解決しますか?
クラウド コンピューティングの波の下、クラウド上での制作と制作が主要なビジネス シナリオに進化しており、インテリジェントなメディア制作は 6 つの主要な問題の解決に焦点を当てています。
l クラウドの編集と合成。インテリジェントなメディア制作によって解決されるべき最初の中核問題は、クラウド上で効率的かつ迅速な編集、制作、合成、エクスポートをどのように実現するかということです。
l マテリアル ライブラリの管理と公共マテリアルの使用。クラウド上での制作や制作には多くの素材管理の問題があり、素材が不足した場合、システムはユーザーが使用できる公開素材を提供する必要があります。
l 大規模な編集と合成。編集と素材管理の基本的なニーズを満たした後、企業は大規模なビデオを迅速に制作する必要がある場合があります。ビデオの作成プロセスは比較的煩雑であるため、大規模な制作により制作効率が大幅に向上します。
l プロフェッショナルで効率的な編集と合成。クラウド制作と制作の前には、プロ仕様の非編集ツールが多数あります。非編集ツールには利点もありますが、いくつかの欠点もあります。たとえば、ローカル レンダリングは大量のリソースを消費し、クライアントの適時性を奪います。顧客は完成したフィルムを入手するまでに多くの待ち時間を必要とします。スマート メディア制作は、クラウド上でプロフェッショナルかつ効率的に機能する方法の問題に対する解決策です。
l AI支援生産。さまざまな分野でAIの深化が進む中、AIを導入して生産効率をさらに向上させ、生産サイクルの長さの問題を解決できるかどうかが、インテリジェントなメディア制作の懸案となっている。
l 介入のない完全にインテリジェントな生産。「あるテーマの映像を制作したいが、そのテーマに応じた素材やアレンジ方法がまだ決まっていない」など、お客様のご要望は多岐にわたります。需要: 介入なしの状態で、クラウド上の生産システムによるワンクリックの完全なインテリジェント生産。
クリップ
編集はスマート メディア制作の中心です。クリップとは何ですか? 世界の編集の巨匠、ウォルター・マーチの言葉を借りれば、編集とは、音と映像を 2 つの空間次元と 1 つの時間次元でモザイク状につなぎ合わせることです。編集とは、タイムラインの加工だけでなく、映像や音声の加工も含めて、実はクリエイティブな作業です。
完璧な編集には、「編集の感情」「ストーリー」「編集のリズム」「視線の方向」「二次元の特徴」「三次元の一貫性」の6つの条件を満たす必要があります。編集の中心となるのは、いつ、どこで、あるフレームを別のフレームに変換するかということです。
制作およびクラウド上での制作の顧客により良いサービスを提供するために、インテリジェント メディア制作サービスは 5 つの機能を分解します。
まず、大量の材料を用意します。
第二に、多様なツールを提供します。
第三に、ビデオ素材の画面を効率的に分解して、その後のタイムラインの配置を容易にすることができます。
第 4 に、対話型編集操作中に豊富な視覚効果と音声効果を導入します。
5 番目に、全体的な編集が一貫していて、一度で完了します。
これに基づいて、実行可能な制作プロセスの設計がビデオ インテリジェント メディア サービスの焦点になっています。
02 クラウド連携、連携運用
作業過程
インテリジェントなメディア制作のプロセスは 3 つの部分に分けることができます。
入力部分の中核は、コンテンツ リソース ライブラリの管理と設計です。これには、豊富なソースだけでなく、オーディオ、ビデオ、テキストなどの従来のメディア資産やより一般的なメディア資産を含むさまざまなファイル タイプが含まれます。メタデータ、リッチ テキスト、ストーリーボードなどのタイプ。
出力されたフィルムやメディア コンテンツは、次のクリエイティブ素材の補足として入力部分まで遡ることもできます。
メディアの前処理後、素材は視覚、音声、テキストなどの多次元からインテリジェントに分析および処理され、ビデオ画像と音声の分解が出力されます。これはクリエイターがさまざまなシーン作成ツールを組み合わせてアイデアを生み出すために使用されます。
その中には、モバイル側の作成ツールだけでなく、Web側の編集ツールや、クラウドベースのテンプレートファクトリーやAI支援による大規模・量産ツールも含まれます。
制作セクションでは、単純なカットとスプライス、マルチトラック画像の重ね合わせと音声ミキシング、グラフィックとテキストのミキシング、字幕、吹き替え、ハイライト、およびスーパーインポーズされたインテリジェント機能による包括的な制作を含む、編集と制作のさまざまな機能がリストされています。
ビデオ コンテンツの消費は、実際にはインテリジェントなメディア制作と制作のための出力チャネルであり、完成した映画を配信用に直接出力するだけでなく、二次創作素材や、オフラインでの微編集や二次創作のためにビデオ以外のファイルのストーリーボードを出力することもできます。そして、消費者エクスペリエンスのフィードバックは、インテリジェント生産システムの AI アルゴリズム側に戻り、AI の自己学習を促進します。
テクノロジーアーキテクチャ
インテリジェントなメディア制作の技術アーキテクチャは、下から上に見ると、メディア制作が依存するメディア資産ライブラリです。これには、オーディオ、ビデオ、テキスト メタデータ、ファイルとリアルタイム ストリーム、テンプレート、制作プロジェクト、一時メディア資産ファイルが含まれます。人物、タグ、著作権、ショットなどの特徴ベースのタイプも含まれます。
中央にはメディア制作のコア アーキテクチャ モジュールがあり、制作ツールと制作サービスの 2 つのモジュールに分割でき、API を介してブリッジされています。制作ツールに関しては、主にストーリーボード、エフェクト エディター、プレーヤーの 3 つのコンポーネントがあり、その基礎となるコアはプレビュー レンダリング エンジンです。
制作および制作サービスも、最下位レベルでのレンダリングと合成を行う編集および制作モジュール、タイムラインのエラー修正と完成を行う処理センター、そして大規模かつ大量生産を行うテンプレート ファクトリの 3 つのコア モジュールに分かれています。
タイムラインに関しては、タイムラインは人工組織と AI 支援組織の両方をサポートしており、AI 支援組織タイムラインは多くのアトミック AI アルゴリズム機能に依存しています。
次の 2 つのレベルは、SaaS のさまざまなサービス/ページとさまざまな制作シナリオであり、インテリジェントなメディア制作の技術的フレームワークを構成します。
サービスレベル
インテリジェントメディア制作のサービスレベルは、PaaSクラウドサービスとPaaS+ WebSDKを分離、またはクラウド統合と組み合わせて提供します。
クラウド統合を理解するにはどうすればよいですか? クラウドの統合とは、クラウドと端末をプロトコルやトップレベル設計の観点から統合した設計であり、クラウドサービスが提供する機能はすべて端末のWebSDKで提供することができ、最終的には端末側のWebSDKが必要となります。呼び出されるクラウド サービスを指します。これは API 呼び出しとまったく同じです。
分離または結合できるということは、WebSDK を単独で使用したり、クラウド サービスを影響を受けずに単独で使用したりできることを意味します。
まずクラウドサービスについて見ていきますと、クラウドサービスの核となるのはOpenAPIを介してサービスを提供することであり、最後にイベント通知ツールによって編集タスクの完了通知がコールバックされます。
OpenAPI 全体は 4 つのセクションに分かれており、1 つは編集プロダクションであり、標準編集、ライブ編集、およびより複雑なクラウド編集プロジェクト管理を含むコア セクションです。2つ目はメディアアセットライブラリ、つまり素材ライブラリの管理と映画への出力です。3 つ目はインテリジェント タスクで、編集プロセスで補助的な API の役割を果たします。4 つ目はテンプレート ファクトリで、主にバッチおよび大規模な下限しきい値サービスを提供します。パブリック設定は実際にはイベント通知サービス用です。
クラウドサービス部分は上記のWebSDKに準拠しています。WebSDK によって提供される 3 つのコア シーン機能、つまり標準編集、ライブ編集、およびテンプレート ファクトリ編集があります。
標準的な編集には、主にリソースとインタラクションが含まれます。リソースとは、さまざまなトラック、マテリアル、フィルター、トランジション、特殊効果などを指します。インタラクションとは、編集操作にさまざまなインタラクティブ モードを提供することを指します。
ライブ編集についても同様です。違いは、ライブ編集操作のソースがライブ ストリーミングであり、インタラクションではデュアル プレーヤーおよびシングル トラック編集モードが採用されていることです。
テンプレートファクトリークリップのリソースは標準クリップと同じですが、インタラクションにいくつかの違いがあります。タイムラインの固定部分に基づいてテンプレートを作成し、テンプレート内の置換可能なマテリアル部分または非マテリアル部分をパラメータで上書きできます。 。
WebSDK の 2 つの一般的なサブコンポーネントは、タイムラインとクリップ プレーヤーです。タイムラインは現在、マルチトラック、マルチマテリアル、および複数のエフェクトをサポートしており、創造的なアイデアに従って配置されています。従来のプレーヤーと比較して、クリップ プレーヤーはリストに加えてリストをサポートしています再生やタイムラインエフェクトのプレビューだけでなく、単一のビデオを再生するために素材にさまざまなエフェクトを重ね合わせる必要もあります。
WebSDK ロジックはインタラクション ロジックと UI の両方を考慮しており、CSS スタイルが付属しているため、顧客は数十行のコードで独自の編集インターフェイスを迅速に作成できます。
03 技術原則と設計の実装
基本的な考え方
L材
素材とは、編集や制作に使用される素材のことで、ビデオ、ピュアオーディオ、ピクチャ、独立字幕など豊富な種類があり、パンテキストやロジカルデザインエンティティなどもあります。
l タイムライン
タイムラインはインテリジェントなメディア制作の中核概念であり、オーディオ、ビデオ、テキストの多層トラック、複数の素材、複数種類のエフェクトのプロセスと結果であり、ビデオ制作の考え方に従って整理されています。
同時に、編集と合成の基礎でもあり、結果がクラウドに送信されると、クラウド編集の合成サービスがタイムラインの最終結果に従ってレンダリングと合成を行います。インテリジェントなメディア制作にとって重要なデータ構造であり、コアでもあります。
l テンプレート
テンプレートは、トランジション/フィルター/特殊効果のルールなど、タイムラインの素材配置ルールを抽象化し、修正できる部分は修正、標準化したものです。タイムラインと比較して、テンプレートを使用する方が大規模な制作に便利で簡単です。
l クラウド編集プロジェクト
クラウド編集プロジェクトは、より広い概念であり、ビデオ作成プロセスに関係するすべてのデータを記述するために使用されます。これには、一般に、クリップのタイトル、作成時間、説明、ビデオ作成に必要な素材などの基本的なメタデータ、およびビデオを説明するタイムラインが含まれます。実際のビデオオーサリングコンテンツなど
l タスクの編集と合成
合成タスクの編集とは、ビデオの作成が完了した後、最終的なタイムラインまたはテンプレートを合成用に送信して、新しいメディア リソースを生成できることを意味します。メディア リソースの構成は非同期プロセスであり、編集および構成タスクは、作成の開始からタスクの最終完了までのプロセスを記述します。
ばらばらに
完成したフィルムは、編集、合成、またはエクスポートの対象製品です。ここで完成作品とは広い概念であり、現在編集中の成果物を対象としているため、現在の完成作品を二次創作の素材として使用することも可能です。
l インテリジェントなタスク
編集および合成では、マテリアルまたはターゲット メディア リソースの生成プロセスに対してインテリジェント処理を実行できます。インテリジェント タスクは、対応するインテリジェント処理プロセスを記述するために使用されます。
コアリンクと設計原則
l コアリンク
コア リンクには、抽象化層の入力、処理、出力の 3 つの部分が含まれています。
入力と出力は、統合メディア アセット、OSS オブジェクト、サードパーティ URL など、ソースとターゲットが一貫しているパンメディア アセットに関連しています。入力部分ではライブ ストリーミングのサポートが追加され、出力部分ではタイムライン交換タイプのサポートが追加されます。
処理部分では、処理プロセスは実際には編集、パッケージ化、レンダリング、合成の非同期プロセスであり、核となるオブジェクトはタイムラインであり、同時に複雑なクラウド編集プロジェクト管理、素材管理、映像制作などの高度な管理が含まれます。管理です。
さらに、効率を向上させるための 3 つの方法があり、テンプレート ファクトリはビデオのバッチおよび大規模な制作に使用され、インテリジェント プロダクション モードは手動処理効率の適時性を向上させるのに適しており、並列編集は合成時間の改善に使用されます。長いビデオやマルチマテリアルのシーン。
l 設計原則
出力部分の中心となる設計原則は、ソース ファイルの入出力原則です。
編集とは実際には素材フィルムを制作することですので、使用する素材も素材ファイルとなります 素材ライブラリーから何チャンネルのトランスコードファイルが出力されても、編集・合成には素材のオリジナルファイルが使用されますターゲット フィルムのオリジナル ファイルが合成され、必要に応じてファイルがトランスコードされ、さまざまな解像度の出力ストリームが生成されます。
さらに、3 つのパラメータを設定する必要があります。手動で指定しない場合、パラメータにはデフォルトのポリシーが適用されます。
最初のパラメータはターゲット フィルムの解像度に関するもので、元のファイル素材の最大の幅と高さがデフォルトで使用されます。たとえば、マテリアルが 3 つあり、ソース ファイルの解像度が 3 つの値である場合、3 つのマテリアルの最大幅が出力幅として、最大高さが出力高さとして取得されます。
2 番目のパラメータはビット レートに関するもので、上記と同様に、ソース ファイルの最大ビット レートがターゲット複合ビット レートとして使用されます。もちろん、特定のビット レートを防ぐための上限しきい値が存在します。ソース ファイルの素材が特に高すぎるため、出力されるフィルムの品質が低下します。
最後のパラメータは形式に関するもので、これが指定されていない場合は、デフォルトで 264 エンコード、MP4 カプセル化、および AAC オーディオ形式が使用されます。
メディアデータベースの設計
メディア ライブラリの設計ポイントは、オープン性、柔軟性、製品間のコラボレーションです。
オープン性は 2 つの側面に反映されています: 1 つ目は、マルチテナントのユーザー分離メディア資産ライブラリを提供すると同時に、顧客が編集および使用できる多数の音楽素材の著作権を公開します。2 つ目は、メディア資産ライブラリです。は製品間の統合を目的として設計されており、本質的にはオープン性の側面の表れでもあります。
制作プロセスでは、メディア資産を登録したり、インテリジェント メディア サービスのメディア資産を使用したりする煩雑な要件はありませんが、ビデオオン デマンド VOD 製品のメディア資産、サードパーティのファイルやライブ ストリームも使用できます。 S3 プロトコルもサポートしています。
メディアアセットライブラリは管理範囲を統一し、素材となるソースファイル、完成した映像となるターゲットファイルを管理対象とし、一時的なタイムラインや制作プロジェクトも管理対象とします。
さらに、メディア資産管理は汎メディア管理であり、従来のオーディオ、ビデオ、およびテキストのメディア資産に加えて、メディア資産コンテンツ素材管理に組み込むことができるその他の一般的なメディア資産管理も含まれます。メディア アセット ライブラリはビデオ クラウド レベルで統合され、統合されたメタデータ システムを備え、カスタマイズをサポートします。
同時に、ストレージ容量は OSS ストレージとビデオ オン デマンド ストレージを直接再利用でき、メディア処理容量は MPS トランスコーディングのメディア処理容量に完全に対応し、MPS で設定できるすべてのコーデック パラメータを使用できます。インテリジェントメディア制作システムが完成しました。
タイムライン
タイムラインの設計の核となるのは「統一」、つまり統一されたアーキテクチャと統一されたプロトコルです。
統一されたプロトコルとは、デバイスとクラウドが同じ一連のタイムライン プロトコルを使用することを意味し、統一されたアーキテクチャとは、クラウドとデバイスの動作が完全に一貫しており、デバイス上での操作によって得られるすべての効果を実現できることを意味します。 APIを通じて完了します。
タイムラインのデザインは、プロフェッショナルな NLE と従来の EDL の機能を組み合わせています。プロフェッショナルな非編集はマルチトラックで、さまざまなマテリアルとエフェクトのデザインがあり、タイムライン全体が非常に複雑でプロフェッショナルですが、従来の EDL はシングルトラックで、マテリアルは定義しますがエフェクトやステージは定義せず、タイムラインは比較的シンプルです。統一された基準はありません。
したがって、Alibaba Cloud は一連のタイムライン プロトコル標準を独自に定義し、クラウドとエンドで統合された再利用可能な設計を採用しました。
タイムラインに関係するオブジェクトには 4 つのカテゴリがあります。まず、トラック/レイヤーです。オーディオはトラック トラックと呼ばれ、ビデオはレイヤー レイヤーと呼ばれます。次に、クリップ、マテリアル、マテリアルは、コンテンツを配置するためにトラック上に配置される最小単位です。第三に、エフェクト、エフェクト、エフェクトをマテリアルまたはトラックに適用できます。4番目、シーン、ステージ、ステージは最終的なキャンバスであり、編集および合成されたフィルムが所有するキャンバスがステージです。
デザインにはトレードオフとバランスが必要です。まず、エフェクト トラックを独立して表示できるため、ある程度の自由度が高まります。第 2 に、トラックの素材は保持され、元の素材は参照としてのみ使用されます。プロフェッショナルNLEでは、トラック素材とオリジナル素材がそれぞれタイムライン上に複数回記述されるため、利用プロセスが複雑になり、使用した素材をトラック上に残しておくだけで使いやすさが向上します。
同時に、マテリアルの種類に応じてマルチトラック設計が行われ、キャンバスの自動パラメータ設定とカスタムパラメータ設定がサポートされ、タイムラインの多用途性と拡張性が保証されます。
タイムラインのデータ構造の詳細を見ると、タイムラインの第 1 レベルの構造は各トラックであり、タイプに応じてビデオ、オーディオ、ピクチャ、字幕、およびエフェクト トラックに分割されており、それらを重ね合わせて実行できます。レンダリングの場合、各トラックには、トラックに対応する複数のマテリアル、つまりトラック マテリアルが含まれます。
同時に、ImageTrack (ピクチャートラック)、SubtitleTrack (字幕トラック)、EffectTrack (エフェクトトラック) はすべて視覚に作用し、最も単純なモードでは API 呼び出し時に一律に VideoTrack に設定され、TrackType によって区別されます。開発コストと工数を大幅に削減します。
イメージトラックと写真素材は、最終的な複合フィルムのビジュアル素材とみなすことができ、ビジュアルトラック素材の種類によって元の素材の種類を区別できるため、開発量がさらに削減されます。
以下はマルチトラックのフロントエンドエフェクトを示しており、左上がマテリアルライブラリとコンテンツライブラリ、中央がプレーヤー、右端がエフェクト編集エリアです。
トラック素材をさらに分解するために、8 つの主要な属性をリストすることができます。MediaId と MediaURL は、どの特定のマテリアルが対応するかを記述するために使用され、これはマテリアルの識別です。メディア アセット ライブラリ内のメディア アセット ID への直接参照をサポートするだけでなく、OSS アドレスまたはサードパーティの S3 アドレスの指定もサポートします。 。これら 2 つのパラメータのうち 1 つだけを空にすることはできません。
Type はクリップのタイプを指します。In と Out は、完全なクリップに対するクリップの開始点と終了点を指します。TimelineIn と TimelineOut は混同しやすいため、区別する必要があります。In と Out は、完全な素材からどの部分を切り取るかを示します。たとえば、素材全体が 10 分であり、最初の 1 分から最後の部分まで切り取られます。 2 分目、In は 60 秒、Out は 120 秒です。
TimelineIn と TimelineOut は、最終出力フィルムのタイムラインに対するマテリアル クリップの開始点と終了点を記述するために使用されます。たとえば、エンド クレジットの作成のために 1 分間の素材がインターセプトされた場合、エンド クレジットはタイムライン全体の 30 分と 31 分に達している可能性があり、その場合、TimelineIn は 30 分、TimelineOut は 31 分になります。
エフェクトに関しては、基本的なテキスト、クロップ、ウェルティング、スケールに加えて、特殊効果もあり、画面全体に完全な特殊効果を適用する VFX、画面全体に特殊効果を適用するフィルターの 3 つのカテゴリに分類できます。カラー ブレンディングと様式化された効果のプレゼンテーション。トランジションは通常、2 つのマテリアルの継ぎ目で使用されます。
現在合計200種類以上のトランジション、フィルター、特殊効果が豊富に揃っています 詳細は公式サイト https://help.aliyun.com/document_detail/449558.html をご参照ください
。
同時に、特殊効果の属性をより詳細に指定することをサポートし、タイムライン上で特殊効果自体の開始点と終了点を指定します。特殊効果がビデオ画面を伴う場合、特殊効果の属性を設定することもできます。座標と幅と高さ。
テンプレートファクトリー
テンプレート ファクトリはタイムラインの設計原則に非常に似ており、クラウドとも完全に一致しています。テンプレート機能では、Open API 呼び出しを通じて大規模な制作を実現できるだけでなく、WebSDK または Alibaba Cloud コンソールを通じて対話型の操作や送信を実行することもできます。
現在、テンプレート ファクトリはパブリック テンプレート ライブラリとカスタム テンプレートをサポートしており、カスタム テンプレートは包括性を主張し、Adobe AE エコロジーとオープンにしています。プロフェッショナルな AE テンプレートを導入することで、開発者は非常に便利かつ大規模に制作できます。
タイムラインと比較して、テンプレートのパラメータは 2 つに単純化されています。1 つはテンプレート IDで、もう 1 つは素材に関するパラメータの組み合わせです。つまり、タイムラインの固定部分を固定および標準化し、変数部分を ClipsParam に格納し、その結果をテンプレート ID として作成します。
テンプレート ファクトリを通じて、創造性と使用の敷居を簡単に下げることができます。デザイナーはテンプレートをデザインし、呼び出し元が利用できるようにすることができます。同時に、テンプレート ファクトリのテンプレートはネストや組み合わせもサポートしています。
例えば、ビデオ画面にロゴなどの画像を重ね合わせるのが主な機能である標準的な完全なタイムラインがありますが、ビデオを連続的に変更するだけであれば、画像全体の内容をテンプレートにして、可変部分はTemplate Configに動画をインポート、つまりテンプレート化する素材をインポートするだけでタイムラインと同様の機能を簡単に実現できます。
さらに、高度なテンプレートを使用して、プロフェッショナルな制作機能を大規模に大量生産できます。高度なテンプレートは、Adobe デザイナーのエコロジーを完璧に組み合わせており、70 以上の公式 Web サイト テンプレートが組み込まれていると同時に、Adobe AE を使用したビデオの作成をサポートし、プラグインを介してテンプレート登録するためにテンプレート ファクトリにエクスポートし、バッチでビデオを生成するためのテンプレート ファクトリ サーバーをサポートしています。詳細については、こちらを参照してください。次のドキュメントを参照してください。
高度なテンプレート作成プロセス: https://help.aliyun.com/document_detail/467970.html
高度なテンプレート設計仕様: https://help.aliyun.com/document_detail/467972.html
高度なテンプレート API 呼び出しの詳細な説明: https://help.aliyun.com/document_detail/445389.html
アドバンストテンプレートの効果は以下の通りで、プロフェッショナルなテンプレート効果を適用することで、複数のオリジナル画像素材を最終的なクールなビデオに生成することができます。
プレミアムテンプレートのサンプルビデオ
04 ハンズオン操作、ワンストップ開発へのアクセス
インテリジェントなメディア制作サービスの中核は編集と合成です。ワンストップ開発の主なリンクとして、編集と合成は実際には非同期プロセスです。中心となるのは、タスクの送信、コールバックの受信とタスク ステータスのクエリ、および合成結果の取得です。これには 3 つの補助的なサブシーン、メディア アセット管理、インテリジェントなタスク処理とグローバル構成。
タスクの編集および合成には 3 つの呼び出し方法があります: 1 つ目は OpenAPI を直接呼び出してタスクを開始する方法、2 つ目は Alibaba Cloud IMS コンソールを通じて呼び出しを開始する方法、3 つ目は編集 WebSDK を独自のビジネス システムに統合する方法です。通話を開始します。
以下ではいくつかのプロセスを紹介します。そのうちの最初のいくつかのプロセスは、OpenAPI を通じて編集および合成タスクを直接開始し、結果を取得します。
タイムラインクリップ合成
Timeline を使用して直接編集および合成するのが最も簡単なプロセスです。組織パラメータを通じて、顧客は OpenAPI を直接呼び出して、編集および合成タスクを開始します。中心的なパラメータは、Timeline タイムライン フィールドです。同時に、合成ターゲットを設定します。幅と高さ、ビットレートなどを指定することももちろん可能ですが、設定せずに合成対象へのパスを設定するだけでも可能です。
編集リンクは非同期ですが、ジョブの送信は 3 つのコア パラメーターを同期的に返す同期サービスです。1 つ目は合成タスクを表す JobId、つまりジョブ ID です。2 つ目はタイムラインコンテンツ送信時に作成されるクラウド編集プロジェクト ID で、プロジェクト ID が入力されていない場合は自動的に作成され、同期的に ProjectId が返されます。3 番目のフィールドは、デフォルトで合成される新しいピースの ID であり、事前に送信者に返されます。
タスクを送信した後、送信者は結果を待っています。結果を受け取る方法は 3 つあります。
1 つ目は、コールバック サービスを通じてイベント通知をアクティブに受信すること、つまり、合成が完了した後にコールバック サービス アドレスが設定されたクライアントにコールバックをアクティブに送信することです。コールバックは、より効率的な HTTP コールバックと MNS コールバックをサポートします。
他の 2 つの方法では、クエリはクライアントの呼び出し元によって開始されます。1 つのクエリ方法は、ジョブ ID を通じて合成タスクのステータスと関連情報をクエリすることであり、もう 1 つの方法は、合成されたメディア資産の情報に重点を置き、MediaId を通じてメディア資産のコンテンツ情報を直接クエリします。 、メディア情報を取得します。
効率を考慮すると、コールバック サービスの最初の方法、つまり送信されたコールバックをアクティブに受信する方法を使用することをお勧めします。クライアントがクエリを開始する方法では、ポーリング リクエストを継続的に作成する必要があります。
もちろん両者を組み合わせることも可能で、例えばデフォルトではコールバックサービスで受信し、クライアント側で設定した時間を超えた場合にはクエリサービスを呼び出して能動的にステータスを取得することも可能です。
標準テンプレートクリップ合成
標準テンプレートのクリップ合成はタイムライン クリップ合成の使用と非常に似ていますが、唯一の違いは送信されたパラメータです。
送信された API サービスの名前、返されたフィールド、コールバック メソッド、クエリ メソッドはすべて同じで、送信されたパラメーターはタイムラインからテンプレートの 2 つのコア パラメーター (1 つはテンプレート ID) に変更されていることがわかります。 ( TemplateId ) 、もう 1 つはマテリアルのカバレッジ パラメーター(ClipsParam) です。このインターフェイスを使用する前提は、テンプレート ファクトリのテンプレートがカスタマイズされているか、パブリック テンプレート ライブラリ内のシステムに付属するテンプレートを直接使用できることです。
高度なテンプレートクリップの合成
高度なテンプレートとは、Adobe After Effect を使用して AE テンプレートを作成し、合成を開始することを意味します。コア パラメータは標準テンプレートと同じですが、合成のために高度なテンプレートを送信する前に 2 つの追加手順があります。
まず、AE および VE Exporter プラグインをローカルにダウンロードしてインストールする必要があります。
2 つ目は、AE をベースに作成し、VE プラグインを使用してテンプレートと対応するマテリアルをエクスポートし、テンプレート プロジェクト情報とマテリアル情報を含む zip ファイルにパッケージ化して OSS にアップロードし、合成用のテンプレートを送信します。
ライブクリップ
ライブ クリップの入力ソースはライブ ストリームであるため、ライブ クリップ シーンのコア パラメーターはわずかに変更されています。現在、複数のライブ ストリームのライブ素材の編集をサポートしているため、素材自体の指定に加えて、ライブ ストリームの構成も指定する必要があります。
ライブ編集には 2 つのモードがあり、1 つはラフカット、ラフカットは TS 精度、最速タイムは 2 番目のレベルです。もう 1 つはフレーム精度を実現するファイン編集で、最適化によりライブ編集の適時性は 20 倍に達します。
ライブ クリップは 2 つのシナリオで使用できます。1 つは、ライブブロードキャスト終了後に直接転送ポイントのコンテンツを編集する方法で、直接転送ポイントのコンテンツのソースは Alibaba Cloud のライブ ストリームである必要があります。2つ目は、生放送中に放送された内容を素早く編集することです。
同時に、ライブ編集は複数のライブ ストリームの混合編集をサポートします。つまり、単一のライブ ストリームに限定されず、複数のライブ ストリームの異なるクリップをまとめて編集できます。
Webツールクリップ合成
Web ツールを使用して構成を編集および送信するには 2 つのモードがあり、1 つはAlibaba Cloud コンソールを使用して Alibaba Cloud コンソール上で直接操作する方法です。
もう 1 つは、WebSDK を統合し、お客様自身のビジネス ページ上で合成を編集および送信し、編集プロセスとビジネス APP またはビジネス システムとの緊密な統合を実現することです。標準編集タイムラインと標準編集テンプレートに加え、ライブ編集も Web 上での編集とエフェクトプレビューをサポートします。
制作が完了した後、Alibaba Cloud コンソールを使用する場合、Alibaba Cloud コンソールは理論上実際には SaaS であり、直接使用できるため、インターフェイス上で直接構成を送信できます。
WebSDK を独自のビジネス インターフェイスに統合する場合、バックエンドで SubmitMediaProducingJob (標準編集) または SubmitLiveEditingJob (ライブ編集) を呼び出すことができますが、タイムラインは手動で組み立てられるのではなく、WebSDK によって直接生成されます。
プロジェクト管理を編集し、プロジェクト ID を使用して合成を送信します
プロジェクトの編集管理とプロジェクト ID を使用した送信と合成はより複雑です。プロジェクトの編集に関してより詳細な要求があり、編集プロジェクトを詳細に管理したい顧客または開発者に適しています。方法は 2 つあります:
1 つの方法は、クラウド クリップ プロジェクトを作成し、そのタイムライン データを直接指定し、プロジェクト ID を通じて合成することです。この方法では、プロジェクト ID の背後にあるタイムライン データがプロジェクトから取得できるため、タイムラインを渡す必要はありません。オブジェクト、および送信後のプロセスは、前のプロセスと一貫しています。
もう 1 つの方法は、最初にクラウド編集プロジェクトを作成し、次にタイムライン データを更新し続け、最後にプロジェクト ID を使用して合成ジョブを送信することです。その後のプロセスは同じです。
メディアデータベースリソースの登録
メディア データベースは、OSS オブジェクトと VOD メディアの登録をサポートしており、登録後は統一された MediaId が生成され、その後の管理と編集が容易になります。
実際、後続のバージョンでは VOD の MediaId を手動で登録する必要はなく、インテリジェント メディア サービスと VOD は MediaId 抽象化によって統合されているため、IMS MediaId として登録しなくても VOD MediaId を自然に識別できます。 VOD MediaId を IMS MediaId として登録することも可能です。
さらに、メディア資産ライブラリのオープン性は、メディア資産登録で必ずしも呼び出しを表示する必要がないことを意味します。
クリップ合成投稿時、タイムライントラック内の素材を事前登録なしでメディアURLに直接渡すことができ、合成投稿後の未登録素材の自動登録にも対応しています。MediaId が統一されると、インテリジェント メディア サービスの制作ツールである IMS が、 VOD の編集に直接使用できるVOD の制作ツールともみなされるようになります。
スマートなタスク処理
インテリジェントなタスク処理 材料分析、編集、パッケージ化の各段階でインテリジェントな分析または処理を実行します。スマート タスクの分析は時間のかかるプロセスであるため、まずタスクを送信してから、ジョブ ID でクエリを実行する必要があります。
スマート タスクは、SummitASRJob と SummitAudioProduceJob の 2 つのカテゴリに分類できます。これら 2 つのジョブは、通常、制作プロセスにおける重要な補助情報または重要な中間情報として使用されます。タスクの提出結果は、タイムラインの配置と制作と組み合わせて、最終的な完成品を完成させる必要があります。最終製品の作成と合成。
ただし、SummitIProductionJob の出力結果は、ロゴやテキストを消去した後の表紙、概要、またはビデオであるため、通常はジョブ結果を直接作品として出力し、JobId を通じてアクティブにクエリすることができます。タスクの実行は依然として非同期プロセスであり、スマート タスクは生産効率を向上させる補助的な役割を果たします。
このコースは、インテリジェントなメディア制作の基本的な概念をすべての人に提供することを目的としています。その他の例と実践については、公式 Web サイトのドキュメントを参照してください: https://help.aliyun.com/product/193643.html
より完全な内容については、コースのリプレイを参照してください⬇️
講座ビデオ｜インテリジェントメディア制作の概念、原理、基本的な使い方