目次
Flying Paddle オープンソース コンポーネントの使用シナリオの概要
ディープラーニングの高度なコンテンツをマスターすべき理由
前の章では、まずニューラル ネットワーク モデルの基本とフライング パドルを使用したディープ ラーニング モデルの作成方法を学び、次にコンピューター ビジョン、自然言語処理、および推奨システム用のモデルを実装する方法を学びました。
しかし、人工知能の戦場で勝つのは簡単ではなく、次のような課題にも直面するでしょう。
- ビジネス シナリオに合わせたモデリング ソリューションを提案する必要があります。
- 多くの複雑なモデルのうちどれがより効果的かを調査します。
- さまざまなタイプのハードウェアへのモデルの展開を検討します。
プレミアムコンテンツにはどのような武器が含まれますか
1. モデルリソース
現在、ディープ ラーニング アプリケーションは多くの分野で実装されており、開発者にとってモデリングの最初の選択肢は、多くの場合、自分で作成するのではなく、既製のモデルを使用するか、既製のモデルを最適化することです。研究開発担当者の負担が大幅に軽減される一方で、既製品の方が精度や性能が向上しており、その効果もより優れています。
では、既製のモデル リソースはどこで見つけられるのでしょうか?
Paddle は 3 種類のモデル リソースを提供します。
- 事前トレーニング モデル ツール (PaddleHub);
- コンピュータ ビジョン、自然言語処理、音声、レコメンデーション システム (パドル画像セグメンテーション キット PaddleSeg、パドル意味理解キット ERNIE など) などの分野の十数のタスクをカバーするシナリオ固有の開発キット。
- オープンソース モデル ライブラリ (パドル モデル)
2. デザイン思考と二次研究開発
読者がいくつかの最新モデルに挑戦すると、モデルに必要なオペレーターパドルが実装されていない状況に遭遇することがあります。この章では、フライング パドル フレームにカスタム オペレーターを追加する方法を説明し、動的グラフと静的グラフの実装原理を説明することで、フライングパドル フレームの設計思想をより深く理解できるようにします。
3. 産業への展開
モデルの科学的研究や教育とは異なり、産業アプリケーションのモデルは、C++ 言語で書かれたビジネス システムにモデルを埋め込んだり、モデルを別個の Web サービスとして使用したりするなど、非常に豊富なハードウェア環境に展開する必要があります。 、またはモデルをカメラで待機状態にします。この章では、上記の需要シナリオを満たす Paddle Inference、Paddle Serving、Paddle Lite を紹介し、限られたハードウェアでモデルを高速に実行できるモデル圧縮ツール Paddle Slim を紹介します。
4. フライングパドルの全プロセス研究開発ツール
Flying Paddle は非常に多くのモデル リソースとツール コンポーネントを提供します。これらのコンポーネントを接続して、読者の業界に適したビジュアル モデリング ツールを開発するにはどうすればよいでしょうか? この章では、PaddleX がユーザーに提供できるフルプロセス サービスを読者に示すためのケースとして、公式に作成されたデモを取り上げます。
5. 業界への応用とプロジェクト事例
権威あるコンサルティング組織である iResearch は、人工知能の産業規模の成長率は今後 10 年間で 40% に達すると予測しています。人工知能は国の新しいインフラストラクチャの戦略的焦点でもあります。国務院も人工知能の高い成長を期待しています。 AIアプリケーションの開発計画。人工知能はあらゆる分野の繁栄を可能にしますが、伝統的な業界には依然として疑問を抱いている友人たちがいます。
「私が働いている業界は伝統的すぎて、人工知能は役に立たないのでは？」
この章では、エネルギー業界を例として、人工知能で最適化できる典型的な電力会社の側面を分析し、フライングパドルモデリングに基づいた実際のプロジェクトを示します。
人工知能とディープラーニングは実学であり、実際の実践なしにこれらの武器を戦場で使用することはできません。したがって、この章では、誰もが興味深い事例演習でこれらの武器を実際にマスターし、トップの深層学習専門家と競うことができるように、6 つの宿題コンテストを厳選します。
Flying Paddle オープンソース コンポーネントの使用シナリオの概要
次に、フライング パドルによって提供される武器の完全なセットを概要マップを通じて確認してみましょう。Baidu の長年にわたるディープ ラーニング テクノロジーの研究とビジネス アプリケーションに基づいて、Flying Paddle はディープ ラーニング コア フレームワーク、基本モデル ライブラリ、エンドツーエンド開発キット、ツール コンポーネント、サービス プラットフォームを統合し、ユーザーにさまざまなサポート サービス製品を提供します。ディープラーニング技術の応用を支援します。Paddle は、ローカルとクラウドの 2 つの開発および展開モードをサポートしており、ユーザーはビジネス ニーズに応じて柔軟に選択できます。
図 1: PaddlePaddle コンポーネントの使用シナリオの概要
概要図の上部は開発からトレーニング、デプロイメントまでのフルプロセスツールであり、下部は事前トレーニング済みモデル、さまざまな分野の開発キット、モデルライブラリなどのモデルリソースです。
フレームワークとフルプロセスツール
Paddle は、モデル開発の基本フレームワークを提供することに加えて、トレーニングからデプロイメントまでの深層学習モデルのプロセス全体をサポートする一連のツール コンポーネントも導入しています。
1. モデルトレーニングコンポーネント
Flying Paddle は、分散トレーニング フレームワーク FleetAPIを提供し、クラウド タスク送信 PaddleCloud を開くためのツールも提供します。同時に、フライングパドルはマルチタスクトレーニングもサポートしており、マルチタスク学習フレームワークPALMを使用できます。
2. モデル展開コンポーネント
Paddle は、さまざまなハードウェア環境向けに豊富なサポート ソリューションを提供します。
- Paddle Inference : Paddle のネイティブ推論ライブラリは、サーバー側のモデル展開に使用され、Python、C、C++、Go などの言語をサポートしており、モデルをビジネス システムに統合するための最初の選択肢です。
- Paddle Serving : クラウド サービスの展開に使用される Paddle Serving Deployment Framework は、モデルを別個の Web サービスとして使用できます。
- Paddle Lite : モバイル、IoT、その他のシナリオの展開に使用され、幅広いハードウェアをサポートする Paddle 軽量推論エンジン。
- Paddle.js : JavaScript (Web) 言語を使用してモデルをデプロイします。これは、ブラウザーやアプレットなどの環境にモデルを迅速にデプロイするために使用されます。
- PaddleSlim : より小さなモデルとより高速な実行パフォーマンスのためのモデル圧縮ツール。
- X2Paddle : フライングパドルモデル変換ツール、他のフレームモデルをパドルモデルに変換し、形式を変換した後、上記の5つのツールを便利に使用できます。
3. 研究開発プロセス全体のためのその他の補助ツール
- AutoDL : Flying Paddle 自動深層学習ツール、自動ネットワーク構造設計を目的としており、オープンソース AutoDL によって設計された画像分類ネットワークは CIFAR10 データセットで 98% の正解率を持ち、その効果は CIFAR10 によって設計されたネットワークよりも優れていますこれまでに出版された人間の専門家の中で、業界をリードする立場にあります。
- VisualDL: フライング パドル用の視覚分析ツール。トレーニング パラメーターの変更傾向、モデル構造、データ サンプル、高次元のデータ分布、適合率-再現率曲線などの主要なモデル情報を豊富なチャートで表示します。ユーザーが深層学習モデルのトレーニング プロセスとモデル構造を明確かつ直観的に理解できるように支援し、効率的なモデル チューニングを実現し、アルゴリズム トレーニング プロセスと結果を共有します。
- PaddleFL: Paddle フェデレーテッド ラーニング フレームワーク。研究者は、PaddleFL を簡単に使用して、さまざまなフェデレーテッド ラーニング アルゴリズムをコピーして比較し、大規模な分散クラスター展開を簡単に実装できます。また、コンピューター ビジョン、自然言語処理、レコメンデーションアルゴリズムやその他の分野。さらに、PaddlePaddle の大規模分散トレーニングと Kubernetes のトレーニング タスク用の柔軟なスケジューリング機能を利用して、PaddleFL をフルスタックのオープン ソース ソフトウェアに基づいて簡単に導入できます。
モデルリソース
Paddle は、豊富なエンドツーエンドの開発キット、事前トレーニングされたモデル、モデル ライブラリを提供します。
PaddleHub : テキスト、画像、ビデオ、音声の 4 つの主要な分野で 200 以上の高品質な事前トレーニング モデルをカバーする Paddle 事前トレーニング モデル アプリケーション ツール。開発者は、実際のビジネス シナリオを簡単に組み合わせ、高品質の事前トレーニング済みモデルを選択し、Fine-tune API と連携して、モデルの検証とアプリケーションの展開を迅速に完了できます。個人の開発者の学習、企業のPOCの迅速な検証、AIコンテストへの参加、教育や科学研究など、さまざまなビジネスシナリオに適しています。
開発キット: 特定のアプリケーション シナリオ向けの R&D ツールの完全なセットを提供します。たとえば、画像検出シナリオでは、事前トレーニングされたモデルを提供するだけでなく、データ拡張などのツールも提供します。この開発キットは、コンピューター ビジョン、自然言語処理、音声、レコメンデーション、さらにはグラフ ニューラル ネットワークや強化学習などの主流分野もカバーしています。PaddleHubとは異なり、最先端（State Of The Art）の実装が可能な開発キットであり、パドル開発キットを使用して国際モデリングコンペティションでグランプリを獲得した国内チームもありました。代表的な開発キットには次のようなものがあります。
- PaddleClas: パドル画像分類スイート。その目的は、便利で使いやすい画像分類タスクの事前トレーニング モデルとツール セットを産業界と学術機関に提供し、モデル開発、トレーニング、圧縮、展開のプロセス全体をオープンにすることです。他の高レベルのビジョン タスク ネットワーキングを支援し、モデルの効果を向上させて、開発者がより適切な画像分類モデルをトレーニングし、アプリケーションを実装できるようにします。
- PaddleDetection : パドルターゲット検出キットは、開発者が検出モデルのトレーニング、精度、速度の最適化、展開のプロセス全体をより速く、より適切に完了できるように設計されています。PaddleDetection は、モジュール設計でさまざまな主流のターゲット検出アルゴリズムを実装し、データ拡張、ネットワーク コンポーネント、損失関数などの豊富なモジュールを提供し、モデル圧縮とクロスプラットフォームの高性能展開機能を統合します。現在、工業用品質検査、リモートセンシング画像検出、無人検査などの分野で、パドル検出に基づくプロジェクトが完了し、実施されています。
- PaddleSeg :フライング パドル画像セグメンテーションスイート。DeepLabv3+/OCRNet/BiseNetv2/Fast-SCNN など、さまざまな方向の多数の高品質セグメンテーション モデルを高精度かつ軽量でカバーします。モジュラー設計により、構成ドライバーと API 呼び出しなどの 2 つのアプリケーション メソッドが提供され、開発者がトレーニングから展開まで画像セグメンテーション アプリケーションの全プロセスをより簡単に完了できるようになります。
- PaddleOCR: パドル テキスト認識キット。豊富で最先端の実用的な OCR ツール ライブラリ、オープンソースの PPOCR ベースの実用的な超軽量の中国語と英語の OCR モデル、一般的な中国語と英語の OCR モデル、およびドイツ語、フランス語、日本語の作成を目的としています。 、韓国語など多言語OCRモデル。また、前述のモデル トレーニング方法と複数の予測展開方法も提供します。同時に、オープンソースのテキストスタイルデータ合成ツール「Style-Text」と半自動テキスト画像アノテーションツール「PPOCRLable」も提供する。
- PaddleGAN : スタイル転送、超解像度、アニメーション生成、画像カラーリング、顔属性編集、メイクアップ転送、モデルの事前トレーニングなどの SOTA アルゴリズムを統合したパドル画像生成開発キット。また、モジュール設計は、開発者が二次的な研究開発を実行したり、事前トレーニングされたモデルをアプリケーションに直接使用したりするのに便利です。
- PaddleX : パドルシーンアプリケーション開発キット。開発者がローコードの形でディープラーニングアルゴリズムの開発と産業展開を迅速に実現できるようにサポートします。最小限の Python API と、ワンクリックでインストールできるビジュアル インターフェイス デモの 2 つの開発モードを提供します。CPU (OpenVINO)、GPU、Raspberry Pi などの汎用ハードウェア向けの完全なデプロイメント ソリューションを提供し、RESTful API を通じて統合と再開発を迅速に完了できます。開発者は、プロセス モデル全体の作成とデプロイメントを、異なるパッケージ。視覚的な推論インターフェイスと豊富な業界事例により、開発者はフライングパドル開発のプロセス全体のベストプラクティスを得ることができます。
- PLSC : フライング パドル質量分類キット。トレーニングから展開までの大規模分類タスクのフルプロセス ソリューションをユーザーに提供します。シンプルで使いやすい高レベル API を提供し、数行のコードで数千万の分類ニューラル ネットワークのトレーニングを実現し、モデルを迅速にデプロイする機能を提供します。
- ERNIE : 継続学習に基づいた知識強化型意味理解フレームワークの実現、業界をリードする ERNIE 事前トレーニング モデル シリーズが組み込まれており、さまざまな NLP アルゴリズム タスクの微調整をサポートできます。これには、非常に高速であることを保証する高速推論 API が含まれます。 ERNIE サービスの柔軟な展開と軽量ソリューション ERNIE Slim は、トレーニング プロセス中に得られるものを表示し、動的なデバッグをサポートし、二次開発を容易にします。
- ElasticCTR : Paddle Elastic Computing Recommendation Suite は、Paddle Serving に基づいた分散トレーニング CTR 推定タスクとオンラインのパーソナライズされた推奨サービスを実現できます。Paddle Serving サービス展開フレームワークは、優れた使いやすさ、柔軟性、高いパフォーマンスを備えており、エンドツーエンドの CTR トレーニングと展開ソリューションを提供できます。ElasticCTR は、産業実践基盤、柔軟なスケジューリング機能、高性能、産業グレードの導入という特徴を備えています。
- Parakeet : Paddle Speech Synthesis Kit は、開発者が音声合成モデルの開発と適用をより便利かつ効率的に完了できるようにする、柔軟で効率的かつ高度なテキスト音声合成ツールを提供します。
- PGL : フライング パドル グラフ学習フレームワーク。一般的なメッセージの並列送信メカニズムを提案し、数百億の大規模グラフをサポートする業界初の産業グレードのグラフ学習フレームワーク。PGL は、フライング パドルの動的グラフに基づいた新しいアップグレードで、使いやすさが大幅に向上しています。異種グラフをネイティブにサポートし、分散グラフ ストレージと分散学習アルゴリズムをサポートし、グラフ セマンティクスを含む 30 以上のグラフ学習モデルをカバーしています。理解モデルERNIESageなど 多数の実際の産業アプリケーションの検証を経て、最先端の大規模グラフ学習アルゴリズムを柔軟かつ効率的に構築できます。
- PARL : Flying Paddle Deep Reinforcement Learning Framework は、2018 年、2019 年、2020 年の強化学習チャレンジで 3 年連続で優勝しました。高い柔軟性、拡張性、高性能が特徴です。シングルエージェントからマルチエージェント、離散的意思決定から連続制御まで、さまざまな分野での強化学習アルゴリズムのサポートをカバーする、主流の強化学習アルゴリズムの 10 を超える例を実装しました。GRPC メカニズムに基づいて数千の CPU と GPU の高性能並列処理を実現します。
- Paddle Quantum : 測定パドル、フライング パドル量子機械学習フレームワーク。量子最適化や量子化学、一般的な量子回路モデル、豊富な量子機械学習ケースなどの最先端のアプリケーション ツール セットを提供し、開発者が量子ニューラル ネットワークを簡単に構築して開発できるように支援します。量子AIアプリケーション。
- PaddleHelix : 空飛ぶパドル プロペラ バイオコンピューティング フレームワークは、ワクチン設計、新薬開発、精密医療を強化する AI 機能を可能にします。ワクチン設計の点では、PaddleHelix の LinearRNA シリーズ アルゴリズムは、従来の方法と比較して RNA フォールディングの効率を数百倍または数千倍向上させました。新薬の開発においては、PaddleHelix は大規模なデータの事前トレーニングに基づいた分子表現を提供し、分子特性の予測、薬物スクリーニング、薬物設計およびその他の分野で、精密医療において、PaddleHelix はオミクス情報を使用して薬物を正確に特定し、治癒率を向上させる高性能モデルを提供します。
モデル ライブラリ: さまざまな分野のオープン ソース モデル コードが豊富に含まれており、モデルを直接実行できるだけでなく、アプリケーション シナリオのニーズに応じて元のモデル コードを変更して、新しいモデル実装を取得することもできます。
3 種類のモデル リソースを比較すると、PaddleHub が最も使いやすく、モデル ライブラリは最もカスタマイズ可能で、最も広範な分野をカバーしています。読者は、「PaddleHub -> さまざまな分野の開発キット -> モデル ライブラリ」の順に参照して必要なモデル リソースを見つけ、これを基にビジネス ニーズに応じて最適化することで、半分の労力で 2 倍の成果を達成できます。