2023 年 3 月、科学技術省は中国自然科学財団と協力して、 「人工知能駆動科学研究 ( AI for Science) 」の特別展開作業を開始しました。科学技術省新世代人工知能開発研究センター所長のZhao Zhiyun氏は、科学用AIが従来の科学研究能力のボトルネックを打破し、新たな世界的な科学研究パラダイムになると信じている。リモートセンシングの分野を例にとると、AI技術は画像マッチングにおける優れた特徴抽出能力と表現能力を備えており、大量の異種リモートセンシングデータから豊富で正確な属性情報を取得して、対象領域の進化の法則をマイニングすることができます。高品質のリモート センシング画像は、災害監視、気象学、軍事、その他多くの面で幅広い応用が期待されています。
ただし、科学向け AI の導入は、リモート センシング分野の研究者が複雑な問題を解決するのに役立つ一方で、従来のインフラストラクチャとワークフローに課題ももたらします。近年、多くの科学研究機関は、適切なプラットフォームのサポートを受けて、リモートセンシングビッグデータとAI新技術の統合と応用の実現可能性を継続的に模索してきました。
1957 年に設立された中国天然資源航空地球物理探査およびリモート センシング センターは、我が国における航空地球物理探査およびリモート センシング技術の研究、開発、応用に従事する専門技術センターであり、エンジニアリング テクノロジー イノベーション センターの運営主体は次のことに重点を置いています。新しい航空・宇宙リモートセンシング観測技術の研究開発、資源・地質分野におけるリモートセンシング総合調査・応用の研究開発、工学応用システムの研究開発。
リモートセンシング応用技術研究所（以下、「研究所」という）は、航空物理探査およびリモートセンシング分野の科学技術のリーダーとして、リモートセンシングデータとモデルアルゴリズムが分断されている現状を打破したいと考えています。 、コンピューティングリソースを活用し、クラウド導入により大規模なデータ分析を完了するとともに、研究成果の変換効率を向上させ、「官・産・学・研究・応用」の連携イノベーションを促進することが期待されています。
上記の要件に基づいて、Hejing Technology の子会社である ModelWhale は、研究機関向けのプラットフォーム レベルのツールの展開を民営化し、 AIの改革を促進するために高可用性、同時実行性の高い統合開発および展開プラットフォームを共同で作成しました。科学科学研究パラダイム。
問題点 1:コンピューティング リソースとストレージ リソースに適した統合チャネルの欠如
AI技術の大規模応用に伴い、同研究所では従来からENVI-IDLプログラミングによるGPUアクセラレーションを導入しており、効率は向上しているものの、依然として単機シングルカード、単機マルチカードの性能がフルに搭載されている。そしてすぐに使えなくなる。現在、研究者はデータ集約型およびコンピューティング集約型の問題に GPU クラスターを使用するのが一般的ですが、研究機関が試した結果、実際のニーズとの間にはまだ一定の乖離があることが判明しました。当研究機関は航空遠隔センターに所属しており、比較的十分な計算能力資源を有しており、研究者がそれぞれ独自の練習環境を持つことができるだけでなく、一部の大規模研究や研究開発にすべての計算資源が集中することを期待しています。複雑なコンピューティングの問題のため、実際の需要は、ストレージとコンピューティング リソースの統合とスケジュールを支援できるプラットフォームです。
ソリューション:ローカル アクセス、集中的な管理と制御、効率的な展開、GPUクラスター
この点において、ModelWhale は、研究機関の既存のインフラ最適化構造に基づいて、既存および散在するローカル コンピューティング ハードウェアをクラウドに接続し、プラットフォームのクラウド ネイティブ アーキテクチャを使用して、安全、柔軟、制御可能な集中的な運用と保守、および微細な運用を実行します。 -チューニング きめ細かな分割プロビジョニング。
ローカルのコンピューティング能力リソースにアクセスした後、大規模なコンピューティング タスクを処理する必要がある場合、ModelWhale はマルチマシンおよびマルチカードのGPU をクラスターのコンピューティング能力に形成して使用できます。Horovod の並列コンピューティングに基づく GPU クラスターは、2 倍のコンピューティング効率を達成でき、リモート センシング画像のマルチレベル並列処理に適しており、これにより、災害監視など時間に制約のあるプロジェクトにおける同研究所のアプリケーションも保証されます。
日々の研究では、アクセス プラットフォームのコンピューティング能力をコアの数とメモリ サイズに応じて分割し、さまざまな研究者やプロジェクト チームに割り当てることができます。プロジェクトの実行中、このプラットフォームは研究者が自動的に一致するマシン インスタンスをスケジュールし、必要なソフトウェア環境、データ、ファイルを自動的にロードするのに役立ちます。使用プロセス中、研究者はいつでもコンピューティング能力、メモリ、ディスクの使用状況を確認でき、リソースが十分ではないことがわかった場合は、アプリケーションを開始してリソースを取得できます。この自動プロセスにより、リソースへのプレッシャーが大幅に軽減されます。研究機関の内部運営と保守。
最後に、プロジェクトが終了すると、プラットフォームは自動的にコンピューティング リソースを解放し、同時にプロジェクト ファイルを永続的に保存します。これにより、コンピューティング リソースの使用率が向上し、コンピューティング能力のコストが削減されます。可能な限り減らします。ModelWhale の強力なリソース スケジューリング機能と完璧なリソース管理メカニズムの助けを借りて、研究機関はその基礎となるアーキテクチャの限界を突破し、エネルギー消費を最小限に抑え、ローカル コンピューティング パワー リソースの効率を最大化するアプリケーションを実現しました。
さまざまなコンピューティング リソースをオンデマンドで選択可能
問題点 2: モデルのチューニング効率が低い
自然画像データと比較して、リモートセンシングデータの構成はより複雑です。衛星、センサー、その他の取得機器の物理パラメータの不一致により、リモートセンシングデータソースは多くの点で異なります。そのため、リモートセンシングデータソースは、より頻繁にパラメータを調整する必要があります。リモートセンシングの実験研究のプロセスとデータ 処理のさまざまな結果を視覚的に比較します。しかし、実験の継続性を確保するためにトレーニングタスクの完了に注意を払うのは煩雑で時間もかかるため、同研究所の研究者らはテクノロジーやプラットフォームを活用してこのプロセスを自動化し、モデルチューニングの効率を向上させたいと考えている。
ソリューション:マルチパラメータのクラウド ホスティング、視覚的な比較結果
ModelWhale に基づいて、大量の計算を伴うトレーニング タスクの場合、研究者はオフライン ホスティングを使用して Notebook またはスクリプト プロジェクト ファイルを実行できます。オフライン タスクには実行時間制限がなく、クラウドで自動的に完了します。タスクのリリースは研究者に影響しません。 . コンピュータを他の仕事に使用します。ModelWhale は通知インターフェイスを提供しており、研究者はタスクの実行ステータスを監視することなく、電子メールやソーシャル ソフトウェアからトレーニング完了の通知を直接受け取ることができます。
リモート センシング データの特性と組み合わせて、最も効果的なアルゴリズムを選択するために、研究者は事前に異なるパラメーターの組み合わせを設定し、複数のマシンが異なるパラメーター構成の下で統合モデルのトレーニングを完了できるようにし、GPUクラスターを組み合わせて時間を短縮することもできます。トレーニング時間トレーニングセッションのハイパーパラメータ情報は、モデルの長所と短所をより多くの角度から比較および分析するための視覚的な比較レポートを提供し、研究者が最適なモデルを選択するのに役立ちます。タスクが正常に実行された後、研究者はいつでもオフライン操作の結果を保存したり、結果ファイルを出力したり、トレーニング中に生成されたプロセス ファイルを呼び出したりすることができます。
ModelWhaleが提供するオフライントレーニングおよびトレーニングインデックス比較機能は、高度に自動化され高度に視覚化されたチューニングプロセスを構築し、コンピューティングリソースの柔軟なスケジューリングと組み合わせて、リモートセンシングディープラーニングアルゴリズムの開発サイクルを統合的に短縮します。
GPU クラスターのマルチパラメーター グループを使用してオフライン タスクを作成する
課題 3: データとワークフローの管理方法を早急に更新する必要がある
従来のワークフローの再構築は研究機関が早急に解決すべき課題の一つであり、AIの大規模導入後は、Pythonプラットフォームへの作業の移行はディープラーニングと高度に統合できるが、データ管理は不可能である、アルゴリズム、モデルを統合して資産の蓄積を形成します。研究機関では毎日数百シーンのデータにアクセスする必要があることもあり、データ量が膨大なためデータ準備段階の作業が非常に煩雑になっています。さらに、アルゴリズム モデルが後の段階で形成されたとしても、リモート センシング データ分析モデルの展開と運用は、オペレーティング システム、コンパイラー、サポート ライブラリなどを含むさまざまなソフトウェアおよびハードウェア環境に依存する可能性があります。オンデマンドでの展開が難しい。
ソリューション: データ、アルゴリズム、モデルに至るまで研究対象の全プロセスをワンストップで管理
上記の問題に対応するため、ModelWhale は高度に統合された開発ツールを使用して、研究機関が効率的なワークフローを構築できるように支援します。
このプラットフォームを基盤として、研究機関は、ローカルに保存されているさまざまなデータ、データベース、オブジェクトストレージ、NAS空間に複数の方法でアクセスし、それらを一元的に管理することができ、プラットフォームの標準化された共同フローにより、研究チームのメンバーは、さまざまな生産材料を同時に分析研究に使用します。第二に、研究者は、リモートセンシングデータ分析モデルの運用および展開要件に従ってクラウド画像環境をカスタマイズできます。カスタマイズされた環境は、プラットフォームの仕様に基づいて記述でき、画像を他の人と共有するか、他の人が再構築するのを手伝うだけで済みます。環境レベルで保証可能 アルゴリズムモデルのオフサイト再現。テクノロジーとして、リモート センシングはさまざまな分野の問題解決に適用されることが多いため、開発されたモデルについては、開発からアプリケーションまでのモデルの複雑さを簡素化するために、プラットフォームはワンクリックの自動展開も提供します。
ModelWhaleは、プロジェクトのプロセス管理において、プロジェクトを多段階のタスクに分解してマクロ管理することを支援し、さまざまな分野の研究者が細分化されたタスクの進捗状況を確認し、各人の責任分担を明確にすることができます。課題結果はさまざまな形式で提出でき、他のメンバーもオンラインで同時に閲覧できるため、チーム内の情報同期が図られ、全体のリズムがコントロールされ、研究テーマの伝達効率が向上します。
最後に、研究者は、実行時分析環境、データセット、およびアルゴリズムコードバージョンを選択し、生産要素を統合し、特定のテキスト説明を補足し、それらを組織の内部業績データベースに保管することができます。これは、後でいつでも複製するのに便利です。
さらに、チーム内のプロジェクト、データ、ファイル、ビデオをフォルダーとタグの形式で整理し、全員が使用できるようにチームのナレッジ ベースに保存できます。
ModelWhale チームのナレッジベース管理
結論
技術革命とトップレベルの政策の指導の下、科学研究コミュニティは人工知能にますます注目を集めています。将来的には、AI技術が基礎的なサービスとなり、リモートセンシングデータの処理と応用と同様に、さまざまな分野の科学研究の方法と方法を広げ、科学研究者間の協力形態を変える可能性があります。
新しいアイデアを受け入れ、変化を求めるこのプロセスにおいて、Hejing Technology の ModelWhale 科学研究版は、データ駆動型研究の共同イノベーションに焦点を当てており、科学のための AI 科学研究パラダイムの改革を促進し、組織化された科学研究を強化するデジタル インフラストラクチャです。研究. アルゴリズムやモデルなどの研究対象のワンストップのフルプロセス管理によりインフラストラクチャレベルから科学研究の再現性が向上し、FAIR 原則とオープンな科学研究、データ、その他の研究生産資料のコンセプト 安全で完全なオープン共有ポータルとオンラインのインタラクティブなワークベンチを提供し、異種混合の統合、集中的な管理と制御、オンデマンドの割り当て、機敏な応答、強力なコンピューティング能力のスケジューリング管理を可能にします。パーソナル コンピュータが LLM の大規模言語モデルを呼び出し、コンピューティング パワー リソースを作成できるようにする 組織チーム内の可用性を最大化する、大規模モデルのライフサイクル全体を管理するのに役立つModelOps の概念を導入する。
ModelWhale の科学研究バージョンは、地球科学、生物医学、人文科学、社会科学などの専門分野をカバーしており、国家気象情報センターや中国天然資源航空地球物理探査およびリモートセンシングセンターなどの国家科学研究機関でベストプラクティスを導入しています。データイノベーション研究の責任者とそのチームがサポートを提供します。関連するニーズがございましたら、ModelWhale 公式 Web サイトにアクセスして登録および体験していただくか、[製品コンサルタントに問い合わせる (モバイル端末にリダイレクト)]をクリックしてご連絡ください。