青い文字をクリックしてください
私たちに従ってください
AI TIME は、あらゆる AI 愛好家の参加を歓迎します。
今日の急速に発展する科学技術分野では、金融医学、生命システム、物理シミュレーションなどの分野で大型モデル技術がますます重要なツールとなっています。AI TIMEは2023年6月16日、国防技術大学理学部数理システム会計・運用研究講師のWang Qi氏、助教授のWu Tailin氏ら若手科学者向けに特別大規模モデルイベントを開催した。西湖大学工学部、浙江大学国際共同学院で人工知能分野の研究を行うゲスト セントラルフロリダ大学コンピューターサイエンス学部孟祥明助教授、同センターメンバーの孟祥明助教授、助教授の4名コンピューティング セキュリティとプライバシーの Lou Qian 氏は、金融ヘルスケア、ライフ システム、物理シミュレーションなどの分野における大規模モデル テクノロジーの適用事例、技術的課題、および課題について詳しく議論し、今後の開発動向は、この革新的なテクノロジーが社会に大きな影響を与えることを示しています。さまざまな分野。
Wang Qi: AIGC 技術の開発トレーサビリティと展望
近年、AIGC（Artificial Intelligence Generated Content）技術が学界や産業界から広く注目されており、この種の生成AI技術の登場により、社会の生産効率が向上し、汎用人工知能（Artificial General Intelligence）の開発における課題が解決されています。新しいソリューションを提供します。王斉先生は報告書の中で、まず AIGC テクノロジーの発展を追跡し、拡散モデルやトランスフォーマーなどの一連の生成構造により、生成 AI モデルの構造はより深く階層化される傾向があり、その効果はますます良くなっていると述べました。レポートの後半では、王氏は生成AI理論研究に関連する問題について議論し、深層生成モデルの構造設計、最適化戦略、効果評価、アプリケーション展開に期待を示しました。同氏は、生成 AI における研究のホットスポットを、深い生成モデルの解釈可能性、生成されたデータの多様性と信頼性、構造化データの不変性と等変性、大規模な最適化の計算の複雑さ、深い生成モデルの範囲として要約しました。これらの科学的問題の解決に関与する理論ツールには、統計、代数、決定理論、情報理論、最適化理論などが含まれます。将来的には、これらの理論を AIGC の研究開発を促進するために使用することが可能です。 。
Wu Tailin: AI はマルチ解像度の科学シミュレーションと設計に使用されています
システムの多重解像度は、科学シミュレーションの研究における重要な課題です。物理学、流体、気象、材料、核融合などの多くの分野では、システムの小さな部分が非常に急激に変化し、非常に細かい分解能が必要になりますが、大部分はゆっくりと変化します。上記の問題を解決するために、Wu Tailin 教師はレポートで LAMP アーキテクチャを紹介し、実験データを通じてその優れたパフォーマンスを分析しました。LAMP は 2 つのグラフ ニューラル ネットワークを使用して特徴を学習します。1 つのグラフ ニューラル ネットワークは時間の経過に伴うシステムの進化を学習し、もう 1 つのグラフ ニューラル ネットワークは強化学習によってシステムの各部分の空間解像度を最適化し、誤差とコストが制御可能な範囲内にあるかどうかを判断します。範囲です。さらに、ウー先生は、マルチスケールの問題をより適切に解決し、信頼性を向上させる方法など、科学シミュレーションでの AI の使用に存在する問題点も提起しました。科学的シミュレーションに基づいて、体系的なリバース デザインを実行して、与えられた目標を最適化することができます。レポートの後半では、ウー氏は、科学と工学の主要分野におけるリバース デザインにおける AI の重要なアプリケーションとオープン性についても詳しく説明しました。可能な方向性を提示し、誰もが一緒に詳細な探索を行うことを歓迎します。
Meng Xiangming: 拡散モデルに基づく定量的圧縮センシング
現在はビッグデータの時代ですが、信号の取得には多くの課題が伴いますが、大規模なデータの取得には多くのリソースを消費するため、少ない観測量でいかに信号やデータを取得するかが大きな課題となります。研究上の問題。Meng Xiangming 先生はレポートの中で、まず圧縮センシングの主な概念について簡単に説明しました。信号は送信および保存される前に圧縮され、受信側でデータを受信した後に解凍されます。信号サンプリング処理と圧縮処理 Meng 先生は、スコアベース生成モデル (SGM) を暗黙的な事前分布として使用する QCS-SGM と呼ばれる効率的なアルゴリズムを導入しましたが、このアルゴリズムは行直交検出行列によって制限され、尤度スコアの計算が困難になります。 。この制限を突破するために、Meng 教師は、QCS-SGM の高度なバージョンである QCS-SGM+ をレポートで紹介しました。一般行列を効果的に処理し、ベイジアン推論の観点から尤度スコアを計算できます。広範な実験により、QCS-SGM+ が一般センシング行列において QCS-SGM よりも大きな利点があることも証明されています。
Lou Qian: 人工知能のセキュリティとプライバシーの問題について語る
人工知能モデル、特にディープラーニングモデルは幅広い分野で応用されていますが、そのプライバシーとセキュリティの問題にはまだ解決すべき多くの課題があります。Lou Qian氏はレポートの中で、まず信頼性の高い深層学習システムを構築するには効率、データプライバシー、セキュリティの問題を解決する必要があると指摘し、次に暗号化を使用してデータとモデルのプライバシーを保護するソリューションを紹介した。同氏は、医療データや財務データなど、実生活におけるデータ プライバシーの例を挙げました。これらのデータには、多くの場合、個人のプライバシー情報が含まれています。現在の研究では、完全準同型暗号 (FHE)、マルチパーティ計算、差分プライバシーなどが使用されています。プライバシー コンピューティング テクノロジがデータ プライバシーを保護します。人工知能モデルは、トレーニングと推論のプロセス中にトレーニング データの機密情報を漏洩する可能性もあるため、モデルのセキュリティは特に重要です。ルー氏はレポートの中で、テキストとビジョンそれぞれに対するバックドア攻撃手法を紹介し、モデルのセキュリティを保護するために、より多くのバックドア攻撃手法を探索し、対応する検出および削除戦略を提案する必要があると述べた。
生体システム/ロボットシステムに大規模なインテリジェントな意思決定モデルを導入する機会と課題
Wang Qi:大型モデルは現在、自然言語を含む視覚における基本的な問題を解決できます。生命システムの観点から見ると、大規模なモデルは、さまざまな状況におけるさまざまな体格を持つ人々の特徴を学習し、個別の治療計画を開発することができます。生体システムやロボット システムへの大規模モデルの展開は、機会と同時にいくつかの課題にも直面します。例えば、実データの欠如とデータの表現形式の問題、2 つ目は因果関係の追跡可能性の問題、3 つ目はロボット システムに認識能力と推論能力を持たせることです。
Meng Xiangming:医療システムやロボット システムにおける大規模モデルの適用は、多くの課題に直面しています。第一に、サポートするには膨大なコンピュータ リソースが必要です。第二に、大規模モデルのトレーニングに使用されるデータは、収集プロセス中に偏り、不均衡になります。これは、最終的な意思決定の結果を決定するため、大規模モデルの公平性と信頼性をどのように確保するかが大きな課題です。第三に、機密情報のプライバシーを保護するために生きているシステムでセキュリティ対策を使用することも難しい問題です。第四に、大規模モデルを使用して、意思決定支援は因果推論の問題に直面するため、大規模モデルの解釈可能性と理解可能性を解決することも大きな課題です。
Lou Qian:私は大規模モデルや生成モデルのセキュリティとプライバシーの問題の方が心配ですが、将来、大規模モデルの入力をフィルタリングしたり、大規模モデルの推論能力と解釈可能性を向上させることができれば、大きな進歩となるでしょう。 .進歩。
大規模モデルのセキュリティ リスクと解決策
特に医療金融などのリスクの高い分野では
Lou Qian:現在、大規模モデルにはいくつかのプロンプト ワード プロジェクトがあるため、トレーニング データを削減するためにプロンプト ワード プロジェクトを設定することは、既存の機会です。しかし問題点もあり、プライバシー保護を目的としてプロンプトワードを暗号化する場合、性能の安定性を確保することが課題となる。ローカル学習またはフェデレーション学習を使用して、差分プライバシーを通じて垂直分野でパーソナライズされたプロンプトワードを生成することで、プライバシーの漏洩を防ぐことができます。
Meng Xiangming:医療や金融などの高リスク分野における大規模モデルの適用は、技術的な問題だけでなく、法律や規制の制定、データの適用とそれに伴う倫理の管理方法などにも直面します。対応する仕様を作成する必要があります。
Wu Tailin氏:大規模なモデルは、基本サービスとしてさまざまな機関に提供できます。研究開発機関がトレーニングした基本モデルを初期状態として使用し、その後、さまざまな種類のデータをトレーニングするためにさまざまな企業に配布して、データを各社に保存され、データの安全性が保証されます。
Wang Qi:大規模なモデルをトレーニング後に使用すると、データは増加傾向を示すため、生涯学習の特徴があります。大規模なモデルはデータが更新されると更新されるため、データの偏りが伴います。ゴミデータを生成するという観点から大規模モデルを攻撃しようとする違法組織が存在する場合、データの観点から大規模モデルをどのように作成し、データの公平性を確保し、セキュリティを実現するかという点も興味深い研究方向です。
物理シミュレーションにおける大規模モデルの機会と課題
Wu Tailin氏:大規模なモデルを物理シミュレーションに適用すべきかどうかについてですが、異なる形式やシナリオで使用できれば、学習に基づいて表現を変更するだけで済み、トレーニング時間を短縮できます。これが物理シミュレーションに適用する利点です。 。物理シミュレーションに適用するためのデータ量が、大規模モデル自体のデータ量をはるかに超える場合は、価値がありません。大規模モデルのトレーニングには大量のデータが必要ですが、物理シミュレーションには豊富なデータが含まれているため、この 2 つを組み合わせてトレーニングすることはチャンスとなります。物理シミュレーションにおける大規模モデルには、主に 2 つの課題があります。1 つは、さまざまな状況に適用できるように普遍的な表現を設計すること、もう 1 つは、同じモデルを使用してさまざまな物理状況をシミュレーションできるかどうかです。
王斉:課題に関しては、物理システムではセンサーを通じてロボットのさまざまな状態情報を収集する必要があるため、推論を行う際に高次元の観測信号から実際の物理状態をどのように推測するかは難しい問題です。また、大規模シミュレーションの評価基準も大きな問題であり、大規模シミュレーション予算の場合、シミュレーションには賢明な意思決定が求められ、リアルタイム性への高い要求が求められます。シミュレーションシステムのこと。
Meng Xiangming:物理シミュレーションは、文字通り現実世界をシミュレートします。私たちは、物理シミュレーションが現実世界の現象や法則を正確に再現できることを期待しています。そのため、大規模モデルのシミュレーションの精度と安定性をどのように確保するかが大きな課題です。
Lou Qian:大規模なモデルをトレーニングするために必要な条件は、データ、コンピューティング プラットフォーム、トレーニング アルゴリズムですが、物理シミュレーションのデータはより表現力が高く、現実に近いものになります。コンピューティングに関しては、データ量が膨大であり、GPU も限られているため、容量の制約を緩和するために効率的なトレーニング アルゴリズムを設計する必要があります。
AI や大規模モデルには依然として理論が必要ですか?
孟翔明:答えはイエスです。私たちが今考えなければならないのは、機械学習理論の研究方法に何らかの問題や研究パラダイムがあるのではないかということです。機械学習理論コミュニティの知見はAIや大規模モデルの開発に大きな影響を与えないため、理論を疑問視する声も出てくるだろう。私は、理論研究の伝統を変える必要があると考えています。大規模モデルの理論研究が深化するにつれ、従来の理論ではネットワーク構造を正確に分析し記述する効果が得られなくなりました。研究パラダイムを変え、限られた領域を説明するには複雑系理論を使用する必要があります。現象。
Lou Qian:私は個人的に、エンジニアリングの観点から AI 関連の研究を行っています。理論的な研究を行うほとんどの人が行うプロセスは、まず問題を観察し、次にアルゴリズムを提案することです。新しいアルゴリズムの提案は、通常、最初に直感に基づいて行われ、次に検証されます。アルゴリズムの有効性。これは私が現在推奨している研究方法でもあります。
王斉「大規模モデルの創発能力は驚くべきものです。人間の複雑な言語システムにおけるさまざまな組み合わせ手法を横断しています。この観点から見ると、生成モデルや AI は本質的に確率的モデリングを行っていることになります。」さらに、効率的な推論、効率的なサンプリング、ランダム問題の最適化、および解釈可能性も、将来の大規模モデル研究で検討する価値のある理論的問題です。
Wu Tailin:大型モデルには理論が必ず必要です。AI のための科学の観点から見ると、さまざまな分野には、基本理論の形で大規模なモデルをよりよく理解できるようにするためのさまざまな方法と概念が存在します。
主催: チェン・ヤン
レビュー: Wang Qi、Wu Tailin、Meng Xiangming、Lou Qian
過去号のおすすめ記事
忘れずにフォローしてください！毎日新しい知識が得られます！
AI TIMEについて
AI TIME は 2019 年に設立され、科学的思索の精神を継承し、あらゆる階層の人々を招待して人工知能の理論、アルゴリズム、シナリオの応用の本質的な問題を探求し、アイデアの衝突を強化し、世界的な AI 学者を結びつけることを目的としています。業界の専門家や愛好家は、討論の形で人工知能と人類の未来の間の矛盾を探り、人工知能分野の未来を探ります。
AI TIMEはこれまでに国内外から1,100人以上の講演者を招き、550回以上のイベントを開催し、600万人以上が視聴しました。
私はあなたを知っています。
覗く
おお
～
クリックして原文を読み 、リプレイをご覧ください。