ChatGPT の出現により、AI はテクノロジー界に再び衝撃を与え、この衝撃は広範囲に影響を及ぼし、テクノロジー界を 2 つの派閥に分けました。一方の派閥は、AIの急速な発展により、近い将来人間に取って代わられる可能性があると考えており、この「脅威論」は決して無理ではないが、もう一方の派閥も別の見解を提唱しており、人類の未来にとっての危険も遠のいている。
確かに、この議論は早めの警告に値するが、2023年のWAICサミットフォーラムで張成啓教授をはじめとする多くの専門家や学者が指摘したように、AIに対する人間の期待は常に有益なツールである。したがって、あくまでツールであるため、「脅威論」に比べて、信憑性があるかどうか、また信憑性を高めるにはどうすればよいかについては、より注意を払う必要がある。結局のところ、AI が信頼できなくなったら、今後の開発はもちろんのこと？
では、信頼できる基準とは何でしょうか?また、その分野は今日どこにあるのでしょうか? HyperAI は幸運なことに、この分野の第一人者であるイリノイ大学の准教授であり、IJCAI-2022 コンピューターおよび思想賞、スローン研究賞、国立科学財団キャリア賞、注目すべき AI の 10 に選ばれています。 TR-35 Award、Intel Rising Star、およびその他の多くの賞についてコメントした MIT Technology Li Bo 氏による詳細なディスカッションが行われ、彼女の調査と紹介に続いて、この記事では AI セキュリティ分野の発展について整理しました。
2023年の李波 IJCAI YES
機械学習は諸刃の剣です
タイムラインを延長すると、その過程における李波の研究プロセスは、信頼できる AI の開発の縮図でもあります。
2007 年、李波さんは情報セキュリティを専攻する学部に入学しました。この間、国内市場はネットワークセキュリティの重要性に目覚め、ファイアウォール、侵入検知、セキュリティ評価などの製品やサービスの開発を始めましたが、全体としてはこの分野はまだ発展途上の段階にあります。今考えると、この選択は危険ではあるが、正しいスタートであり、李波氏はこのような「新しい」分野で独自の安全保障研究の道を歩み始め、同時にその後の研究の基礎を築いた。 。
李波氏は同済大学で情報セキュリティを専攻
博士課程では、Li Bo 氏は AI セキュリティの方向性にさらに焦点を当てました。あまり主流ではないこの分野を選んだのは、自分の興味だけではなく、チューターの励ましと指導によるところが大きいです。この専攻は当時特に主流ではなかったので、李波さんの今回の選択はかなりリスキーなものでしたが、それでも彼女は学部時代の情報セキュリティの経験を活かして、AIとセキュリティの組み合わせを鋭く捉えていたはずです。すごく明るい。
当時、Li Bo と彼の指導者は、Stackelberg ゲームを分析に使用するなど、AI の攻撃と防御をゲームとしてモデル化するゲーム理論の観点からの研究を主に行っていました。
Stackelberg ゲームは、戦略的リーダー (リーダー) とフォロワー (フォロワー) の間の相互作用を記述するためによく使用され、AI セキュリティの分野では、攻撃者と防御者の関係をモデル化するために使用されます。たとえば、敵対的な機械学習では、攻撃者は機械学習モデルをだまして誤った出力を生成させようとしますが、防御者はそのような攻撃を検出して阻止しようとします。Li Bo のような研究者は、Stackelberg ゲームを分析および研究することで、機械学習モデルのセキュリティと堅牢性を強化するための効果的な防御メカニズムと戦略を設計できます。
シュタッケルベルクのゲームモデル
2012 年から 2013 年にかけて、ディープラーニングの人気により、あらゆる分野への機械学習の浸透が加速しました。ただし、機械学習は AI テクノロジーの開発と変革を推進する重要な原動力ではありますが、両刃の剣であるという事実を隠すのは困難です。
一方で、機械学習は大量のデータからパターンを学習して抽出することができ、多くの分野で優れたパフォーマンスと効果を実現します。たとえば、医療分野では、病気の診断と予測を支援し、より正確な結果と個別の医療アドバイスを提供できますが、その一方で、機械学習はいくつかのリスクにも直面しています。まず、機械学習のパフォーマンスはトレーニング データの品質と代表性に大きく依存し、データに偏差やノイズなどの問題があると、モデルに誤った結果や差別的な結果が生成されやすくなります。
さらに、このモデルは個人情報に依存する可能性もあり、プライバシー漏洩のリスクにつながります。さらに、敵対的な攻撃も無視できず、悪意のあるユーザーが入力データを変更することでモデルを意図的に欺き、誤った出力をもたらす可能性があります。
この文脈で、Trusted AI が登場し、その後数年で世界的なコンセンサスへと発展しました。2016年、欧州議会法務委員会（JURI）は「ロボット工学に関する民事法規則に関する欧州委員会への立法勧告に関する報告書草案」を発表し、欧州委員会は人工知能技術のリスクをできるだけ早く評価すべきだと主張した。可能。2017年、欧州経済社会委員会はAIに関する意見を発表し、AIの倫理と監視および認証に関する標準システムを策定する必要があると主張した。2019年、欧州連合は「信頼できるAI倫理ガイドライン」と「アルゴリズムの責任と透明性のあるガバナンスフレームワーク」を発表した。
中国では、学者の何継峰氏が 2017 年に初めて信頼できる AI の概念を提案しました。2017年12月、工業情報化部は「新世代人工知能産業の発展促進のための3か年行動計画」を発表した。2021年、中国情報通信技術院と京東探査研究院は共同で中国初の「信頼できる人工知能に関する白書」を発表した。
「Trusted Artificial Intelligence White Paper」カンファレンスサイト
信頼できるAI分野の台頭は、AIをより信頼できる方向に導き、李波氏の個人的な判断も裏付けた。科学研究に集中し、機械学習との対決に焦点を当てた彼女は、自らの判断で UIUC の助教授に就任し、自動運転分野における「深層学習視覚分類に対する堅牢な物理世界攻撃」の研究成果も認められました。ロンドン科学博物館より 永遠の宝物。
AI の発展に伴い、信頼できる AI の分野では間違いなく、より多くの機会と課題がもたらされるでしょう。「私個人としては、セキュリティは永遠のテーマだと考えています。アプリケーションやアルゴリズムの発展に伴い、新たなセキュリティリスクや解決策も出現します。これがセキュリティの最も興味深い点です。AIのセキュリティはAIや社会の発展と同じ頻度で起こるでしょう」 」と 李波は話した。
大型模型の信憑性から現場の現状を覗き見る
GPT-4の登場が注目を集めている。これが第 4 次産業革命を引き起こしたと考える人もいれば、AGI の変曲点であると考える人もいますし、AGI に対して否定的な態度をとっている人もいます。チューリング賞受賞者のヤン ル クン氏はかつて「ChatGPT は本当の意味を理解していない」と公に述べました。世界では誰も使っていません。」
この点に関して、李波氏は、この大規模モデルの波に非常に興奮していると述べ、この波が間違いなくAIの開発を促進しており、この傾向は信頼できるAIの分野に対するより高い要求も提起するだろうからであると述べた。自動運転、スマート医療、バイオ医薬品など、高い安全要件と高度な複雑性が求められる分野。
同時に、信頼できる AI の新しいアプリケーション シナリオや新しいアルゴリズムがさらに登場するでしょう。しかし、李波氏も後者の意見に完全に同意しており、現在のモデルは現実世界を実際には理解していません。彼女と彼女のチームの最新の研究結果は、大規模なモデルの信頼性とセキュリティにはまだ多くの抜け穴があることを示しています。
Li Bo 氏と彼のチームによるこの研究は、主に GPT-4 と GPT-3.5 に焦点を当てています。配布の堅牢性、コンテキスト学習 (インコンテキスト学習) におけるサンプルサンプル (デモンストレーション) の生成の堅牢性、プライバシー (プライバシー)、マシン倫理（機械倫理）や異なる環境における公平性（公平性）など。 8 新たな脅威の脆弱性がさまざまな角度から発見されています。
用紙のアドレス:
https://decodingtrust.github.io/
具体的には、まず第一に、李波氏と彼のチームは、GPT モデルが非常に誤解されやすく、暴言や偏った反応を生み出し、トレーニング データや会話履歴の個人情報が漏洩する可能性があることを発見しました。同時に、標準ベンチマーク テストでは GPT-4 の方が GPT-3.5 よりも信頼できるものの、総合的な敵対的ジェイルブレイク システムやユーザー プロンプトに基づく攻撃に対しては GPT-4 の方が脆弱であることも判明しました。 GPT-4 誤解を招くような指示も含め、より正確に指示に従ってください。
したがって、推論能力の観点から見ると、AGI の登場にはまだ長い道のりがあり、今後の最初の課題はモデルの信頼性を解決することだと Li Bo 氏は考えています。Li Bo氏の研究チームはこれまで、データ駆動型の大規模モデルの信頼性の欠如を知識ベースと推論モデルを使用して補うことを期待して、データ駆動型の学習と知識強化に基づく論理推論フレームワークの開発にも注力してきた。彼女は、将来に目を向けると、機械学習の推論能力をより刺激し、モデルの脅威の抜け穴を補うことができる、新しく優れたフレームワークがさらに登場すると信じています。
それでは、大規模モデルの信頼性の現状から、信頼できる AI 分野の一般的な方向性を垣間見ることができるでしょうか? 周知のとおり、安定性、汎化能力（説明可能性）、公平性、プライバシー保護は信頼される AI の基盤であり、重要な 4 つのサブ方向でもあります。Li Bo 氏は、大規模なモデルの出現に伴い、新しい機能により、コンテキスト学習における敵対的サンプルや分布外サンプルの堅牢性など、新たな信頼性の制約が必然的にもたらされると考えています。この文脈では、いくつかのサブディレクションが相互に促進し、それらの間の本質的な関係に新しい情報やソリューションを提供します。「たとえば、私たちの以前の研究では、機械学習の一般化と堅牢性がフェデレーテッド ラーニングにおける双方向の指標となり得ること、またモデルの堅牢性がプライバシーなどの関数とみなせることが証明されました。」
信頼できる AI の未来を見据えて
信頼される AI 分野の過去と現在を振り返ると、Bo Li 氏に代表される学術界、大手テクノロジー企業に代表される産業界、政府がそれぞれ異なる方向で模索し、一連の成果を上げていることがわかります。李波氏は「AIの発展は止まらない。AIの安全性と信頼性を確保することでのみ、自信を持ってさまざまな分野に応用できる」と将来に期待を寄せた。
信頼できる AI を構築するにはどうすればよいでしょうか? この質問に答えるには、まず「信頼できる」とは何かを考えなければなりません。「信頼できる AI の統一評価仕様の確立が、現時点で最も重要な課題の 1 つであると思います。」 過去の知源会議や世界人工知能会議では、信頼できる AI に関する議論がかつてないほど高まっていたことがわかります。しかし、ほとんどの議論はまだ議論レベルにあり、体系的な方法論的な指針が欠けています。業界でも同様で、一部の企業は関連ツールキットやアーキテクチャ システムを立ち上げていますが、パッチベースのソリューションでは解決できる問題は 1 つだけです。したがって、多くの専門家が同じ観点を繰り返し述べており、現場では信頼できる AI 評価仕様がまだ不足しています。
Li Bo 氏は、 「信頼できる AI システムが保証される前提は、信頼できる AI 評価仕様を持つことである」とこの点に深く感銘を受け、さらに彼女の最近の研究「DecodingTrust」は、さまざまな観点から包括的な情報を提供することを目指していると述べました。 。業界に拡大すると、アプリケーション シナリオはますます複雑になり、信頼できる AI 評価にさらなる課題と機会がもたらされています。さまざまなシナリオでより信頼できる脆弱性が出現する可能性があり、それによって信頼できる AI 評価基準がさらに向上する可能性があるためです。
要約すると、Li Bo 氏は、信頼できる AI 分野の将来は、包括的でリアルタイムに更新される信頼できる AI 評価システムの形成に焦点を当て、これに基づいてモデルの信頼性を向上させる必要があると考えています。「この目標には、学界と産業界が必要です」緊密に連携してより大きなコミュニティを形成し、一緒にやり遂げましょう。」
UIUC Secure Learning Lab GitHub ホームページ
GitHub プロジェクトのアドレス:
https://github.com/AI-secure
同時に、Li Bo の安全学習研究室もこの目標に向けて取り組んでおり、最新の研究成果は主に次の方向に配布されています。
1. データ駆動型学習に基づく検証可能で堅牢な知識強化型論理推論フレームワーク。データ駆動型モデルと知識強化型論理推論を組み合わせて、データ駆動型の拡張性と一般化機能を最大限に活用することを目的としています。モデルを作成し、論理推論を通じてモデルのエラー修正機能を向上させます。
この方向で、Bo Li と彼のチームは学習推論フレームワークを提案し、その認証の堅牢性を証明しました。調査結果は、このフレームワークが単一のニューラル ネットワーク モデルのみを使用する方法よりも大きな利点があることが証明され、十分な数の条件が分析されたことを示しています。同時に、彼らは学習推論フレームワークをさまざまなタスク領域に拡張しました。
関連論文:
* https://arxiv.org/abs/2003.00120
* https://arxiv.org/abs/2106.06235
* https://arxiv.org/abs/2209.05055
2. DecodingTrust: 言語モデルの信頼性を評価するための最初の包括的なモデル信頼性評価フレームワーク。
関連論文:
* https://decodingtrust.github.io/
3. 自動運転分野では、セーフティクリティカルシナリオ生成・テストプラットフォーム「SafeBench」を提供。
プロジェクトアドレス:
* https://safebench.github.io/
さらに李波氏は、チームがスマートヘルスケアや金融などの分野に引き続き注力する計画であることを明らかにし、「これらの分野では、信頼できるAIアルゴリズムやアプリケーションのブレークスルーがより早く現れる可能性がある」と述べた。
助教授から終身教授へ: 一生懸命努力すれば、物事は自然にできるようになる
李波氏の紹介から、信頼できるAIの新興分野には、来るべき需要の急増に十分に対応するために、緊急に解決する必要がある問題がまだ多くあることがわかります。信頼できる AI 分野が台頭する前に、Li Bo が休眠状態で献身的に研究を行っていたように、興味があり楽観的である限り、遅かれ早かれ成功を収めることができます。
この姿勢は李波さん自身の教職歴にも反映されており、彼女は UIUC で 4 年以上勤務し、今年終身教授の称号を獲得しました。彼女は、専門職の称号の評価には厳格なプロセスがあり、その評価には研究成果や他の上級学者の学術的評価などが含まれると紹介しました。課題はあるものの、「一つのことに一生懸命取り組んでいる限り、次のことも必ず達成される」と述べました。自然に来ます。」同時に、彼女は、米国の終身教授制度は教授により多くの自由と、より危険なプロジェクトを実行する機会を与えているとも述べた。そのため、李波のために、彼女はチームと協力していくつかの新しいことに挑戦するだろう、と述べた。ハイリスクプロジェクト「理論と実践でさらなるブレークスルーを実現したいと考えています。」
ゲストにインタビューする
リー・ボー/ボー・リー
イリノイ大学准教授、IJCAI-2022 Computing and Thought Award、Sloan Research Award、NSF CAREER Award、AI's 10 to Watch、MIT Technology Review TR-35 Award、Dean's Research Excellence Award、CW Gear Outstanding Beginner Faculty Awardを受賞、 Intel Rising Star Award、Symantec Research Lab Fellowship、Google、Intel、MSR、eBay、IBM、およびいくつかの主要な機械学習およびセキュリティカンファレンスでの Best Paper Award を受賞。
研究対象: 機械学習、セキュリティ、プライバシー、ゲーム理論が交わる、信頼できる機械学習の理論的および実践的側面。
参考リンク：
[1] https://www.sohu.com/a/514688789_114778
[2] http://www.caict.ac.cn/sytj/202209/P020220913583976570870.pdf
[3] https://www.huxiu.com/article/1898260.html
- 以上 -
QRコードをスキャンしてディスカッショングループに参加してください
より高品質のデータセットを取得する
人工知能の応用を理解する
人気のカンファレンスや論文をフォローする
詳細については「読者」に返信してください
さらにエキサイティングなコンテンツ (画像をクリックして読んでください)
