因果科学における最新の科学研究の進歩と情報を誰もがよりよく理解できるように、私たちの因果科学コミュニティ チームは今週「因果科学ウィークリー」の第 5 号を編集し、因果科学に関する注目に値する最近の論文や情報をプッシュしました。今回のテーマは「OODの一般化」 また、「最近のコミュニティ活動」欄では、崔鵬准教授によるテーマレポート「安定した学習：因果推論と機械学習の共通性の発見」を紹介します。 NeurIPS 2020 China プレレクチャーミーティングにて、清華大学の博士、「基礎」における優れたアイデア。
この号の著者: Yan Hedong、Xu Xiongrui、Chen Tianhao、Yang Ercha、Gong Heyang、Zhang Tianjian、Fang Wenyi、 Guo Ruocheng
1. OOD の一般化の概要
Out-of-distribution(OOD) 一般化は、Systemactic 一般化の一種です。OOD 問題に対する多くの人々の注目は Bengio から始まりました。伝統的に、一部の実践では OOD=新規性検出=異常値検出と信じられていますが、この記事では OOD についてはまったく説明しません。検出関連のコンテンツ。
図 1: Bengio の現在の主な研究対象
Bengio 氏は、従来の機械学習の半分は独立同一分散 (IID) データ分布の仮定に基づいていると述べましたが、実際の状況では、実際の多くのシナリオでは、関心のあるデータはほとんど出現しないデータであることが多く、これはつまり、 OOD が増える、つまりデータに現れる分布が少なくなるため、機械学習アルゴリズムで新しいデータの仮定が必要になります。特にエージェントの観点からは、データ分散の変化とさまざまな分散の構成可能性に影響を与える要因を考慮することが重要です。
図 2: IID から OOD へ (Bengio)
メタラーニング (学習されたモデル) は、機械学習の OOD およびモデルへの迅速な移行を実現する方法です。OOD に関して言えば、その理由は、行動の変化、つまりデータへのユーザーの行動の介入です。メタ学習の知識表現 (変数間の因果構造など) は、OOD の一般化に効果的に役立ちますが、ここでの課題は、未知の介在変数の因果知識をどのように学習するかです。
因果結合機械学習の具体的な方向性として、アリゾナ州立大学の博士課程候補者である Guo Ruocheng 氏が推奨する 6 つの Causal + OOD 論文を以下に示します。
ピータース、ヨナス、ピーター・ビュールマン、ニコライ・マインスハウゼン。「不変予測を使用した因果推論: 同定と信頼区間」arXiv プレプリント arXiv:1501.01332 (2015)。
ローテンホイスラー、ドミニク、ニコライ・マインスハウゼン、ペーター・ビュールマン、ヨナス・ペータース。「アンカー回帰: 異種データが因果関係を満たす。」arXiv プレプリント arXiv:1801.06229 (2018)。
ロハス＝カルーラ、マテオ、ベルンハルト・シェルコップ、リチャード・ターナー、ジョナス・ピーターズ。「因果転移学習のための不変モデル」機械学習研究ジャーナル19、no. 1 (2018): 1309-1342。
アルジョフスキー、マーティン、レオン・ボットー、イシャーン・グラジャニ、デビッド・ロペスパス。「不変リスクの最小化」。arXiv プレプリント arXiv:1907.02893 (2019)。
クルーガー、デヴィッド、イーサン・カバレロ、ヨーン＝ヘンリック・ヤコブセン、エイミー・チャン、ジョナサン・ビナス、レミ・ル・プリオール、アーロン・クールヴィル。「リスク外挿による分布外一般化 (rex)」。arXiv プレプリント arXiv:2003.00688 (2020)。
アフジャ、カルティク、カーティケヤン・シャンムガム、クシュ・ヴァルシュニー、アミット・ドゥランダル。「不変のリスク最小化ゲーム」。ICML 2020。
2. Cui Peng が OOD について語る
Cui Peng は清華大学コンピュータ科学技術学部の准教授です。彼の主な研究方向は安定学習、OOD 一般化、公平性、反事実予測です。上記の論文を読んで翻訳した後、私たちは特別に Cui Peng を研究者に招待しました。具体的には以下のような感想を語ります。
1) Bengio は原因と結果を使用して OOD 問題を解決し、体系的な汎化能力を獲得することを選択しました。Cui Peng チームの安定した学習/予測は、Causal + OOD の一連の具体的な作業です。
2) Cui Peng 先生は、OOD の問題についてテスト配布を想定すべきではないと強調したため、厳密に言えば、上記の第 3 条は OOD の範疇に含まれない可能性があります。
3) 最初の 2 つの記事は OOD 問題を解決するために因果関係図からの情報を組み込んでいますが、最後の 3 つの記事は純粋に表現学習に基づいています。安定した学習は、因果関係と学習フレームワークの両方を考慮し、これら 2 つの考え方を融合したものです。
4) OOD 研究をサポートするデータセットは初心者にとって非常に重要であり、崔鵬先生は、OOD 問題を懸念する研究者に最近の研究である NICO データセットを実際に推奨しています。このデータセットは前号で紹介しました。
安定した学習に関する論文については、週刊誌「 Cause and Effect Science Weekly」第 3 号: 原因と結果が安定した学習を強化するをご覧ください。
次に、Causal コミュニティの Gong Heyang による解説と解釈を含む 6 つの Causal + OOD 論文の要約翻訳です。
3. 論文の翻訳と通訳
3.1 因果関係グラフを使用した手法
論文のこの部分では、ある意味で因果構造がわかっていることを前提としています。
ピータース、ヨナス、ピーター・ビュールマン、ニコライ・マインスハウゼン。「不変予測を使用した因果推論: 同定と信頼区間」arXiv プレプリント arXiv:1501.01332 (2015)。
要約翻訳:予測に関して、因果モデルと非因果モデルの違いは何ですか? 予測変数に介入するか、環境全体を変更するとします。因果モデルの予測は一般に、観察データの介入によって機能します。対照的に、変数に積極的に介入すると、非因果モデルの予測が大きく外れる可能性があります。ここでは、因果推論のための因果モデルの下での予測の不変性を利用することを提案します: 異なる実験設定 (例えば、さまざまな介入) の下で、設定と介入間で予測精度の違いを示すすべてのケースをプールします。因果モデルは、これらのモデルのいずれかである可能性が高くなります。このアプローチでは、かなり一般的なケースで因果関係の有効な信頼区間が生成されます。構造方程式モデリングの例をより詳細に検討し、因果関係の予測子のセットを識別可能にするための十分な仮定を提供します。モデルの仕様に誤りがある場合のアプローチの堅牢性をさらに調査し、可能な拡張について議論します。私たちは、大規模な遺伝的摂動実験を含む、さまざまなデータセットの経験的特性を研究しています。
翻訳者:ヤン・ヘドン
コン・ヘヤンの解釈：
いくつかの変数に介入したり、環境全体を変更したりした場合、因果モデルの予測効果は依然として良好ですが、非因果モデルの予測効果は必ずしも良好であるとは限りません。
この記事では、モデルの予測不変性特性について検討しますが、因果モデルには予測不変性特性がある可能性があります。
主な貢献は、新しい方法、新しい概念、新しい理論です。
ローテンホイスラー、ドミニク、ニコライ・マインスハウゼン、ペーター・ビュールマン、ヨナス・ペータース。「アンカー回帰: 異種データが因果関係を満たす。」arXiv プレプリント arXiv:1801.06229 (2018)。
翻訳の要約:トレーニング セットとは異なる分布を持つデータセット内の共変量のセットから従属変数を予測する方法の問題を検討します。因果変数は、多数の変数が新しい分布への介入によって影響を受ける場合、または変数の一部のみが影響を受けるが干渉が非常に強い場合に、予測精度が最適になります。トレーニング セットとテスト セットの分布に変化がある場合、因果関係パラメーターが保守的すぎるため、上記のタスクのパフォーマンスが低下する可能性があります。これは、外生変数を利用して、最小二乗損失の修正を通じて因果的な最小-最大問題の緩和を解決するアンカー回帰法を動機付けます。我々は、推定器の予測性能が保証されていること、具体的には、操作変数の仮定が満たされなくなった場合でも、分布の線形シフトの下での予測は分布ロバストであることを証明します。アンカー回帰と最小二乗が同じ答え (アンカーの安定性) を提供する場合、通常の最小二乗パラメーターは特定の分布の変化に対して安定していることがわかりました。経験的証拠は、アンカー回帰によって再現性が向上し、分布変更の影響を回避できることが示されています。
翻訳者:徐雄瑞
コン・ヘヤンの解釈：
アンカー変数は、データセット「内」の異質性またはデータセット「間」の異質性のいずれかをエンコードするために使用できます。
ロハス＝カルーラ、マテオ、ベルンハルト・シェルコップ、リチャード・ターナー、ジョナス・ピーターズ。「因果転移学習のための不変モデル」機械学習研究ジャーナル19、no. 1 (2018): 1309-1342。
要約翻訳:転移学習法は、テスト セットのパフォーマンスを向上させるために、いくつかの関連タスクまたはドメインからの知識を結合しようとします。因果的アプローチに触発されて、通常の共変量シフトの仮定を緩和し、それが予測子のサブセットに当てはまると仮定します。この予測子のサブセットを考慮すると、ターゲット変数の条件付き分布はタスク全体で一定です。この仮説が因果関係の分野からの視点にどのように触発されているかを示します。テスト タスクの例が観察されないドメイン一般化問題に焦点を当てます。我々は、このサブセットを予測に使用することが、敵対的設定におけるドメイン汎化において最適であることを示し、さらに、タスクが十分に多様であり、データの平均でも推定器がプーリングよりも優れている例を提供します。また、前述のサブセットの自動推論を可能にする実用的なアプローチを紹介し、対応するコードを示します。合成データセットと遺伝子欠失データセットに対するこのアプローチの結果を紹介します。
翻訳者:チェン・ティエンハオ
コン・ヘヤンの解釈：
主な内容としては、
問題の仮定は、変数の特定の部分が与えられた結果の条件付き分布は変化しないままであるということです ← 共変量シフトの仮定
敵対的学習を使用して、証明付きで正しい変数を選択できます
3.2 因果関係グラフを使用しない方法
コンテンツのこの部分は表現学習に基づいています。
アルジョフスキー、マーティン、レオン・ボットー、イシャーン・グラジャニ、デビッド・ロペスパス。「不変リスクの最小化」。arXiv プレプリント arXiv:1907.02893 (2019)。
要約翻訳:不変リスク最小化 (IRM) と呼ばれる、複数のトレーニング データ分布の下で不変相関を学習するための学習パラダイムを導入します。この目標を達成するために、IRM はデータ表現を学習し、このデータ表現に基づく最適な分類器がさまざまなトレーニング データ分布の下でより適切に機能するようにすることができます。理論と実験を通じて、IRM によって学習された不変性がどのようにデータ生成メカニズムの因果構造に関連付けられ、OOD の場合の汎化能力を向上させるかを示します。
翻訳者の張天健氏の注：
ここでの複数のトレーニング データの分布は、結合分布が環境ごとに異なることを意味します 。実験者にとって、各データポイントが取得された対応する環境は既知です。
コン・ヘヤンの解釈：
基本思想 spurious correlations do not appear to be stable properties
この記事の主な貢献は次のとおりです: 複数のトレーニング環境のための OOD の新しいパラダイム。
-
画像ピクセルは因果変数ではないため、自動的に学習されます。
IRM 原則を提案します。不変性を学習するには...、次のような表現を見つけてください...
IRM の数学は次のとおりです。
クルーガー、デヴィッド、イーサン・カバレロ、ヨーン＝ヘンリック・ヤコブセン、エイミー・チャン、ジョナサン・ビナス、レミ・ル・プリオール、アーロン・クールヴィル。「リスク外挿による分布外一般化 (rex)」。arXiv プレプリント arXiv:2003.00688 (2020)。
要約翻訳:トレーニング分布外のデータセットへの一般化は、機械学習における現在の課題です。分布外 (OoD) 一般化の弱い形式は、複数の観測されたコンポーネント間を正常に補間する機能です。これを達成する方法の 1 つは、ロバストな最適化を行うことです。これは、トレーニング分布の凸状の組み合わせにおける最悪のケースを最小限に抑えることを意味します。ただし、OoD 一般化のより強力な形式は、トレーニング時に観察された分布の外側を外挿する機能を指します。強力な Ood 一般化を追求するために、リスク外挿 (REx) を導入します。REx は、トレーニング リスク間の厳密な平等を促進することにより、トレーニング リスクの線形結合の堅牢性を促進すると見なされます。この原理によってどのように外挿が可能になるかを概念的に示し、さまざまな OoD 一般化タスクにおける REx の有効性とインスタンスのスケーラビリティを実証します。
翻訳者:ファン・ウェンイー
コン・ヘヤンの解釈：
我々は、IRM と同様の新しい原理 REx を提案します。これは、手書きの数字の色など、トレーニングでは予測できるが、テスト時には予測できない「スプリアス」特徴を解決します。
基本的な数学的原理は次のとおりです。
異なる分野のリスクは線形に結合され、結合係数が負になることが許可されます。これにより外挿が実現され、この結合における最悪のシナリオが最適化されます。Variance REx (V-REx) の場合、分散は正則化に使用され、結果の点で MM-REx よりも安定しています。
アフジャ、カルティク、カーティケヤン・シャンムガム、クシュ・ヴァルシュニー、アミット・ドゥランダル。「不変のリスク最小化ゲーム」。ICML 2020。
要約:環境内のテスト分布とトレーニング分布の差が偽の相関によって引き起こされる場合、機械学習の標準的なリスク最小化パラダイムが脆弱になります。複数環境のデータセット トレーニングを通じて、不変の予測子を探しながら、結果と因果関係がある特徴にモデルを集中させることで、誤った特徴の影響を軽減するという目的を達成できます。この研究は、ナッシュ均衡における異なる環境下での組み合わせゲームを探索する、一定のリスク最小化の概念を提案します。研究者らは、最適な反射ダイナミクスを使用するシンプルなトレーニング アルゴリズムを提案しており、実験出力は Arjovsky et al. (2019) の 2 レベル最適化問題よりも小さく、分散が小さく、近似的、またはさらに優れた経験的精度を備えています。この研究の重要な理論的貢献は、提案された戦略のナッシュ均衡のセットが、非線形分類と変換の環境を含む任意の有限数の環境における不変予測子のセットと同等であることです。要約すると、この研究の方法は Arjovsky et al. (2019) の方法と同じであり、一般化を保証するには多数の環境セットを保持する必要があります。この論文で提案されたアルゴリズムは、敵対的生成ネットワーク (GAN) などの成功したゲーム理論的機械学習アルゴリズムに関する既存の研究を補完します。
翻訳者:ヤン・エルチャ
コン・ヘヤンの解釈：
IRM + ナッシュ均衡の変形
4. 最近のコミュニティ活動
11月27日に知源コミュニティが開催したNeurIPS 2020中国プレレクチャーで、知源出身の若手科学者で清華大学コンピュータ科学技術学部准教授の崔鵬氏が「安定した学習：共通点の発見」と題した講演を行った。因果推論と機械学習の基礎 「崔鵬氏は講演の中で、「機械学習の観点から因果推論をどのように見るかについて議論する」と述べた。
この講演の中で、崔鵬氏は、彼の研究グループによる近年の関連研究成果に基づいて、「因果関係と機械学習を組み合わせる」方法についての問題を共有しました。
2016年以来、崔鵬氏のチームは因果推論と機械学習を組み合わせる方法について徹底的な研究を開始し、最終的には「安定した学習」という研究の方向性を形成した。マクロの観点から見ると、安定学習は、さまざまな未解決の問題に対処するために、因果推論と機械学習の間の共通点を見つけることを目的としています。
崔鵬氏は講演の中で、まず人工知能の現在のリスク、すなわち説明不可能性と不安定性を紹介し、相関統計がこれらのリスクの重要な理由であると指摘した。機械学習と因果推論を組み合わせることで、これら 2 つの欠点を克服し、安定した学習を実現できます。因果関係の観点から、解釈可能性と安定性の間には一定の内部関係があることは言及する価値があります。つまり、モデルの安定性を最適化すると、モデルの解釈可能性も向上します。
次に崔鵬氏は、「混乱した変数バランス」の考え方を通じて安定した学習を達成する方法を紹介し、理論的な保証があると指摘した。実験結果はまた、「トレーニング中とテスト中の環境の差が大きいほど、相関法と比較して因果法を使用することによって達成されるパフォーマンスの向上が大きい」ことを示しており、これは機械学習のリスクを軽減し、相関統計の欠陥を克服し、機械学習の次の開発方向を導く可能性を秘めています。
因果科学コミュニティの紹介: 因果科学の分野に特化した垂直学術ディスカッション コミュニティであり、知源コミュニティと時志クラブが共同で推進しており、その目的は、因果科学の専門家と興味のある愛好家の間のコミュニケーションと協力を促進し、因果科学の学術研究、産業生態学の構築と実践、および因果科学分野における新世代の学術専門家と産業革新者の育成。
因果科学コミュニティへの参加を歓迎します。
因果科学コミュニティのビジョン:因果関係の疑問に答えることは、さまざまな分野で緊急のニーズです 因果推論は現在、さまざまな分野 (AI や統計など) で使用されていますが、使用する言語やモデルが異なるため、差異が生じますこれらの分野の科学者の間でコミュニケーションをとるのが難しい。したがって、私たちは、科学研究者が統計の中核となる考え方を習得し、現在のさまざまな AI テクノロジー (深い確率モデルを構築するための Pytorch/Pyro など) を巧みに使用し、交流を促進できるように、コミュニティを構築し、多くの学術活動を組織したいと考えています。さまざまな分野の研究者間の交流やアイデアの衝突により、さまざまな分野の因果推論に共通のパラダイム、さらには共通の工学実践基準が与えられ、新たに形成された因果科学の急速な発展が促進されます。因果推論の能力を持つ人間が密接に連携して強力な文明を築いています。未来社会では因果推論があらゆる分野に組み込まれ、特にAIとの緊密な統合と改良が期待されます。私たちは無数のエージェント（因果AI）を期待しています」 ) 因果の梯子を登る能力を持って) 人類とともに次世代の人類文明を築こう!
適切な数学的基礎と人工知能の研究経験があり、科学者の好奇心とエンジニアの思考の両方を持ち、「因果革命」に参加し、機械に因果的思考を教え、因果科学に貢献したいと考えている方は、ぜひご参加ください。私たちの WeChat グループ: 以下のコミュニティ アシスタント QR コードをスキャンして参加してください (「因果科学」に注意してください) ????
「因果科学ウィークリー」の前号を読むには、以下のリンクをクリックしてください。
「Causal Science Weekly」の創刊号: 因果関係コミュニティは、因果推論のための共通パラダイムの構築に参加することを心から歓迎します。
『因果科学ウィークリー』第2回：混乱バイアスを解決するには？