ソース | Heart of the Machine Wechat ID: mosthuman2014
「自己教師あり学習について、あなたが知りたいがあえて質問しないことはすべてここにあります。」 チューリング賞受賞者であり、メタ人工知能の主任科学者である Yann LeCun は、そのようなツイートを送信しました。
ツイートの中で、LeCun 氏は、Meta Artificial Intelligence Research Institute の研究者であり、研究マネージャーである Tian Yuandong 氏らが共著した「Cookbook」 (非常に実用的で、操作しやすく、レシピのような論文) を紹介しました。このクックブックは全70ページで、自己教師あり学習の定義、重要性、起源、ファミリー、トレーニングの展開方法、展開方法を網羅した希少な学習教材です。「自己教師あり学習を学びたいなら、この本を読んだほうがいい」と Tian Yuandong 氏は付け加えた。
論文リンク: https://arxiv.org/pdf/2304.12210v1.pdf
自己教師あり学習は、機械学習の「理想的な状態」と見なすことができます。モデルは、データにラベルを付けることなく、ラベルのないデータから直接学習します。主に補助タスク (口実タスク) を使用して、大規模な教師なしデータから独自の教師情報をマイニングし、この構造の教師情報を通じてネットワークをトレーニングして、下流タスクの価値ある表現を学習できるようにします。自己教師あり学習の利点は、手動でラベル付けすることなく、大量のラベル付けされていないデータをトレーニングに利用できることです。このようにして、多くの人手と時間のコストを節約でき、より多くのデータをトレーニングに使用できるため、モデルのパフォーマンスが向上します。
Yann LeCun が自己教師あり学習の積極的な支持者であることはよく知られています。近年、Meta は自己教師あり学習に関する一連の論文を発表しました。LeCun は、AI システムが合理性、常識、スキルや知識をある環境から別の環境に移す能力などの人間のような能力を獲得する世界のモデルを構築するのに役立つ AI システムにとって、自己教師あり学習が必要な前提条件であると固く信じています。別の能力。GPT-4 の成功は、自己教師あり学習の有効性を強く示しています。しかし、Yann LeCun は、GPT ファミリーで採用されている自己回帰法 (次の単語を予測する) について楽観的ではなく、「世界モデル」を構築することを好みます。
料理本はソーシャル メディアで好評を博しています。
自己教師あり学習とは？なぜそんなに重要なのですか？
2021 年、Yann LeCun らは「Self-supervised learning: The dark matter of Intelligence」というタイトルのブログを公開しました。ブログ投稿で、彼らは自己教師あり学習 (SSL) を「知能の暗黒物質」と呼んでおり、機械学習を進歩させるための有望な手段です。
自己教師あり学習 (SSL) は、自然言語処理におけるディープ ラーニングの成功の基本であり、自動機械翻訳から、Web スケールのラベルなしテキスト コーパスでトレーニングされた大規模言語モデルへの進歩をもたらします。コンピューター ビジョンでは、10 億枚の画像でトレーニングされた SEER モデルなど、データ サイズの新しい境界を押し広げます。コンピューター ビジョンの SSL メソッドは、ImageNet などの競合ベンチマークでも、ラベル付きデータでトレーニングされたモデルに匹敵するか、場合によってはそれを上回ることができています。SSL は、ビデオ、オーディオ、時系列などの他のモダリティにも適用されています。
自己教師あり学習では、ラベルのない入力に基づいて補助タスクを定義し、説明的でわかりやすい表現を生成します。自然言語における一般的な SSL の目標は、テキスト内の単語をマスクして周囲の単語を予測することです。単語の周囲のコンテキストを予測するというこの目標により、モデルはテキスト内の単語間の関係をラベルなしで取得するようになります。同じ SSL モデル表現を、言語間のテキスト翻訳、要約、さらにはテキスト生成など、さまざまなダウンストリーム タスクに使用できます。コンピューター ビジョンでは、MAE や BYOL 学習などのモデルに同様の目標が存在し、画像や表現内の遮蔽されたコンテンツ ブロックを予測します。他の SSL ターゲットは、同じ画像の 2 つのビュー (たとえば、色の追加やトリミングによって形成されたもの) を同様の表現にマッピングすることを奨励します。
ラベル付けされていない大量のデータをトレーニングできることには、多くのメリットがあります。従来の教師あり学習方法が特定のタスク (通常は利用可能なラベル付きデータに基づいて事前にわかっている) でトレーニングするのに対し、SSL は多くのタスクにわたって有用な一般表現を学習します。SSL は、ラベル付けに費用がかかるか、特定のタスクを事前に知ることができない医療などの分野で特に役立ちます。SSL モデルは、敵対的な例、ラベルの破損、および入力の摂動に対してより堅牢で、教師ありモデルよりも公正な表現を学習できるという証拠もあります。したがって、SSL は関心が高まっている分野です。しかし、料理と同じようにSSLを鍛える方法は、参入障壁の高い繊細な芸術です。
自己管理型学習クックブックを書く理由
研究者は SSL の多くのコンポーネントに精通していますが、SSL のトレーニングを成功させる方法には、補助的なタスクからハイパーパラメーターのトレーニングまで、目まぐるしく多くの選択肢が含まれます。SSL 研究には、次のような高い参入障壁があります。
1. 計算コストが高い。
2. SSL の可能性を完全に実現するために必要な複雑な実装について詳述した、完全に透明な文書の欠如。
3. 統一された SSL 専門用語と理論的視点の欠如。
SSL は、(ノイズ除去、変分) オートエンコーダーなどの従来の再構成ベースの教師なし学習方法とは異なるパラダイムを確立するため、統一されたフレームワークで SSL を理解するためのボキャブラリーは限られています。実際、SSL メソッドを単一のフレームワークに統一する試みは昨年まで始まりませんでした。SSL 方式のさまざまなコンポーネントを説明する共通の根拠がないため、研究者が SSL 方式を研究することはより困難になっています。同時に、SSL の研究は、それを現実の世界に展開するための新しい研究者を緊急に必要としています。ただし、SSL の一般化の保証、公平性、および敵対的攻撃や自己変動に対する堅牢性については、まだ多くの未解決の謎があります。これらの問題は、SSL 方式の信頼性にとって重要です。
さらに、経験に基づいた SSL には、多くの可変部分 (主にハイパーパラメーター) が付属しています。これらは、最終的な表現に影響を与える可能性があり、公開された作業では必ずしも詳細に説明されていない重要なプロパティです。とはいえ、SSL メソッドの作業を開始するには、まずこれらのメソッドの徹底的な経験的調査を実施して、これらすべてのコンポーネントの影響と動作を完全に把握する必要があります。このような経験的な盲点は、かなりの計算リソースと既存の実務経験を必要とするため、非常に制限されています。全体として、SOTA のパフォーマンスは、既存の理論的研究がほとんどなく、そのようなモデルの広範な実世界への展開がなく、一見異なるが重複するアプローチからもたらされます。したがって、この技術とそれに関連する方法を統合したクックブックが必要です。これは、SSL の研究しきい値を下げるために重要です。
研究者の目標は、クックブックの形で SSL 研究の基礎を築き、SSL に関連する最新の方法を提示することで、SSL 研究の敷居を下げることです。
たとえば、料理を上手に行うには、まず、刻む、炒めるなどの基本的なテクニックを習得する必要があります。研究者は、共通語彙を使用した自己教師あり学習の基本的なテクニックを紹介する第 2 章から始めます。具体的には、体系的なアプローチと、統一された視点で目標を結び付ける理論的なスレッドについて説明します。研究者は、損失条件やトレーニング目標など、コンセプト ボックスで重要なコンセプトを強調しています。
次に、「料理人」は、これらの技術を巧みに応用して「おいしい料理」を作ることを学ばなければなりません。それには、既存のレシピを学び、材料を組み合わせ、料理を評価する必要があります。第 3 章では、研究者は SSL アプローチを成功させるための実際的な考慮事項を提示し、ハイパーパラメーターの選択、ネットワーク アーキテクチャやオプティマイザーなどのコンポーネントの組み立て方法、SSL メソッドの評価方法などの一般的なトレーニング方法について説明します。
また、一般的なトレーニング構成と落とし穴の回避に関する優れた研究者からの実用的なヒントも共有しています。このクックブックが、自己管理型学習のトレーニングと探索を成功させるための実用的な基礎として役立つことを願っています。
詳細については、元の論文を参照してください。
参考リンク：https://zhuanlan.zhihu.com/p/66063089