CV - コンピューター ビジョン | ML - 機械学習 | RL - 強化学習 | NLP 自然言語処理
件名: cs.CL
1.BiomedGPT: 視覚、言語、およびマルチモーダルタスク用の統合されたジェネラリスト生物医学生成事前トレーニングトランスフォーマー
タイトル: BiomedGPT: 視覚、言語、およびマルチモーダル タスクのための統合された一般的な生物医学生成事前トレーニング済みトランスフォーマー
著者: Kai Zhang、Jun Yu、Zhiling Yan、Yixin Liu、Eashan Adhikarla、Sunyang Fu、Xun Chen、Chen Chen、Yuyin Zhou、Xiang Li、Lifang He、Brian D. Davison、Quanzheng Li、Yong Chen、Hongfang Liu、Lichao太陽
記事リンク: https://arxiv.org/abs/2305.17100
まとめ：
この論文では、大規模で多様なデータセットに対する自己監視を利用してマルチモーダル入力を受け入れ、さまざまな下流タスクを実行する、統合された一般的な Biomed Generative Pretrained Transformer (BiomedGPT) モデルを紹介します。私たちの実験では、BiomedGPT が生物医学データの広範かつ包括的な表現を提供し、15 を超える固有の生物医学モデルをカバーする 20 の公開データセットを使用した 5 つの異なるタスクにおいて、これまでのほとんどの最先端モデルを上回るパフォーマンスを示していることがわかりました。また、アブレーション研究を通じて、これまで見たことのないデータに知識を伝達する際のマルチモーダルおよびマルチタスクの事前トレーニング アプローチの有効性も実証しています。総合すると、私たちの研究は、統合された一般的な生物医学モデルの開発における重要な前進を表しており、医療成果の向上に重大な意味を持っています。
2.大規模言語モデルで繰り返しゲームをプレイする
タイトル: 大規模な言語モデルを使用した繰り返しゲームのプレイ
著者：エリフ・アカタ、ライオン・シュルツ、ジュリアン・コーダ＝フォルノ、ソン・ジュン・オ、マティアス・ベスゲ、エリック・シュルツ
記事リンク: https://arxiv.org/abs/2305.16867
まとめ：
大規模言語モデル (LLM) は社会を変え、さまざまなアプリケーションに浸透しています。そのため、LLM は定期的に当社および他のエージェントと連絡を取り合います。したがって、インタラクティブな社会環境における LL.M. の行動を理解することは、大きな社会的価値があります。ここでは、行動ゲーム理論を使用して、LLM の協力的かつ協調的な行動を研究することを提案します。この目的を達成するために、私たちはさまざまな LLM (GPT-3、GPT-3.5、および GPT-4) を互いに対戦し、限られた繰り返しで他の人間のような戦略を使用してプレイします。私たちの結果は、LLM が一般にそのようなタスクでうまく機能し、永続的な動作の特徴も明らかにすることを示しています。多数の 2 プレイヤー 2 戦略ゲームの中でも、LLM は反復的な囚人のジレンマ シリーズなどの自己関心のあるゲームに特に優れていることがわかりました。ただし、調整が必要なゲームではうまく機能しません。そこで、これらの異なるシリーズの 2 つのゲームを詳しく見ていきます。典型的な反復的な囚人のジレンマでは、GPT-4 が特に執拗に行動し、別のエージェントが離反した後に必ず 1 回だけ離反することがわかりました。男女の戦いでは、GPT-4 が選択肢を交互に切り替えるという単純な合意された行動に適合しないことがわかりました。これらの動作特徴が堅牢性チェック全体にわたって安定していることを確認します。最後に、他のプレイヤーに関するより多くの情報を提供し、選択を行う前に他のプレイヤーの行動を予測するよう GPT-4 に依頼することで、GPT-4 の動作をどのように変更できるかを示します。これらの結果は、LLM の社会的行動についての理解を深め、機械の行動のゲーム理論への道を開きます。
3.模擬人間社会における社会的に調整された言語モデルのトレーニング
タイトル: 模擬人間社会における社会的に適切な言語モデルのトレーニング
著者: Ruibo Liu、Ruixin Yang、Chenyan Jia、Ge Zhang、Denny Zhou、Andrew M. Dai、Diyi Yang、Soroush Vosoughi
記事リンク: https://arxiv.org/abs/2304.05977
まとめ：
AI システムの社会的一貫性は、これらのモデルが確立された社会的価値観に従って動作することを保証することを目的としています。しかし、社会的相互作用を通じて価値判断についての合意を得る人間とは異なり、現在の言語モデル (LM) は、トレーニング コーパスを単独で厳密に複製するように訓練されているため、不慣れなシナリオでは一般化が不十分であり、敵対的な性的暴行に対して脆弱です。この研究は、LM が模擬的な社会的相互作用から学習できるようにする新しいトレーニング パラダイムを提案しています。既存の方法と比較して、私たちの方法はよりスケーラブルで効率的であり、アライメントベンチマークと人間による評価で優れたパフォーマンスを示しています。LM トレーニングにおけるこのパラダイム シフトにより、社会規範と価値観を堅牢かつ正確に反映する AI システムの開発に一歩近づくことができます。
Aiの詳細情報：Princess AiCharm