ChatGPTの誕生以来、OpenAIを買収したMicrosoftは大手テクノロジー企業のトップに迫り続けており、特に伝統的なテクノロジー巨人であるGoogleも珍しく敗北している。しかし最近、Google I/O 2023 開発者会議の開催により、Google はついに我慢できなくなり、GPT-4 に対してベンチマークされる PaLM 2 を発表しました。
PaLM 2の起源
PaLM 2 の前身は、Google が 2019 年に発表したニューラル ネットワーク ベースの言語モデルである PaLM (Pretraining and Language Model) です。その主なタスクは、大量の言語データを学習することで自然言語処理の精度を向上させることです。そして効率性。
PaLM 2 は 100 以上の言語をサポートしており、常識的推論、論理演算、数学的能力において明らかな利点を持っており、さらに、Sec-PaLM などのさまざまな専門分野の知識情報に応じてチューニング (ファインチューニング) することができます。 Med-PaLM 2 は、情報セキュリティ情報に基づいて開発者が悪意のあるスクリプト コンテンツを特定し、セキュリティ リスクのトラブルシューティングを行うのに役立ちます。医療分野の専門知識に基づいて調整された Med-PaLM 2 は、医療免許試験において人間の専門家を上回る性能を発揮した初の大規模モデルです。
PaLM 2は、モデルのサイズに応じて、ヤモリ、カワウソ、バイソン、ユニコーンなど、さまざまな動物の名前の下に4つのカテゴリに分類されており、たとえば、コンピューティング能力、最小限のストレージスペース、モバイルデバイスでのオフライン操作をサポートしています。
技術原理
PaLM 2のコア技術はTransformerモデルに基づく言語モデルの事前学習であり、同時に適応型アテンション機構や多層パーセプトロンなどの技術的手段が追加されています。アダプティブ アテンション メカニズムにより、テキスト内の重要なコンテンツが自動的に識別され、強調されるため、モデルの予測精度が向上します。多層パーセプトロンは、多層ニューラル ネットワークの組み合わせを通じて、入力テキストのより深い理解と分析を実現できます。これらの技術的手段の追加により、PaLM 2 の予測能力と汎化能力が大幅に向上しました。
PaLM 2 の適応型アテンション メカニズムは、さまざまな入力データに従って重みを自動的に調整できるという点で、従来のアテンション メカニズムとは異なります。PaLM 2 で追加された多層パーセプトロンにより、モデルは入力テキストの特性をより深く理解できるようになり、モデルの汎化能力が向上します。
アプリケーションシナリオ
PaLM 2 の多用途性により、さまざまな業界のさまざまなアプリケーションに適応できます。
- Bard: ChatGPT と直接一致するチャットボット。このアプリは、PaLM 2 の言語生成機能を活用して、物語、エッセイ、詩などのクリエイティブなコンテンツを作成します。ユーザーがヒントを提供すると、Bard はモデルの構文、セマンティクス、スタイルの理解を示す一貫性のあるコンテキスト依存のコンテンツを生成します。
- Google Workspace の「ヘルプ ミー」シリーズ: 少し前に注目を集めて発表された Microsoft 365 Copilot の比較。すべての Google Workspace スイートの生成 AI サービスはプロンプトにも対応しており、コンテンツの作成、記事の画像、メールの概要、プロンプトによるクイック返信をさらに支援します。
- 新しい Google 検索: 新しい検索ページは、明確にマークされた広告、生成される AI 情報パネル、および通常の検索結果ランキングで構成されます。生成 AI パネルは、トピック追跡と会話チャットのサポートも提供し、ユーザーが Google アシスタント音声アシスタントの手動入力モードを使用するのと同じように Google 検索を簡単に使用できるようにします。
GPT-4との比較
OpenAI によって開発された GPT-4 も、人工知能の分野における重要な言語モデルです。PaLM 2 と GPT-4 は同様の目標と技術原則を持っていますが、主な違いは基本的なエンジニアリングとトレーニング プロセスのニュアンスにあります。
GPT-4 は、トレーニング中に入力テキストの特定の部分を省略し、欠落している単語を予測するようにモデルをトレーニングする「マスクされた言語モデル」の概念に基づいています。対照的に、PaLM 2 のトレーニング プロセスでは、教師あり学習タスクと教師なし学習タスクの両方を利用してパフォーマンスを最適化します。
GPT-4 は言語の理解と生成において優れた機能を実証していますが、aLM 2 はより多様で広範な一連のタスクを満たすように特別に設計されています。これにより、PaLM 2 はより柔軟なスーパーモデルとなり、より幅広いアプリケーションや業界での使用が可能になります。
PaLM 2 は、Google によって長い間トレーニングされてきた比較的成熟した AI モデルです。現在、GPT-4 で手首を破壊することができています。特筆すべきは、Google DeepMind が最近 2 つの部門によって統合されたことです。次世代マルチモーダル大規模モデルである Gemini は、現在 Google 向けにトレーニング中です。これがまた Google にとって核爆弾レベルの殺人事件になるのだろうか？
私に従って、私と一緒に AI を学び、時代の最前線に立ちましょう。