テクノロジークラウドレポートオリジナル。
目が覚めたら待望のGPT-4がやってきた。OpenAI のボスである Sam Altman 氏は、「これはこれまでで最も強力なモデルです!」 わずか 1 日後、「ChatGPT の中国語版」Baidu Wenxin が正式にリリースされ、双方が競争する準備が整いました。
ディープラーニングが AI 技術の復活を促進するとき、それに対する人類の最大の期待は、AI を第 4 次産業革命における「蒸気機関」にすることです。
近年、インテリジェンス革命の最前線に立っているのは、事前学習用の大規模モデルです。
ChatGPT の誕生は、テクノロジー サークルで騒動を引き起こしただけでなく、ベンチャー キャピタル サークルの起業家精神にも火をつけました。
国内企業の大規模な事前訓練モデル（以下、「ビッグモデル」という）トラックも、激しい競争段階に入り始めている。
過去 2 週間で、AI の大規模モデルを基盤技術とする多くのメーカーが資本の支持を得始めました。
では、AI の大規模モデルの現在の主要な技術的パスは何ですか? 産業側の成長はどうですか？
「一般大型モデル＋産業モデル」の技術パス
グローバルな大規模モデルの競争では、大規模モデルのパラメーターがますます大きくなり、データセットの記録が常に更新されているという事実に直面する必要があります。
「さまざまな専門的および学術的なベンチマークで人間に匹敵します。」 リリースされたばかりの GPT-4 について、OpenAI はそのパフォーマンスに非常に満足しています。
OpenAI は公式ウェブサイトで、GPT-4 は画像とテキストの入力と出力テキストを受け入れることができるマルチモーダル モデルであると述べており、ディープ ラーニングの拡張における OpenAI の最新のマイルストーンです。
パフォーマンスの観点から、GPT-4 の言語理解と生成機能は ChatGPT を上回り、ChatGPT が完了できない質問に答えることができます.同時に、GPT-4 は写真を説明して理解することができ、許容されるテキスト入力の長さも向上しています.約24,000語に増加。
アップグレード後、GPT-4 はさまざまな職業的および学術的テストで人間レベルのパフォーマンスを発揮しました。
たとえば、模擬司法試験では、GPT-3.5 の下位 10% と比較して、GPT-4 は上位 10% で良好な結果を達成しました。
アメリカの大学入試のSATテスト問題でも、GPT-4は読み書きで710点、数学で700点（800点満点）という高得点を記録。
しかし、実際の産業分野では、大規模なモデルの大規模で標準化されたアプリケーションを目にすることは困難です。
これは、大規模なモデルが業界の知識と一致しておらず、産業用コンピューティング能力の基盤が大規模なモデルの展開をロードするのが難しいなどの理由による可能性があります。
過去数年間の市場のコンセンサスは、大規模な AI 産業が実装される場合、基盤となる AI の大型モデルは一般的な大型モデル プラットフォームでなければならないということであり、メーカーはマルチ シナリオおよびマルチ フィールド モデルの生産を実行します。ユーザーのニーズに応じてプラットフォーム上で特定の産業モデルの着陸を達成するために。
メーカーにとっても、これは新しい方向性です。つまり、AI メーカーは「一般モデル + 産業モデル」で企業や産業に力を与え続け、それによって中国の産業デジタル化プロセスを加速させています。
さらに重要なことに、このモデルの実装が成功すると、すぐに大規模な効果が得られるか、主要な AI メーカーに高いリターンがもたらされ、AI 技術の実装が困難で利益を上げることが困難な現在の状況が解消される可能性があります。
基礎となる AI の大規模モデルの研究開発には、大規模なデータ スケール、不均一な品質、大規模なモデル サイズ、高いトレーニングの難しさ、大規模な計算能力の規模、および高いパフォーマンス要件などの課題があります。
このような高い研究開発の敷居は、何千もの業界での人工知能技術の促進には役立たない。
データ、コンピューティング能力、およびアルゴリズムにおいて総合的な優位性を持つ企業は、モデルの複雑な生産プロセスをカプセル化し、低しきい値で高効率の生産プラットフォームを通じて、何千もの業界に大規模なモデル サービスを提供できます。
さまざまな業界の企業は、本番プラットフォームを介して実際の AI アプリケーションに特定の要件を提示するだけでよく、大規模なモデルを作成するいくつかの企業は、アプリケーションのシナリオに従って大規模なモデルをさらに開発およびトレーニングすることができ、アプリケーション側の実現を支援します。大規模なモデルの微調整により、さまざまな成果を達成できます。業界は AI モデルを直接適用します。
その時、AI大型モデルは本当の意味で産業化され、産業モデルとなります。
現在、Baidu、Ali、Tencent、SenseTime、Huawei などの国内の AI 大規模モデル メーカーは、一般的な大規模モデルを継続的に統合し、産業用モデルを作成し、AI 大規模モデルの産業化を支援しています。
その中で、Baidu は Wenxin 大型モデル + PaddlePaddle 深層学習プラットフォームを使用し、Tencent は HunYan 大型モデル + Taiji 機械学習プラットフォームを使用し、Ali は Tongyi 大型モデル + M6-OFA を使用し、Huawei は Pangu 大型モデル + ModelArts を使用し、これらすべてが自然言語を作成しました。大規模モデル、コンピューター ビジョン大規模モデル、マルチモーダル大規模モデルの処理。
各メーカーのAI大型モデルのレイアウトが異なる点に注意が必要です。
Baidu が AI の分野で長年にわたって深く培ってきたおかげで、その Wenxin 大規模モデルは、基本大規模モデル、タスク大規模モデル、産業大規模モデルの 3 つのレベルのシステムをカバーしています。など、国内産業に大きな産業モデルを構築しました。
現在、国内大型模型メーカーの第一陣のリーダーに属している。
Tencent の産業用アプリケーションの方向性は、主にコストを削減し、Tencent 自身のエコロジーの効率を高めることであり、その中で広告アプリケーションがうまく機能しています。
アリババはテクノロジーに重点を置いており、たとえば、M6 ラージ モデルは、アリババ クラウドと DAMO アカデミーによって構築されたハードウェアの利点に基づいており、ラージ モデルに必要な計算能力を極限まで圧縮できます。テクノロジーの利点は、統合された基盤となる AI の構築にも役立ちます。
現在、主なアプリケーションの方向は、下流のタスクの品質と効率を向上させることであり、例えば、淘宝網の服装検索シーンでは、テキスト検索と画像のクロスモーダル検索が実現されています。
Huawei の利点は、業界初の 2000 億個のパラメーターを備えた事前トレーニング済みの言語モデルを中国語をコアとしてトレーニングできる点にあります。
現在、盤古気象大モデル、盤古鉱山大モデル、盤古OCR大モデルの3つの比較的重い産業用大規模モデルがリリースされています。
ビジネスモデル的には、各メーカーが一般的な大規模モデルのパスであり、一般的な大規模モデルのアーキテクチャ上に特定の産業モデルが構築されていることがわかります。
業界レベル、つまり「一般大型モデル＋産業モデル」のパスにマッピング。
ただし、チケットを持っているからといってゴールまで走れるわけではありません。
メーカーにとっては、汎用の大型モデルを構築できるからといって、汎用の大型モデルをうまく構築できるとは限らず、大型モデルから産業用モデル、特定のシナリオまで用途を広げることができることが重要です。真の価値のために有意義な賢明な意思決定を作成できるという意味ではありません。AI の大規模モデルの産業化のボトルネックは、正面から取り組む必要があります。
まず、国内の大規模モデルにはデータ トレーニング シナリオがありません。ChatGPT のようなトレーニング シナリオが特に不足しています。
ChatGPT が短期間で急速な進歩を遂げた理由は、多くのユーザーが無料のデータ ラベラーとして活動してきたからです。
ただし、現在の状況から判断すると、ChatGPT に匹敵するデータ トレーニング シナリオは中国ではほとんど見られません。
第二に、業界は大規模なモデルに対して強い様子見の姿勢をとっています。
現時点では大規模モデルの適用が未熟であり、いきなり導入すると本来のビジネスに影響を与えるのではないかと業界全体で懸念されています。
電子商取引のアフターセールスと銀行電話のカスタマー サービスのシナリオを例にとると、主流のスマート カスタマー サービス企業によって開始された QA Q&A データベース テクノロジは、業界でまだ使用されています。
顧客企業は、大規模なモデル製品が、QA データベースでは解決できないロングテールの問題を解決し、検索ベースの Q&A パスではカバーできない領域をカバーすることを望んでいます.しかし、金融業界のコーパスなどのデータは、外の世界に開かれていないため、大規模なモデル企業はゼロから始める必要があります。
これにより、大型モデルが特定の業界に参入する予定が遅れています。
要約すると、一般的なインテリジェント企業は、注文を発送するために高い顧客単価と豊富なデータトレーニングシナリオを必要としますが、この問題は企業の実際的な考慮事項と予算投資と矛盾しています。
トレーニング用のデータがないことと、製品をサポートするための多額の資金がないことは、現実には 2 つの大きな問題です。
巨人のためのゲーム
今日、大規模なモデルトラックは、巨人、帰国者、スタートアップ企業の変革、および学者からの参加者でいっぱいです。
大型模型トラックの首位争いが始まったが、誰が優勝するかはまだ分からない。
現在、Google、Microsoft、Amazon、Baidu、Ali、Tencent などのテクノロジーの巨人は、大規模なモデルの開発に大きな利点があり、そのすべてが関連する強力な技術リソースと機能を備えており、一般的にレイアウトと投資を行っています。 -目的の大型モデル。
全体として、ビッグモデルの流域は主に、技術の研究開発、データとアルゴリズムのリソース、商品化能力、人材の確保、管理能力の 4 つの側面に集中しています。
まず、技術の研究開発力です。現在の観点からすると、巨人はより強力な技術研究開発能力とより豊富なリソースを持ち、より多くの人的資源、物的資源、および財政的資源を投資して大型モデルの研究開発を行うことができます。
データ、アルゴリズム、ハードウェアなどの技術サポートが充実しており、大規模モデルの研究と応用をより迅速に進めることができます。
巨大企業と新興企業を比較すると、技術的なギャップは、人工知能分野のリーダーと後発企業にある程度依存しています。
Google、Facebook、Microsoft などの巨大企業は、人工知能の分野で大量のデータ、コンピューティング リソース、および技術的経験を持っているため、大規模なモデルをトレーニングおよび最適化し、人工知能技術の開発を促進する能力をより多く備えています。 .
第二に、データとアルゴリズムのリソースに関して、巨人はより豊富で完全なデータとアルゴリズムのリソースを持っているため、大規模なモデルのトレーニングと推論をより適切にサポートできます。
独自のプラットフォームとビジネス上の利点を利用して大量のデータを蓄積し、これに基づいてアルゴリズムを開発および最適化できます。しかし、スタートアップ企業は通常、そのようなデータやアルゴリズムのリソースを手に入れることができず、データの蓄積とアルゴリズムの最適化を自らの手で行う必要があり、より多くの時間とエネルギーを必要とします。
2020年にOpenAIが公開したGPT-3を見ると、1750億個のパラメータを持つ大規模なモデルとなっています。
コンピューティング能力に関しては、人工知能モデルのトレーニングと使用には強力なコンピューティング能力が必要であり、これをサポートするには多数の高性能 GPU が必要です。
データに関しては、ChatGPT のトレーニングでは約 45 TB のデータが使用され、これには 1 兆語近くのテキスト コンテンツが含まれていることがわかります。
ただし、大規模なモデルには大量のコンピューティング リソースとストレージ リソースが必要なため、スタートアップの場合、財政的および技術的な制約が制限要因になる可能性があります。
さらに、商業化能力に関しては、巨大企業はより強力な商業化能力とより完全な商業化チャネルを持ち、商業的価値を実現するために大規模なモデルを商業分野にうまく適用することができます。
独自のブランドとユーザー ベースを使用して、大規模なモデルを検索、レコメンデーション、広告などの分野に適用し、商用化を実現できます。ほとんどの新興企業は、このような商業化の能力とチャネルを欠いているため、商業化の道を模索し、ビジネス協力を拡大するために、より多くの時間とエネルギーを費やす必要があります。
最後に、人材の確保と管理能力に関しては、巨人はより強力な人材の確保と優れた管理能力を備えており、ハイエンドの人材をより適切に引き付けて管理し、より競争力のあるチームを構築することができます。
彼らは、独自のブランドと評判を通じてより多くのハイエンドの才能を引き付けることができ、独自の管理経験とシステム構築を通じてチームのコラボレーション効率とイノベーション能力を向上させることができます。新興企業は通常、ハイエンドのチームを構築し、管理能力を向上させるために、より多くの努力をする必要があります。
ただし、テクノロジーが成熟し続けるにつれて、ますます多くの新興企業がクラウド コンピューティング、分散コンピューティング、およびその他のテクノロジーを使用して大規模モデルのトレーニングと最適化を加速し始め、巨大企業の技術的独占に挑戦し続けています。
スタートアップは人工知能の分野でも多くの機会を持っていますが、技術的な障壁や市場の独占を打破するには、より多くのイノベーションと勇気が必要です。
要するに、人工知能の分野における重要な技術として、大規模モデルは人気のある起業家の分野になりました。
巨大企業はより多くのリソースと技術的経験を持っていますが、スタートアップ企業はこの「お金を燃やす」分野の傾向に盲目的に従うべきではなく、革新と勇気を通じて技術の独占に挑戦し続け、適切なビジネス開発の道を見つけることができます彼ら。
【科学技術クラウドレポートについて】
オリジナルのエンタープライズ レベルのコンテンツ エキスパート - テクノロジー クラウド レポートに焦点を当てます。2015 年に設立され、最先端のエンタープライズ IT 分野のトップ 10 メディアです。Global Cloud Computing Conference によって指定された公式メディアの 1 つである Trusted Cloud は、産業情報技術省によって認められています。クラウド コンピューティング、ビッグ データ、人工知能、ブロックチェーンなどの分野に関する詳細なオリジナル レポート。