ビッグデータ産業イノベーションサービスメディア
——データに注力・ビジネスを変える
ここ数カ月間、国内の大型モデルの分野における非常に明白な発展傾向は、業界の全員が大型モデルを構築するために結集していることです。さまざまな垂直分野の企業が複数の大規模な業界モデルをリリースしているだけでなく、Baidu、Alibaba、Huawei、Tencent、JD.com などの大手大手企業も、業界の大規模モデルを重要な焦点とみなしています。
具体的には、これらのメーカーは、戦略における大型モデルの割合に基づいて 2 つのカテゴリに分類できます。
Baidu、Alibaba、Tencent、iFlytek は、一般的な大型モデルと業界の大型モデルに同等の注意を払っています。
一方で、彼らは一般的な大型モデルにより注目し、一般的な大型モデルを C エンド ユーザーに公開します。Baidu Wenxinyiyan と iFlytek の iFlytek Spark は、一般的な大型モデルのアプリケーションを促進するモバイル アプリも作成しました。
その一方で、彼らは大規模な業界モデルにも細心の注意を払っています。通常、業界ソリューションの形で外部に輸出されます。9月19日にも、百度は病院、患者、医療機器企業に直接サービスを提供する医療業界の大きなモデルであるスピリチュアル・メディスン・モデルを直接立ち上げた。
もう 1 つのカテゴリは、Huawei と JD.com に代表されます。これらは、当初から大規模産業モデルに焦点を当てており、産業アプリケーションを直接指向しています。
ファーウェイのPanguモデルの当初からのスローガンは「詩を書くな、ただ物事を行うだけだ。」であり、Cエンドアプリケーションには熱心ではなく、戦略のほとんどすべてが業界に向けられていた。
JD.com の延西大型モデルも同様で、JD Cloud の「業界をよりよく理解するクラウド」というコンセプトに従って、JD.com は大型モデルの分野での業界アプリケーションにも注力しています。さらに、JD Healthは業界参入の先駆者としてJingyi Qianxunの大型モデルもリリースしました。
「両方の面に平等に注意を払っている」Baidu、Alibaba、Tencent、iFlytek であっても、ほぼ「1 つの面で戦っている」Huawei や JD.com であっても、いずれも業界の大きなモデルを重視していることがわかります。軍事戦略家たちの戦場として。
著者はこれには問題があると考えています。こうした大手テクノロジー企業は、一般的な大型モデルに注力すべきであり、産業用アプリケーションはさまざまな業界分野のパートナーに任せ、大型モデルの「インフラ」の構築のみを行い、上位層のアプリケーションには手を出すべきではない。
なぜそう言えるのでしょうか? 次に、メリットとデメリットを詳しく分析してみましょう。
巨人は大型モデル全般の研究開発に注力すべき
一般的な大型模型は大型模型業界全体の基礎のようなもので、基礎がしっかりしているかどうかで建物をどれだけ高く建てられるかが決まります。では、現在の基盤はしっかりしているのでしょうか？
残念ながら、大規模なモデルは最初は知性の「出現」を達成し、自然言語理解、コンテンツ生成、論理的推論において大きな進歩を遂げましたが、十分ではありません。特に、さまざまな業界で大規模なモデルを商業的に実装したい場合、現在のモデルの機能では十分ではありません。
ここで言う能力は十分強力ではなく、特定の大型モデルを具体的に指すものではありません。
GPT-4 であっても、商用分野での実装を目指す場合、機能的には依然として重大な欠点があります。いくつかの例を見てみましょう。
検索エンジンは大規模モデルの重要なアプリケーション シナリオであり、Microsoft の Bing は、ChatGPT へのアクセスにより、元のキーワード検索方法を変更することで大きな方向転換を果たしました。では、ChatGPT 支援を使用した Bing の実際のパフォーマンスはどのようなものでしょうか?
私たちはそれを試してみましたが、正直に言うと非常に残念でした。
以下は例です。今日 (9 月 26 日) の大型モデルに関するニュースを Bing で検索させます。表示される 4 つのニュース項目は次のとおりです。クリックすると、項目 1 と 3 の内容は実際にニュース記事から取得されます。これらは最初のものです。ニュースは 2 月 21 日にリリースされ、2 番目と 4 番目の記事も 7 月 27 日にリリースされた同じニュース記事からのものです。
つまり、与えられたニュースが間違っているということです。今日のニュースを探しているのに、結果は数か月前の内容です。さらに、大型モデルの分野で重要なイベントを探しています。回答された 4 件のうち、レポートが 2 件、ニュース分析記事、フォーラム活動が含まれています。厳密に言えば、レポートや分析記事は重要なニュースではないため、その観点からすると、Bing が提供する結果は要件を完全に満たしていません。
そこで著者はさらに質問し、与えられたニュースの内容を表を使って整理するように依頼しました。その結果、彼が示した表では、ニュースの時間が9月26日に変更されましたが、具体的な時間に関して言えば、これは明らかにナンセンスです。
筆者もかつてBingなどの新しい検索エンジンに期待し、何度も試してみた。しかし、全体的な感触は、基本的には使用できないです。これは検索フィールドにおける ChatGPT の実際のパフォーマンスであり、ある程度、大規模モデルが達成できる最高レベルを表します。
Baidu も同様の機能を開始しており、通常の Web 検索に加えて、会話を通じてクエリを実行することもできます。
Bing と比較すると、Baidu はニュース イベントをよりよく理解しています。Bing はいくつかのレポートを提供しますが、Baidu は大規模なモデル リリースに基づいた結果を提供します。これらのイベントのニュース価値は明らかに高いです。
しかし、Baidu が提供するこれらの結果は信頼できるのでしょうか? 同様に、表形式で編集し、ニュース時間とリンクを提供することを許可します。時刻がすべて 5 月 11 日になっていることがわかりますが、これは明らかに問題があります。私たちが知りたいのは 5 月 11 日ではなく、9 月 26 日のニュースです。
また、表中に記載されているニュースリンクにも問題があり、該当するWebページを開くとそのまま「404」が返されてしまいます。もちろん、Microsoft の Bing にもこの問題はあり、提供されるニュース リンクは開けないか、存在しません。
ChatGPT の話に戻りますが、その重要な制限の 1 つは、インターネットに接続できないこと、およびそのデータをリアルタイムで更新できないことです。GPT-3 のトレーニング データ セットは 2021 年 9 月時点のものであり、GPT のトレーニング データ セットは-4は2022年1月時点のものです。
さらに、ChatGPT は複雑なデータの計算と処理においてミスをすることがよくあります。主張されているテキストのアップロードおよび理解機能も理想的ではありません。
GPT-4 の文書理解機能を試してみましょう。Loongson Zhongke の 2023 年半期レポートをアップロードし、簡単な SWOT 分析を実行させてみました。ドキュメントをアップロードした後、ChatGPT はドキュメントを解析するためのコードの作成を開始します。これは非常に強力であるようです。
結果はどうなりましたか?
結局、ChatGPT は PDF ドキュメントの解析に失敗し、何度か試みましたが解析できませんでした。
想像してみてください。これらの大規模モデルに依存して、複雑な業界シナリオでこれらを実装したい場合、その効果は決して理想的ではありません。これらはすでに市場で最高の一般的な大規模モデルです。
確かに、大型モデルには「知性の出現」があり、その性能は質的に向上しているが、現時点では「小さな蓮が鋭さを見せているだけ」の初期段階にある。大型モデルの発見は有望な方向性であるため、今行うべき最も重要なことは、時期尚早に家族を養わせるのではなく、この潜在的な「子供」を加速して育成することです。
歴史的な経験から判断すると、人工知能のブームの後には長い沈黙が続きますが、その主な理由は、初期段階で人々の期待が高まりすぎたためであり、その期待が満たされないとわかると失望するからです。
同様に、今、さまざまな業界で大型モデルの導入を急いでいると、すぐに問題が発生し、人々は大きな期待からすぐに狂った不満に変わり、そのような浮き沈みは業界の健全な発展につながりません。 。
したがって、アリババ、ファーウェイ、バイドゥ、テンセントなどのテクノロジー巨人の中核的な任務は、ジェネラルモデルの「子供」を育成することです。本当に機能が向上している限り、大規模な実装は実際には非常に早く行われるため、今まで急いで待つ必要はありません。
大規模モデルの分野にはよく知られた知性出現曲線があります。つまり、モデルのパフォーマンスはパラメーター スケールと線形に関係しません。200 億のパラメーターを持つモデルは、100 億のパラメーターを持つモデルの 2 倍の性能はありません。パラメーター。
この知能出現曲線にはしきい値があり、現在、このしきい値は約 1,000 億パラメータです。このしきい値より前では、パラメーター スケールが増加しても、モデルによって表示されるインテリジェンス レベルはあまり変化しません。200 億個のパラメーターを持つモデルは、20 億個のパラメーターを持つモデルとほぼ同じパフォーマンスを示します。ただし、パラメーター スケールが 1,000 億のしきい値を超えると、モデルのパフォーマンスが指数関数的に向上しました。
モデルのサイズがすべてを表すことはできませんが、過去 10 年間の人工知能開発の経験から判断すると、多くの場合「量的暴力」が重要な方向性であり、モデルが大きくなり、ニューラル ネットワークが深くなり、より多くのデータがパフォーマンスの向上をもたらします。
現在の知能出現曲線から判断すると、パラメータ数千億の規模を過ぎると知能のボトルネック期に入る パラメータが5000億個のモデルとパラメータが1000億個のモデルでは「知能」に大きな差はないのかもしれない。ただし、次の「緊急閾値」を追求する場合、現時点での最良の方法はパラメータ サイズを拡大し続けることです。おそらく、パラメータのスケールが数十兆に拡大した後、次の創発閾値が到来し、大規模モデルの機能は新たなレベルに達するでしょう。
大規模モデルのインテリジェントな出現予測データ類人猿マッピング
もちろん、機種規模が拡大すればコストも大幅に上昇するので、これは巨人の勝負にしかならないだろう。さらに、モデルのサイズを単純に拡大すると、オーバーフィッティングの問題が発生します。したがって、モデル規模の拡大と合わせてモデルアーキテクチャの最適化や調整も必要となり、ここでこそ技術力が問われます。
一歩下がって説明すると、今日の大規模モデルはすべて Transformer アーキテクチャに基づいており、このアーキテクチャは 5 年前に数人の Google 研究者によって論文で提案されました。では、Transformer アーキテクチャは本当に最良なのでしょうか? もっと優れたモデル アーキテクチャはあるのでしょうか? これらの質問には、ファーウェイ、バイドゥ、アリババ、テンセントなどのテクノロジー巨人が答える必要があります。
大規模なモデルでは、パラメーター スケールとモデル アーキテクチャに加えて、「錯覚」問題、解釈可能性の問題、およびマルチモーダル問題も解決する必要があります。これらの問題はまだ十分に解決されておらず、業界全体が直面している共通の問題です。これらの問題を解決する鍵は、業界の大型モデルではなく、一般の大型モデルにおける根本的な技術的ブレークスルーにあります。
もちろん、これらの重要な問題を真に解決できる人には、市場から相応の報酬が与えられるでしょう。
審判と選手を同時にしないでください
テクノロジー大手が業界の大型モデルに触れないよう推奨する理由は、一般的な大型モデルの未解決の問題に加えて、もう一つの非常に重要な理由が、パートナーとの利益相反を避けるためである。
テクノロジーの巨人にとって、彼らは環境保護ゲームをプレイし、インフラストラクチャの利点を共有します。
大型モデルの分野では、一般大型モデル→業界大型モデル→業界顧客という価値伝達ルートが必要です。業界大型モデルの段階では、ファーウェイ、百度、アリババなどの一般大型モデルメーカーが自社で業界大型モデルを開発するか、サードパーティのパートナーに自社の一般大型モデルに基づいた研究開発を行わせることができます。
大規模モデル産業アプリケーション価値伝達メカニズムデータエイプマッピング
一般的な大規模モデルは技術力をテストしますが、業界大規模モデルの技術的敷居はそれほど高くなく、その核となる要素はデータと業界経験であり、この 2 点がテクノロジー大手の欠点です。金融、医療、製造、小売など、さまざまな業界から質の高いデータセットを収集し、さまざまな業界のビジネスシナリオを理解するには、決して一企業でできることではありません。エコシステムを構築し、エコシステム全体からの数千のデータを使用するのはパートナーです。
もちろん、Baidu、Huawei、Tencent などの一般的な大型モデル メーカーが両方の価値伝達ルートを占有することもできます。例えば、医療分野では、百度は独自の大規模精神医学モデルを活用して病院、患者、医療機器企業に直接サービスを提供できるだけでなく、垂直型の医療大規模モデルパートナーシステムの構築を推進することもできる。
しかし、この状況ではビジネスにおいてタブーである「国民と利益を競う」という問題に直面することになる。
ある大規模医療モデル企業 A が、B 社の一般的な大規模モデルを基盤として、その中核となる医療データを B 社に公開し、大規模医療モデルを学習させたとします。数か月後、A 社は、B 社も大型の医療モデルを発売しており、その機能が自社のものと似ていることを発見しました。ある業界の顧客が注文したところ、B 社も入札していることがわかり、彼のパートナーは突然競合他社になりました。この場合、A 社は引き続き B 社と協力する意思がありますか?
エコシステムでは、エコシステムの所有者に対するパートナーの信頼は金と同じくらい貴重です。上位レベルのアプリケーション パートナーが、エコ オーナーが自分と利益相反を起こしたり、ビジネスを盗んだりすることはないと固く信じている場合にのみ、エコ オーナーが構築したプラットフォームに自信を持ってビジネスを置くことができるでしょう。
これは、クラウド コンピューティング分野における IaaS ベンダーと SaaS ベンダーの関係に似ています。中国の多くの SaaS 企業が Alibaba Cloud、Tencent Cloud、Baidu Cloud、Huawei Cloud などのクラウド ベンダーに不安を抱いている最も重要な理由は、利益相反を恐れているためです。現時点では、IaaS クラウド ベンダーのビジネス境界は十分に明確ではなく、IaaS および PaaS 製品を提供するだけでなく、SaaS パートナーにとって最もタブーとされている多くの SaaS 分野にも参入しています。
中国のインターネットの初期段階で、投資家は新興企業に対して有名な自問自答の質問をしました。それは、テンセントが同じ製品を作ったらどうしますか?というものでした。
同様に、一般の大型模型メーカーがアプリケーションエコシステムを構築したいのであれば、医療、金融、官公庁、製造業などの業界の大型模型メーカーからも、「私のようなものを作ってくれないか」という声が上がるでしょう。今後、どうしたらいいでしょうか？
では、どのような大規模モデルのエコシステムがより合理的でしょうか? クラウド コンピューティングのエコシステムから学ぶことができますが、一般的な大規模モデルは IaaS に相当し、業界の大規模モデルは SaaS に相当します。
Baidu、Huawei、Alibaba、Tencent、JD.com、ByteDance、iFlytek などの主要な汎用モデル メーカーは、一般的な大型モデル (IaaS+PaaS) に重点を置き、業界の大型モデル (SaaS) には触れないよう努めています。
業界の大型モデルを製造しない場合でも、基礎となる一般的な大型モデルのメーカーは依然として大型モデルの業界アプリケーションの配当を共有できることを指摘しておく必要があります。SaaS アプリケーションが IaaS リソースを消費し、IaaS に料金を支払うのと同様に、上位層のインダストリ モデルは下位層の一般的なモデルの機能を呼び出し、呼び出し数と使用量に基づいて合理的なビジネス モデルを構築できます。
たとえば、Baidu は大規模な医療モデルを作成していませんが、Wen Xinyiyan に基づく大規模な医療モデル パートナーを 10 社抱えており、各パートナーは 1,000 の病院にサービスを提供しています。各病院が年間 100 万元を支払い、百度がこの 100 万元の 20% を分担するとします。そうすれば、各大規模医療モデル企業は年間 10 億元を稼ぐことができ、百度の収益は 10 億 * 20% * 10 = 20 億元となります。このようにして、Baidu は 10,000 の病院にサービスを提供するのではなく、10 のパートナーにサービスを提供するだけで済みます。
同様に、繁栄した業界の大型モデルのエコシステムを構築できれば、大型モデルの産業応用により、基礎となる一般的な大型モデルのメーカーにも数百億の収益がもたらされる可能性があります。
Baidu、Huawei、Tencent、Alibaba などの一般的な大型モデル メーカーの場合、業界大型モデル アプリケーションの配当を逃す心配はありません。クラウドコンピューティングの分野と同様に、どのSaaSベンダーの収益がIaaSを提供するAlibaba Cloud、Tencent Cloud、Huawei Cloudの収益に匹敵するでしょうか?
一般的な大型モデルの基礎を築くことに集中している限り、家を建てるためにレンガを苦労して移動する必要がなく、「土地」を売ることができます。不動産分野に戻って考えてみましょう。万科や恒大などの不動産開発会社が最も収益性が高いのでしょうか? 明らかに土地を売ったほうが収益性が高く、簡単です。
垂直産業の大規模モデル メーカーにとって、最も理想的な状態は、SaaS クロスクラウド展開戦略から学び、業界の大規模モデルの汎用モデル展開を実現し、ある汎用モデル プラットフォームから別の汎用モデル プラットフォームへのビジネスのスムーズな移行を実現することです。これにより、単一のプラットフォームに束縛されることがなくなります。もちろん、業界の大規模モデルは現在非常に初期段階にあり、一般的なモデルの展開について話すのはまだ時期尚早です。
大規模なインダストリ モデルのクロスモデル展開モードのデータ エイプ マッピング
要約すると、Baidu、Huawei、Alibaba、Tencent などの大手テクノロジー企業は、業界の大規模モデルのアプリケーションではなく、一般的な大規模モデルの研究開発に重点を置くことが推奨されます。
一方で、汎用的な大規模モデルはまだ十分ではなく、モデルの知能レベルの不足、幻覚の問題、解釈性の低さ、マルチモーダル融合能力の低さ、モデルの学習と推論のコストの高さなどの問題が依然として顕著です。テクノロジーの巨人はこれらの問題を解決する必要があります。レベルが低く、より難しいパズルです。これらの問題が解決されて初めて、大規模モデル産業への応用の基盤が強固になります。
大規模モデル産業のアプリケーションレベルでは、上位レベルの垂直分野企業に完全に任せることができます。各分野で数百、数千の大規模インダストリーモデル企業が競合することが予想され、最終的には数十社が生き残り、適者が生き残り、これらの生き残った企業が適格なパートナーとなります。基盤となる一般的な大型モデルのメーカーは、パートナーとエコシステムを構築し、業界の顧客に共同でサービスを提供する必要があります。
文：Yicai Yanyu / Data Yuan
