この記事は、「第 3 世代の汎用コンピューティングとは何ですか?」から転載および編集したものです。》
https://aijishu.com/a/1060000000443123
記事ディレクトリ
編集者注記
汎用と特殊用途は 2 つの同等の選択肢であるという誤解を誰もが常に抱いてきました。例えば、牧本の波とはムーアの法則と同様のエレクトロニクス業界の発展法則で、集積回路は約10年周期で「汎用」と「専用」の間で定期的に変化すると考えられています。
私たちの観点は、汎用は特殊な目的よりも高度な能力であるということです。集積回路など様々なものの発展の正常な状態は普遍的であり、「一般から特殊へ」というのは、普遍的な状態に到達した後の新たな探索であり、一時的な状態であり、やがて普遍的な状態に戻る。特殊目的は何かの表面的、一時的、部分的な機能であり、汎用は何かの本質的、長期的、包括的な機能です。
大型チップの場合、普遍性が成功への唯一の方法です。CPU は汎用チップであり、Intel の成功に貢献し、GPU は汎用チップであり、NVIDIA の成功に貢献しています。現時点では、専用チップで大きな成功を収めた例はありません。長い目で見れば、特化は一時的であり、専用チップも一時的であり、最終的には死しかありません。
今日の記事では、汎用および汎用コンピューティングのトピックについて説明します。
1. 汎用は専用に比べてよりレベルの高い能力です。
1.牧本ゆらぎ
1987年、日立製作所の元主任技師、牧本次男氏は、集積回路の開発において、チップ製品はおよそ10年に一度、常に「標準化」と「カスタマイズ」を繰り返すと提案した。
Makimoto's Wave (牧本の法則とも呼ばれます) の背後には、パフォーマンス、消費電力、開発効率のバランスがあります。
同じ理解のため、チップ業界の多くの人々は、「汎用」と「特殊用途」は同等であり、同じバランスの表裏であると信じています。
設計および開発された製品がより汎用的なものであるか、より特化されたものであるかは、顧客シナリオのニーズに基づいた製品の実装におけるトレードオフです。
2. 特別な目的は一時的であり、一般的な目的は永遠です。
牧本の変動パターンを深く分析すると、ゼネラルモーターズ時代の製品は徐々に落ち着き、現在も発展・成長を続けていることが分かります。
専門化された時代の製品は、長い歴史の中で姿を消したか、ますます多用途になりつつあります。
GPU を例に挙げると、オリジナルの GPU (グラフィックス プロセッシング ユニット) は、実際には専用のグラフィックス アクセラレーション チップです。
1990 年代には、専用の GPU アクセラレーション チップやその他のさまざまな特殊なタイプのアクセラレーション チップを製造する企業が多すぎました。
その後、NVIDIA は GPU 内に多数の並列計算部分があることを発見し、GPU を多数の高性能小型 CPU コア (CUDA コア) で構成される汎用 GPU (GPGPU) に変換し、最終的に成功しました。
依然として専用の高速化チップの製造に固執する他の企業は姿を消しました。
したがって、牧本のゆらぎは現象法則にすぎず、本質法則ではない。
現象を通して本質を見てみると、集積回路をはじめとするさまざまなものの発展の正常な状態は普遍的なものであることがわかりますが、「一般から特殊へ」とは、普遍的な状態に到達した後もさらに前進し続ける新たな探求にすぎません。新しい普遍的な段階、新しい普遍的な状態に戻ります。
特殊目的は何かの表面的、一時的、部分的な機能であり、汎用は何かの本質的、長期的、包括的な機能です。
一言で言えば、汎用は特殊目的よりも高度な能力です。
3.一般的なケース：スマートフォン
ほとんどの人がスマートフォンを持っていますが、若い友人はそれほど多くの「古代」電子機器を見たことがないかもしれません。
ナビゲーションにはナビゲーター、単語の検索や学習には電子辞書、音楽の再生にはMP3など、それぞれのデバイスに特有の機能があります。
その後、スマートフォンの登場により、これらの専用電子機器は長い歴史の中に消えていきました。
スマートフォンは、ユニバーサルハードウェアに基づいたさまざまなソフトウェアアプリケーションを通じてさまざまな豊富な機能を実装するユニバーサルパーソナルモバイルスマート端末です。
4 一般的なケース: AGI 大型モデル
AGI汎用人工知能とは、人間と同等、あるいはそれを超える知能を指し、通常の人間が持つあらゆる知的行動を発揮することができます。
中小規模のモデルに基づく従来の人工知能は、比較的特殊なビジネス側面に焦点を当てた専用 AI です。
例えば、顔認識に特化したAI、特定の行動の検出に特化したAIなどです。「何千ものシーンと何千ものモデルがあります。」従来のAIは完全に断片的な状況であり、シナリオ間のデータやモデルなどの情報の移行や統合ができません。従来のAIは弱い人工知能です。
現在普及している GPT は、モデルパラメータの開発における量的変化から質的変化へのプロセスであり、専用の一時的な状態から一般的な正常な状態へのプロセスでもあります。現在、GPT4 には特定の AGI 機能が備わっており、GPT の成功により、AGI は世界的な競争の焦点となっています。
GPT の拠点である OpenAI の CEO、アルトマン氏は、AGI は 2030 年までに登場すると述べています。
GPT などの汎用機能を備えた AI モデルの出現により、これまでの多くの専用 AI モデルは急速に縮小しており、将来的には消滅することは避けられません。
2. 汎用は大型チップが成功する唯一の方法です。
1. ますます複雑なシステムは普遍的である必要がある
ビジネス シナリオがますます複雑になるにつれて、シナリオはますます速く変化します。同じ分野、同じシナリオであっても、顧客ごとに事業の違いは大きく、また、大規模顧客の中でもチームごとに事業の違いはあります。さらに、ビジネスは依然として急速に反復されています。
チップとしては、あらゆるシナリオに合わせて専用チップをカスタマイズして開発することは不可能である一方で、専用チップではカバーできるシナリオが少なすぎる上に、専用チップのライフサイクルが短いという問題があります。ユニバーサルチップが唯一の解決策です。
さらに、ますます複雑になるシーンとシーンの差別化により、チップのユニバーサルデザインに対する要求も高まっています。チップのユニバーサルデザインはますます困難になっており、より革新的なアイデアとより多くの投資が必要となります。
2. 大型チップの高いしきい値は普遍的である必要がある
大型チップシステムはますます大型化し、設計規模はますます大きくなり、研究開発コストは天文学的なものとなり、敷居はますます高くなっています。
チップが大規模に実装される場合にのみ、研究開発コストを効果的に希釈できます。
実装規模が大きいほど、より多くのシナリオと領域をカバーする必要があり、汎用性が高くなります。
3. クラウドエッジデバイスの統合は普遍的である必要がある
クラウド エッジ デバイスの統合には、断片化ではなくアーキテクチャ エコロジーの統合が必要です。
- 当初、デバイスが孤立していたため、デバイス間の制約は少なく、デバイスはどのようなアーキテクチャ、どのような開発および運用環境であってもよく、相互に影響を与えることも少なくありました。
- インターネットとモノのインターネットの発展により、あらゆるものが接続され、デバイス間の通信が始まります。現時点では、確立された仕様に従って双方が通信する必要があります。
- さらに進むと、より多くのデバイスが相互に接続され、計算は単一マシンの制約から逃れられるようになり、分散コンピューティングの人気が高まっています。
分散コンピューティングでは、作業の分割と異なるデバイス間のコラボレーションを考慮する必要があります。仕事の分割と共同作業により、クラウド エッジが存在します。 - 開発が進むにつれて、相乗効果について考えるだけでは問題が生じる可能性もあります。どの作業を端末で行うか、どの作業をクラウドで行うか、どの作業をエッジで行うかはすべて事前に計画されており、現時点でのコラボレーションは静的です。
しかし、共同作業が複雑化するにつれ、初期段階で正確かつ丁寧にタスクを分割することは実際には難しく、実行フェーズでクラウドとエッジの作業分担や連携を動的に調整する必要があることが分かりました。こうしてフュージョンが誕生した。
統合段階では、クラウドとエッジのアーキテクチャと環境が一貫しており、連携段階の数万台のデバイスからなる単一システムが、数万台のデバイスから構成されるマクロ単一スーパーシステムにある程度アップグレードされます。統合段階のデバイス、システム。この段階では、ソフトウェアを動的かつ自由にスケジュールし、さまざまなプラットフォームで実行できます。
クラウド エッジ デバイスの統合を実現するには、高い拡張性、一貫したアーキテクチャとエコロジーを備えたユニバーサル コンピューティング チップが必須です。
3. 汎用コンピューティングと高性能コンピューティングは存在しますか?
パフォーマンスと一般的な柔軟性は相反するものであり、両方を兼ね備えることはできません。
私たちの答え: ケーキを食べて食べる方法もあります。
以下は、この質問に対する私たちの答えです。
1. システムには「28/20 ルール」がある
80/20 ルールは非常に興味深い存在です。
- RISC と CISC の間の紛争は 80/20 ルールが原因です。80% の時間で実行される一般的な命令は命令数の 20% のみを占め、残りの 80% の命令はほとんど使用されないことがわかりました。
- ストレージの階層化とキャッシュの存在も、80/20 ルールによるものです。80/20 ルールで説明されるプログラムの局所性の原則は、一定期間内 (ほとんどの場合、80% の時間) に、エリアの 20% のみがアクセスされることを意味します。
- クラウド コンピューティングも 80/20 ルールの典型的なケースです。自社構築のデータセンターからクラウドコンピューティングの IaaS、PaaS、SaaS に至るまで、実際にはコンピューティング システム全体が徐々にサプライヤーに引き継がれるプロセスです。
システムは 80/20 ルールに準拠しています。システム内の作業の 80% は比較的確実で一般的なものですが、作業の 20% は比較的変更可能で個別のものです。
サプライヤーは作業の 80% 以上を引き受けることができますが、残りの 20% はユーザー自身が適切に処理できます。
さらに、28/20 ルールでは依然として入れ子状態が存在します。これに基づいて、システムを次の 3 つのレベルに分けることができます。
- システムからは、共通作業の 80% が分離され、この部分はシステムのインフラストラクチャ層に分割されます。
- システム内のパーソナライズされた作業の残り 20% はさらに細分化できます。つまり、作業の 16% (20% * 80%) は比較的一般的な作業であり、残りの 4% (20% * 20%) は作業です。非常にパーソナライズされています:
- 比較的一般的なタスクの 16% は、システムの弾性加速層に属します。
- 非常にパーソナライズされた作業の 4% は、システムのアプリケーション層に属します。
2. 多用途かつ効率的なチームの分業とコラボレーション
DSA はスペシャリストで専門的なことを非常に効率的に実行できますが、専門的すぎることが欠点であり、CPU はジェネラリストで何でもできますが、何もできるほど効率的ではありません。GPU の能力はその中間です。
個々の兵士として、DSA、GPU、GPU にはそれぞれ長所と短所があります。
ただし、チームとしてそれぞれの強みを最大限に発揮することで、それぞれの能力を効率的に統合することができます。
- 80% の共通インフラストラクチャ層では、作業タスクが比較的確実であるため、比較的確実で効率的な DSA プロセッサを使用できます。
- 16% 比較的一般的な弾性アクセラレーション レイヤー。作業タスクはある程度柔軟ですが、構造化されていないわけではないため、比較的柔軟な GPU プロセッサを使用することがより適切です。
- 4% 非常にパーソナライズされたアプリケーション層。最も多用途かつ柔軟な CPU プロセッサを使用しています。
あるいは、別の方法で分析してみましょう。各タイプの DSA が最初にシステム内のすべての作業を取得し、次に DSA が残りの作業を取得し、次に GPU が取得します。DSA と GPU の両方が残りの作業を取得し、最後に CPU が取得します。それを完成させます。
このようにして、汎用性を実現できます。CPU+GPU+DSA の異種融合システムは、すべてのシステムの作業を処理できます。
たぶん、友達が私に挑戦するでしょう。DSA はたくさんあるでしょう。特定のパフォーマンス重視のタスクを処理するのに適した DSA がない場合、それは GPU または CPU によってのみ実行されるのではないでしょうか?これが究極のパフォーマンスではないでしょうか?効率的です?
独立した計算から見ると、この問題が存在します。
しかし、クラウド エッジ デバイスの統合コンピューティングというマクロな観点から見ると、この問題はまったく問題ではありません。
マクロ スケジューリングを使用すると、1 つまたはいくつかの DSA に最適な最も効率的なコンピューティング プラットフォームを見つけ、この小規模システムに究極のパフォーマンスとユニバーサル オペレーティング環境を実現できます。
4. 第 3 世代の汎用コンピューティング
1. 異種コラボレーションの視点に基づくコンピューティングアーキテクチャ部門
複数の異種プロセッサの連携という観点に基づいて、コンピューティング アーキテクチャは 6 つの段階に分けることができます。
- 第 1 世代の CPU シングルコア シリアル ステージ。
- 第 2 世代、CPU 同型マルチコア並列ステージ。
- 第 3 世代、CPU+GPU の一般的なヘテロジニアス並列ステージ。
- 第 4 世代の CPU+DSA 専用ヘテロジニアス並列ステージ。
- 第 5 世代は、CPU+GPU+DSA のマルチヘテロジニアスまたはハイパーヘテロジニアス ステージです。
- 第 6 世代、CPU+GPU+DSA のヘテロジニアス フュージョン ステージ。
新しいステージの始まりは、前のステージの完全な消滅を意味するものではなく、そのシーンはますます少なくなり、徐々に枯れていくことに注意してください。
2023 年 9 月に工業情報化部の第五電子研究院が発表した「ヘテロジニアス コンバージド コンピューティング技術白書」には、「ヘテロジニアス コンバージド コンピューティング」技術の開発背景、技術詳細、今後の発展の見通しが詳しく記載されています。ダウンロードして読むことができます。
2. 「ユニバーサル」制約を追加してユニバーサル コンピューティング アーキテクチャを形成する
汎用は大型チップが成功する唯一の方法です。次に、コンピューティング アーキテクチャに「普遍的な」制約を追加して、コンピューティング アーキテクチャの 6 つの開発段階を 3 つの段階に減らす必要があります。
- 第 1 世代のジェネラル コンピューティング、CPU 同型ジェネラル コンピューティング。
「28/20 ルール」によれば、この期間中はすべて (100%) の作業が CPU によって実行されます。 - 第 2 世代のジェネラル コンピューティング、CPU+GPU ヘテロジニアス ジェネラル コンピューティング。
この期間中、GPU は作業の大部分 (80%) を完了し、CPU は作業の一部 (20%) を完了しました。 - 第 3 世代のジェネラル コンピューティング、CPU+GPU+DSA ヘテロジニアス フュージョン ジェネラル コンピューティング。
この期間中、DSA は作業の大部分 (80%) を完了し、残りの作業のほとんど (16%) は GPU によって完了し、残りの作業 (4%) は CPU によって完了しました。
第 1 世代のジェネラル コンピューティングはインテルの成功に貢献し、第 2 世代のジェネラル コンピューティングは NVIDIA の成功につながり、第 3 世代のジェネラル コンピューティングは芽生え始めたばかりです。
「コーナー追い抜き」の重要なチャンスなので、国内メーカーが頭角を現して大きな成果を上げてほしいと願っています。
3. 最終形態、なぜ DSA ではなく異種融合なのでしょうか?
第 2 世代は GPU であるのに、なぜ第 3 世代は AI-DSA または DPU の形式のコンピューティング チップではないのかと疑問に思う友人もいるかもしれません。
第 2 世代の一般的なコンピューティング時代では、汎用性を高めるために、独立したアクセラレータ カードがより良い選択肢となります。
したがって、最終的な成功は、CPU と GPU を統合した形式の APU ではなく、独立した形式の GPUです。
第 3 世代の汎用コンピューティングでは、第 2 フェーズで行ったことを単純に複製することはできません。なぜなら、第 3 段階ではいくつかの問題があるからです。
- 問題の 1 つは、特殊なチップでは一般的なコンピューティングを実行できないことです。
AIチップはDSAの一種であり、DPUは複数のDSAの集合体とみなすことができます。
DSA は特殊用途のチップであり、一般的なコンピューティングを実装できず、コンピューティング アーキテクチャの方向性を支配することもできません。 - 問題 2 は、建築的および生態学的断片化です。
独立した DSA はさまざまな分野を対象とし、さまざまなアーキテクチャを実装しています。
DSA の統合を考慮しない場合、コンピューティング アーキテクチャとエコシステムは断片化してしまいます。 - 問題 3 は調整の問題です。
第 2 世代のジェネラル コンピューティングには、CPU と GPU の 2 種類のプロセッサしかなく、連携は比較的簡単です。
しかし、第 3 段階では、通常 5 種類以上のプロセッサ チップが存在し、この期間の中心的な問題は調整と統合です。
異なるメーカーの独立したプロセッサ チップを効率的に連携させることはほとんどできません。
現段階では、単一チップへの統合が実現可能な道です。
終わり
著者: Chaobowx
出典:ソフトウェアとハードウェアの融合
おすすめ関連記事
- 汎用コンピューティングの第 3 世代、大型コンピューティング能力チップが「コーナーで追い抜く」歴史的な機会
- AGI汎用インテリジェンスの開発に関する考察: 十分に汎用的なプロセッサは存在するか?
- ChatGPTなどの大型モデルの台頭から今後のコンピューティングチップの開発動向を展望する
ソフトウェアおよびハードウェア テクノロジーの詳細については、ソフトウェアとハードウェアの統合のコラムをご覧ください。WeChat の Jishu さん (id: aijishu20) を技術交流グループに追加することを歓迎します。研究の方向性に注意してください。