「ビッグモデル」に向けた今後のサービスアーキテクチャ設計

ビッグモデルの流行

今年のインターネットサーキットにおける「トップクラス」は大型モデルにほかなりません。科学技術省新世代人工知能開発研究センターが5月末に発表した「中国人工知能大規模モデルマップ研究報告書」によると、10億を超える規模の大規模モデルが79個あることが明らかになった。我が国のパラメータも公開され、ほぼ「百機種戦争」に突入しています。

BaiduのWenxin Yiyan、AliのTongyi Qianwen、Xunfei Xinghuoの大型モデル、Zhipu AIのChatGLMなどがリリースされている。以来、美団、百川智能、雲志生、美図、騰訊…大型模型路線に新たに参入する国内テクノロジー企業が次々と登場し、大型模型を巡る「軍拡競争」はますます激化している。 。

大型模型の着陸

ChatGPT が AI ブームを引き起こした後、Microsoft はこの波で最も重要な企業の 1 つになりました。同社が OpenAI の大株主だから、あるいは AI の恩恵を受けて New Bing を立ち上げたからというだけではありません。

さらに重要なことは、世界最大のオペレーティング システム サービス プロバイダー、世界最大のオフィス ソフトウェア開発者、そして世界第 2 位のクラウド サービス プロバイダーである Microsoft は、「すべての製品を大規模なモデル コンポーネントと統合し、大規模なモデル コンポーネントを完全に受け入れる」という提案さえしました。モデルが着陸しました。」

2023年中関村フォーラムで、Li Yanhong氏は「大規模モデルが世界を変える」と題し、「Baiduは、統合やアクセスではなく、やり直し、リファクタリングなど、すべての製品をやり直す最初の企業になるだろう...」と提案した。

将来のすべてのサービスは、製品サービスを提供するために「大きなモデル」を指向するか、それに依存するようになることが、不謹慎にも予測されています。

では、将来の「ビッグモデル」のサービスはどのように設計またはリファクタリングすべきでしょうか?

サービス設計またはリファクタリング

「ビッグモデル」の呼び出しをサポートするには、サービスを再配置して「拠点」にする必要があります。ここでのベースは、「ビッグモデル」の足がかり、つまりターゲットデータのスループットとして理解できます。

強力な「ビッグ モデル」は、人間とコンピューターの相互作用を再定義します。ユーザーのニーズを短期間で分析し、ニーズに合わせた的確なサービスを提供します。ユーザーがアプリの静的インターフェイスを手動でトリガーする現在のインタラクション モードは壊れており、「ビッグ モデル」AI 分析アピールの後、単一または複数のターゲット サービス インターフェイスのトリガーとなり、最終的に各サービス インターフェイスの応答データを要約して調整します。 service. サービス関数の出力を行います。

例: マップ シーンで、
ゲスト A: 10 月 11 日の北京の旅行ルートを計画するのを手伝ってください...
マップ: 北京の観光スポット -> 11 日の天気 -> 観光スポットの評価 -> 観光スポット間の適切な閲覧順序の配置 - > …

このインタラクションの特性に基づいて、クラウド ネイティブの分散サービスやマイクロサービスなどのさまざまな技術概念と組み合わせることで、サービスのリファクタリング、アップグレード、または再設計を行うことができます。

将来のサービスアーキテクチャ

マイクロサービス

将来の「ビッグモデル」のインタラクションモードをサポートするために、さまざまな任意のサービスの組み立てや組み立てに対応できます。サービスを最小の粒度でカプセル化する必要がありますが、これはマイクロサービスの中心的な考え方も継承しています。

層別化

ここで、現在の対話モードがまだ存在していることに注意してください。最小限のコストを使用して 2 つの対話モードをマージし、サポートしたいと考えています。次に、さまざまな対話モードを抽象化し、さまざまな論理層に区別する「階層化」設計アイデアを導入する必要があります。

以下のようなパターンがあります。

大規模モデル アプリケーション アーキテクチャ

アーキテクチャ パターンは、エントリ層、大規模モデル結果呼び出し層、プロトコル層、ビジネス凝集層、データ アクセス層、およびマイクロサービス呼び出し層に分かれています。

アーキテクチャ設計図

上の図に示すように、各論理層は次のとおりです。

• 入門レベル
  • ミドルウェア登録タスクを完了し、後続のサービス機能の基本機能サポートを提供します。含む
    • インターフェイストークン認証 [サインプラスソルトモード]、
    • サービス例外キャプチャ [Panic Recover ミドルウェア: メイン プログラムのパニックを防ぐためにサービス例外をキャプチャ]、
    • 監視サービス登録[Prometheusインジケーター収集]、
    • ログミドルウェア [ログ機能の初期化、アクセスログの出力 Access_log]、
    • メッシュ サービスの登録 [トラフィックの融合と電流制限、コール雪崩の防止のためのプロキシレス サービス メッシュ...]
• 大規模モデル呼び出し層
  • 大規模モデルの「基本」機能を提供し、大規模モデルの出力結果に基づいて、対応するサービスの API 呼び出し機能を提供します。複合プロトコルと単一プロトコルの 2 つのサービス粒度プロトコルが含まれています
• プロトコル層
  • 複合プロトコルと単一プロトコルの 2 種類が含まれており、ビジネスおよび大規模モデルの呼び出しにコンテンツ データ出力を提供します。
    • 単一プロトコル、サービスの最小粒度のカプセル化のための API インターフェイス
    • 複合プロトコル、複数のサービスの組み立て後のカプセル化された API インターフェイス
• ビジネス凝集層
  • 複合プロトコルに対応するサービスアグリゲーション層です。この層で複数のサービスのシリアル/パラレル オーケストレーションを実行し、サービス集約データを外部に提供します
• データクリッピングレイヤー
  • サービス呼び出し層の上では、各サービスの要求データと応答データが独立してカプセル化されます。
• マイクロサービス呼び出し層
  • 複数の通信プロトコルに基づいた完全なサービスコール
• また、ユーティリティパーツやツールパーツです
  • サービス全体を通じて、可観測性と安定性に関連するパブリック機能と機能サポートを提供します。

アーキテクチャデモの実装

//篇幅有限，见后续博文

まとめ

競争がますます激化し、世界的な複雑さと変化が進む現在の状況において、企業やチームは機会を捉え、事前に準備を整え、絶対的な機敏な競争力を持って初めて最終的な勝者となります。

付録

• Prometheus + Grafana に基づくリアルタイム監視システムを 5 分で構築
• 数千万のエントランスサービス[ゲートウェイ]フレームワーク設計（3：レイヤードモード）
• クラウド ネイティブ アプリケーション アーキテクチャの移行 1: 増分移行パラダイム