一部のメディア報道によると、ファーウェイはChatGPTを直接ターゲットにした「Pangu Chat」と呼ばれるマルチモーダル1000億規模の大規模モデル製品をリリースする予定だという。
報告によると、Panguモデルは2020年11月にHuawei Cloudで正常に承認されました。この「Pangu Chat」は、今年7月7日に開催されるHuawei Cloud Developer Conference (HDC.Cloud 2023)でリリースおよび社内テストされる予定で、主にTo B/G政府および企業顧客向けの製品です。
ファーウェイが発表した論文によると、ファーウェイのPangu-Σ大型モデルのパラメータは最大1兆8500億で、ファーウェイが自社開発したMindSporeフレームワークに基づいて開発されている。全体として、PanGu-Σ 大型モデルは対話の点で GPT-3.5 のレベルに近いかもしれません。
IT Home が公開情報について問い合わせたところ、Huawei Pangu モデルは 2021 年 4 月に正式にリリースされ、その後 2022 年 4 月にバージョン 2.0 にアップグレードされたことがわかりました。現在、AI 大型モデルのうち、NLP 大型モデル、CV 大型モデル、科学技術計算大型モデル (気象大型モデル) がオンライン化予定となっています。
報告によると、これは中国初の1,000億パラメータを持つ事前トレーニング大規模モデルであり、CV大規模モデルは初めて30億パラメータに達したという。Pangu CV Large Model 業界最大の CV Large Model は、識別機能と生成機能の両方を初めて実現し、ImageNet 上の小規模サンプル学習機能においても業界初であり、Pangu 気象大規模モデルは第 2 レベルの気象を提供しますZidong Taichu は、世界初の地図、テキスト、音声の 3 つのモーダルを備えた大型モデルです。
Pangu 大型モデルの位置付けについて、ファーウェイの社内チームは 3 つの重要な核となる設計原則を確立しました: まず、モデルは大量のデータを吸収するのに十分な大きさでなければなりません; 一般化機能はあらゆる分野の作業シナリオに真に適用できます。
ファーウェイクラウド幹部の講演のPPT情報によると、現時点ではファーウェイの「PanguシリーズAI大型モデル」の基本層には主にNLP大型モデル、CV大型モデル、科学技術計算大型モデルなどが含まれており、上位層はは、パートナーと共同開発されたファーウェイの業界大規模モデルです。
Huawei Cloud の公式ウェブサイトによると、Pangu 大型モデルは、NLP 大型モデル、CV 大型モデル、マルチモーダル大型モデル、科学計算大型モデルなどの複数の大型モデルで構成されており、AI の規模、産業化の問題、さまざまな自然現象をサポートできます。テキスト生成、テキスト分類、質問応答システムなどを含む言語処理タスク
具体的には、Pangu NLP 大規模モデルは、NLP 大規模モデルの理解と生成機能を考慮してエンコーダ デコーダ アーキテクチャを初めて使用し、さまざまなシステムにモデルを埋め込む柔軟性を確保しています。下流アプリケーションでは、1,000 億の大規模モデルの迅速な微調整と下流適応を完了するために、少数のサンプルと学習可能なパラメータのみが必要であり、このモデルは、インテリジェントな世論とインテリジェントなマーケティングにおいて優れたパフォーマンスを発揮します。
Pangu CV 大型モデルは、オンデマンドモデル抽出を初めて実現した業界最大の CV 大型モデルです。初めて識別能力と生成能力の両方を実現します。モデルのサイズと動作速度の要件に基づいて、適応的にモデルを抽出します。さまざまな規模のAIアプリケーション開発を迅速に実装します。階層型セマンティック アラインメントとセマンティック調整アルゴリズムを使用することで、浅い特徴のより優れた分離性が得られ、小サンプル学習の能力が大幅に向上し、業界でトップクラスにランクされ、物流分野で優れたパフォーマンスを発揮します。
盤古気象大規模モデルは、第 2 レベルの天気予報を提供します。革新的な 3DEST ネットワーク構造と階層化された時間集計アルゴリズムの助けにより、天気予報の主要な要素と一般的な時間範囲の精度は、現在の最先端の予測方法を超えています。従来の方法に比べて1000倍以上の高速化が可能です。同時に、盤古気象大型モデルは幅広い下流予測スキームをサポートしており、たとえば、台風進路予測タスクでは、従来の数値天気予報手法と比較して、盤古気象大型モデルは位置誤差をさらに削減できます。 20％以上。
浙商証券が以前に開示した情報によると、ファーウェイは1000億個のパラメーターを備えた盤古大規模モデルをトレーニングする際に2000個以上のShengteng 910チップを使用し、2か月以上にわたってデータトレーニング機能を実行した。ファーウェイ内部によると、大規模モデルのトレーニングには毎年 4,000 枚を超える GPU/TPU カードが必要で、大規模モデルの 3 年間の計算能力コストは 9 億 6,000 万元にも上ります。
蘇州証券は、ファーウェイの盤古大規模モデル産業チェーンに関する調査報告書の中で、ファーウェイの盤古大規模モデルの優位性は人材の蓄えと独立して制御可能なコンピューティング能力にあると指摘しており、Tuowei Information、Sichuan Changhong、Kylin Software (中国) が含まれます。 Software)、Tongxin Software (ArcherMind Technology)、Kylin Principal、その他のファーウェイのエコロジカル企業。国盛証券は、ファーウェイ盤古は初のマルチモーダルな1000億レベルの大規模モデルであり、あらゆる産業に力を与えると期待されていると考えている。
参考記事：ファーウェイ版ChatGPT「Pangu Chat」が7月7日にリリースされると報道、対象はB/G政府・企業顧客向け - IT HOME