2023年8月1～2週目 大型モデルコレクション
- 2023.8.14
- 著作権に関する声明: この記事はブロガー chszs のオリジナル記事であり、ブロガーの許可なしに複製することはできません。
1. ハッカーは FraudGPT と呼ばれる AI ベースの悪意のあるツールを作成しました
以前、一部のハッカーは、一連のフィッシングメールを自動的に生成できる「道徳的制限なし」の WormGPT チャットボットを作成しました。現在、別のハッカーが AI ベースの悪意のあるツール FraudGPT を作成しており、このハッカーはこのツールを使用して悪意のあるコードを記述し、「ウイルス対策ソフトウェアでは検出できない一連のマルウェア」を作成できると販売ページで述べています。 Web サイトの脆弱性を検出し、パスワードを自動的に変更するクラッシュ ライブラリ。1週間足らずで3000人以上のバイヤーが注文したという。
Netenrichの研究者であるRakesh Krishnan氏は、FraudGPTは7月22日からダークウェブ上で出回っており、購読料は月額200ドル（約1429.46人民元）、6か月で1000ドル（約7147.3人民元）、年間1700ドルであると主張した。 . 米ドル (約 12150.41 人民元)。
2. Xiaomiの大型モデルの初公開
Xiaomi の大型モデル MiLM-6B は最近 C-Eval 大型モデル評価リストに登場し、C-Eval リストで 9 位にランクされ、アリババの Tongyi Qianwen 大型モデルを上回り、清華社の ChatGLM2-12B にはまだ及ばない。
今年4月、XiaomiはAI研究所の大規模モデルチームを正式に設立し、AI分野に1,200人以上の人材がいると主張し、わずか4時間で大規模モデルのトレーニングと展開を完了しました。素晴らしい結果が得られました。XiaomiのLu Weibing社長は講演の中で、大規模モデルを積極的に採用するが、Open AIのような汎用の大規模モデルは作らず、深さとビジネスのシナジーを組み合わせ、AI技術を利用して社内の機能を向上させると述べた。効率。しかし、現在の公開情報を見る限り、まだ一般的な大型モデルです。
3.Hongmeng 4.0統合大型モデルアプリケーション
8月4日、ファーウェイはHarmonyOS 4.0を正式にリリースし、注目すべき機能の1つは、Pangu AI大型モデルへのアクセスと、スマートアシスタントXiaoyiの機能へのAI対話とテキスト生成機能の導入です。Xiaoyi は、ユーザーが画像内のコンテンツとテキストを識別し、テキストの内容を声に出して読み上げ、より多くのサービスにアクセスするのに役立ちます。Xiaoyi は、オリジナルの音声インタラクションをベースに、テキスト、画像、ドキュメントなどのさまざまな形式の入力を拡張しました。Xiaoyi は、日常会話のように AI と自然に通信することで、ユーザーがタスクを完了するのを自動的に支援します。
ファーウェイは、エンドコンシューマーのシナリオ向けに大量のシーン データと微調整された L1 対話モデルを構築し、このモデルをスマート アシスタント Xiaoyi で使用しました。ファーウェイはまた、中国で初めて大規模なモデル機能をスマート アシスタントに統合しました消費者にリーチするテクノロジー企業のアシスタント。この考え方は賞賛に値します。
4. OPPO、Ali Tongyi Qianwen大型モデルを発表
今年4月、Alibaba CloudはOPPOの大規模モデルインフラストラクチャをOPPO Andes Smart Cloudと共同で構築すると発表し、Tongyi Qianwenに基づいて大規模モデルの継続的な学習、微調整、フロントエンドプロンプトプロジェクトを完了すると発表した。 、OPPOエンドユーザー向けのAIサービスを構築します。OPPO Chinaの社長、Liu Bo氏はインタビューで、OPPOが携帯電話への大型モデルの適用を検討していると述べた。OPPO の Xiaobu アシスタント チームは、音声認識、意味理解、対話生成、知識質問応答システム、オープン ドメイン チャット、マルチモーダルなど、AI テクノロジーの分野で多くの研究を行っています。
5. Microsoft Research Asia は産業制御への LLM の使用を検討
最近、Microsoft Asia Research Institute は、LLM は産業用制御に使用でき、少数のサンプルのみで従来の強化学習手法よりも優れた結果を達成できると提案しました。この研究では GPT-4 を使用して空調システム (HVAC) を制御することを試み、かなり肯定的な結果が得られました。研究チームは、専門家のデモや過去のやり取りから例を選択するメカニズムを考案し、また、目標、指示、デモ、現在の状態をプロンプトに変換するプロンプトジェネレーターも設計しました。次に、生成されたプロンプトを使用して、LLM を介して制御を与えます。
6. Nvidia が CALMAI モデルをリリース
Nvidia は最近、イスラエル工科大学、バルイラン大学、サイモン フレイザー大学と共同で CALMAI モデルに関する技術文書を発表しました。NVIDIAによると、CALMの正式名称はConditional Adversarial Latent Models（Conditional Adversarial Latent Models）で、カスタム仮想キャラクターのトレーニングに使用されるという。Nvidia によると、現実世界での 10 日間のトレーニングは、シミュレーション世界での 10 年間のトレーニングに相当します。トレーニング後、CALMAI モデルは、歩く、立つ、座る、走る、剣で戦うなどの人間の動作をカバーする 50 億の人間の動作をシミュレートできます。CALMAIモデルの実用価値は大きい。
7.湖北省コンピューティングパワーおよびビッグデータ産業同盟が設立されました
湖北省コンピューティングパワーおよびビッグデータ産業アライアンスは、8月11日に発表された。アライアンスの第1期メンバー20社には、チャイナモバイル、チャイナテレコム、チャイナユニコム、ファーウェイ、HKUST Xunfei、Dameng Database、武漢大学、華中科学大学、およびテクノロジー、華中農業大学、武漢理工大学、武漢人工知能研究所、中国科学院、中国三峡集団有限公司、湖北データグループ、長江コンピューティング、湖北省科学技術投資、武漢クラウド、コアモーションテクノロジー、立川振業など、上流と下流を形成することが目標です。大中小、産学研究と応用が深く統合されたデジタル共同開発エコロジーは、「一体で基盤を構築する」という目標の実現を強力にサポートします。湖北省のコンピューティングパワーとビッグデータ産業に関しては、「2年で勢いを増し、3年で飛躍する」としている。
8. Ali ByteなどがNvidiaに50億ドルのチップを発注
最近、中国のインターネット大手はエヌビディアに50億ドルのチップを発注した。Baidu、ByteDance、Tencent、Alibaba は、約 10 万個の Nvidia A800 GPU を購入するために 10 億米ドルを発注しており、今年納入される予定です。Nvidiaに近い2人の関係者によると、中国のハイテク大手は2024年の納入に向けて40億ドルのGPUも購入したという。ByteDance が少なくとも 10,000 個の Nvidia GPU を予約していると以前に報告されました。バイト社はまた、来年納入予定の約7万個のA800チップ（約7億ドル相当）を発注した。アリババに近い関係者2人によると、アリババクラウドはエヌビディアから数千枚のH800チップを受け取ったという。
9. 大規模モデルベンチマークツール AgentBench リリース
8 月 7 日、清華大学、オハイオ州立大学、カリフォルニア大学バークレー校の研究者は、プレプリント プラットフォーム arXiv 上で、大規模言語モデル用の多次元ベンチマーク ツールである AgentBench を紹介する新しい論文を発表しました。AgentBench は、マルチラウンドのオープンエンド生成環境における大規模な言語モデルの推論と意思決定の能力を評価する 8 つの異なるタスクで構成されています。研究チームが25の大規模言語モデルを広範にテストした結果、トップクラスの商用大規模言語モデルは複雑な環境でも強力なエージェンシー機能を発揮するものの、オープンソースの競合他社との間にはパフォーマンスに大きな差があることが示された。
10. IBM は、watsonx プラットフォーム上で LLAMA 2 モデルを提供する予定です
8 月 9 日、IBM は、Meta の Llama 2 チャット 700 億パラメータ モデルを watsonx.ai スタジオでホストする計画を発表しました。現在、一部の顧客およびパートナーは早期アクセスが可能です。これは、PyTorch 機械学習フレームワークや watsonx.data で使用される Presto クエリ エンジンなど、Meta が開発したオープンソース プロジェクトとの連携を含む、AI のオープン イノベーションに関する IBM と Meta の連携を基盤としています。
現在、AI ビルダーは watsonx.ai を通じて、IBM と Hugging Face コミュニティのモデルを使用できます。これらのモデルは、質問応答、コンテンツの生成と要約、テキストの分類と抽出など、さまざまな自然言語処理 (NLP) タスクをサポートするように事前トレーニングされています。 。その後、AI チューニング プラットフォーム、watsonx.ai モデルのファクトシート、および新しい AI モデルをリリースする予定です。
11. Stability AI が生成 AI プログラミング製品である StableCode を発売
8月8日、Stability AIは、同社初の大規模なコーディング用言語モデル生成AI製品であるStableCodeの発売を発表した。この製品は、プログラマーの日常業務を支援するように設計されていますが、スキルを次のレベルに引き上げようとしている新しい開発者にとっても優れた学習ツールとしても機能します。StableCode は、開発者が 3 つの異なるモデル、つまり、基本モデル、複雑なプログラミング タスクを解決するための命令モデル、および単一行および複数行のオートコンプリート候補をユーザーに提供する長いコンテキスト ウィンドウ モデルを使用して、プログラミングと効率の向上を支援します。
12. Nvidia、次世代 GH200 Grace Hopper スーパー チップを発表
2023 年 8 月 8 日、NVIDIA は次世代 NVIDIA GH200 Grace Hopper プラットフォームをリリースしました。これは、HBM3e プロセッサを搭載した世界初の Grace Hopper スーパー チップに基づいており、アクセラレーテッド コンピューティングと生成 AI の時代に向けて構築されています。新しいプラットフォームは、大規模な言語モデル、推奨システム、ベクトル データベースなど、世界で最も複雑な生成 AI ワークロードを処理することを目的として構築されており、複数の構成オプションを提供します。
GH200 は、72 コアの Grace CPU と 4PFLOPS の Hopper GPU で構成されており、世界最速のメモリ HBM3e の「補助」により、メモリ容量は 141 GB に達し、毎秒 5 TB の帯域幅を提供します。各 GPU の容量は NVIDIA H100 GPU の 1.7 倍、帯域幅は H100 の 1.55 倍です。現行世代の製品と比較して、新しいデュアル GH200 システムには、合計 144 個の Grace CPU コア、8PFLOPS のコンピューティング パフォーマンス GPU、282GB HBM3e メモリが搭載されており、メモリ容量は 3.5 倍、帯域幅は 3 倍になっています。CPU に接続された LPDDR メモリを含めると、合計 1.2TB の超高速メモリが内蔵されています。
13.清華大学沈陽教授のチームが「大規模言語モデルの総合性能評価報告書」を発表
清華大学の沈陽教授のチームは8月7日、「大規模言語モデルの総合性能評価報告書」を発表した。その中には、Wenxin Yiyan (v2.2.0)、Xunfei Xinghuo (v1.5)、Tongyi Qianwen (v1.0.3)、Kunlun Tiangong (v3.5)、GPT-4、ChatGPT 3.5、Claude (v1.3) の 7 つが含まれます。モデルが評価されました。評価の期限は 2023 年 6 月 30 日です。
LLM 分野は急速に発展しているため、タイムリーさが非常に重要ですが、レポートを作成するのに 1 か月以上かかりましたか? 理解できない。レポートの内容から判断すると、評価の範囲は狭く、大学院生の演習のような平均的な内容である。したがって、報告書も最初は読むだけで価値はほとんどありません。たとえば、Claude v1.3 を比較するのは実際には間違った選択であり、Claude 2 のパフォーマンスが業界の注目の的となっています。