Stability AI は昨日、ラップトップや携帯電話などのスマート デバイス上で実行できる最新の言語モデルである Stable LM 3Bをリリースしました。
発表によると、Stable LM 3Bには30億個のパラメータが含まれており、これは業界で一般的に使用されている70億個のパラメータよりも小さく、効率的です。主な機能は次のとおりです。
- テキスト生成: テキストの生成に使用できます。
- 自己回帰: トランスフォーマー デコーダー ベースのアーキテクチャ
- 多様なトレーニング データ: 複数のオープンソースの大規模データセットが使用されます
安定した LM 3B の主な特徴:
- 高性能: パラメーターが 30 億しかないにもかかわらず、パフォーマンスは大規模なモデルと同等、場合によってはそれを超えます。
- 低消費電力: ポータブル デバイスで効率的に動作するように設計されているため、電力要件が低くなります。
- マルチプラットフォーム互換性: エッジデバイス、ホームコンピュータ、その他のポータブルデジタルデバイス上で動作します。
- 微調整可能: モデルは、プログラミング支援やその他の特殊なアプリケーションなど、特定のニーズに合わせて微調整できます。
- オープンソース: このモデルは、Hugging Face プラットフォーム ( https://huggingface.co/stabilityai/stablelm-3b-4e1t ) でオープンソース化されているため、開発者が簡単に使用および改善できます。
- トレーニングの詳細: モデルは、256 個の NVIDIA A100 40GB GPU (AWS P4d インスタンス) を使用して、Stability AI のクラスターでトレーニングされました。
詳細： https: //stability.ai/blog/