人工知能 (AI) モデルの複雑さと計算量が 10 年で急速に成長した後、2023 年には、生成人工知能 (GenAI) の効率化と普及への焦点の移行が始まります。その結果、Flexible AI と呼ばれる 150 億未満のパラメーターを備えた新しいモデルは、特に特定のドメインを対象とする場合、1000 億を超えるパラメーターを含む ChatGPT スタイルの巨大なモデルの機能にほぼ匹敵する可能性があります。GenAI はすでにさまざまな業界で幅広いビジネス用途に導入されていますが、コンパクトでありながら高度にインテリジェントなモデルの使用が増加しています。近い将来、少数の巨大なモデルと、多数のより小規模で柔軟な AI モデルが無数のアプリケーションに組み込まれると私は予想しています。
モデルが大きくなると大幅な改善が加えられましたが、もちろん、トレーニングや環境コストを考慮すると、大きいほど必ずしも良いわけではありません。TrendForce は、GPT-4 の ChatGPT トレーニングだけで 1 億ドル以上の費用がかかると推定していますが、柔軟なモデルの事前トレーニングの費用は桁違いに安くなります (たとえば、MosaicML の MPT-7B の場合は約 20 万ドルと見積もられています)。計算コストのほとんどは継続的な推論の実行中に発生しますが、これは高価な計算を含む大規模なモデルにも同様の課題をもたらします。さらに、サードパーティ環境でホストされている巨大なモデルには、セキュリティとプライバシーの課題があります。Nimble モデルは実行コストがはるかに安く、適応性、ハードウェアの柔軟性、大規模アプリケーションでの統合性、セキュリティとプライバシー、解釈可能性など、多くの追加の利点を提供します (図 1 を参照)。小型モデルは大型モデルほどパフォーマンスが良くないという認識も変わりつつあります。小規模で対象を絞ったモデルも同様にインテリジェントであり、商業、消費者、科学分野に同等以上のパフォーマンスを提供し、時間とコストの投資を削減しながら価値を高めることができます。
ChatGPT-3.5 レベルの巨大モデルのパフォーマンスにほぼ匹敵する柔軟なモデルの数が増えており、パフォーマンスと範囲が急速に向上し続けています。さらに、柔軟なモデルに、精選されたドメイン固有のプライベート データの動的な取得と、クエリに基づく Web コンテンツの対象を絞った取得が装備されている場合、広範なコンテンツを記憶する巨大なモデルよりも正確かつ効率的になります。データセット。
柔軟な