大規模モデルのアルゴリズム サーバーを長期間研究した結果、4060Ti 16G は依然としてコスト効率が高く、マルチカード サーバーに組み立てることができることがわかりました。

1. モデルのグラフィックス カードが 16G を使用していることを考慮すると、十分です。

定量化せずに 6B モデルを直接実行できます。通常、約 12G を消費します。
4060Ti 16G ASUS 1 台の価格

Colorful よりも比較的安価で、これらはすべて第 1 層グラフィックス カード メーカーとみなされます。
第 1 層グラフィックス カード メーカー: ASUS (ROG) MSI (Magic Dragon) Colorful (Vulcan) Zotac (Supreme) Gigabyte (Big Eagle)

https://www.zhihu.com/tardis/zm/art/428716561?source_id=1005

2. 安価なx99+CPU+メモリも使用可能

残ったお金でグラフィックカードを購入

3. または、P100 の使用を選択することもできます

https://www.topcpu.net/gpu-c/GeForce-RTX-4060-Ti-vs-Tesla-P100-PCIe-12-GB

https://www.bilibili.com/video/BV1Bh411w7HV/?spm_id_from=333.337.search-card.all.click&vd_source=4b290247452adda4e56d84b659b0c8a2

現在は40ペソとほぼ同じ価格で、40ペソも800元です。