大模型训练显卡对比
大模型训练时 A100 是首选 ，A40 用于推理，目前还推出了 H100 为下一代替换 A100 的产品。
大模型的训练用 4090可以吗？
大模型的训练用 4090 是不行的，但推理（inference/serving）用 4090 不仅可行，在性价比上还能比 H100 稍高。事实上，H100/A100 和 4090 最大的区别就在通信和内存上，算力差距不大。
| H100 |
A100 |
4090 |
|
| Tensor FP16 算力 |
989 Tflops |
312 Tflops |
330 Tflops |
| Tensor FP32 算力 |
495 Tflops |
156 Tflops |
83 Tflops |
| 内存容量 |
80 GB |
80 GB |
24 GB |
| 内存带宽 |
3.35 TB/s |
2 TB/s |
1 TB/s |
| 通信带宽 |
900 GB/s |
900 GB/s |
64 GB/s |
| 通信时延 |
~1 us |
~1 us |
~10 us |
| 售价 |
$30000~$40000 |
$15000 |
$1600 |