GPU Utils resumió recientemente un artículo sobre la aplicación de la tarjeta gráfica Nvidia H100 en el entrenamiento de IA. Revela y resume la cantidad de tarjetas gráficas que poseen algunos de los principales fabricantes actuales y la cantidad de tarjetas gráficas necesarias para la capacitación de algunos modelos. El artículo describe principalmente la oferta y la demanda de H1000, y también incluye la descripción del rendimiento de H100. Este artículo resume principalmente las estadísticas relacionadas con la cantidad de tarjetas gráficas mencionadas en él para su referencia.
Editar alternar al centro
Agregue anotaciones de imágenes, no más de 140 palabras (opcional)
-
Introducción al H100 y las diferencias entre los H100, GH200, DGC GH200 y HGX H100 comunes
-
La cantidad de GPU utilizadas para entrenar modelos como GPT-4/Falcon
-
La cantidad de GPU propiedad de fabricantes como OpenAI y Tesla
Introducción al H100 y las diferencias entre los H100, GH200, DGC GH200 y HGX H100 comunes
En primer lugar, presentemos brevemente los conocimientos básicos de la tarjeta gráfica involucrada aquí. H100 es actualmente la tarjeta gráfica de nivel profesional de mayor rendimiento del mundo y es especialmente adecuada para entrenar modelos grandes con parámetros a gran escala, como modelos de lenguaje grandes. alta velocidad. En entrenamiento de 16 bits, es 2,3 veces más rápido que A100 y en razonamiento de 16 bits, es 3,5 veces más rápido que A100.
Editar alternar al centro
Agregue anotaciones de imágenes, no más de 140 palabras (opcional)
Por supuesto, los nombres H100s, GH200s, DGX GH200s, HGX H100s y DGX H100s suelen aparecer junto con H100. Las diferencias básicas son las siguientes:
-
H100 = Una GPU H100
-
HGX H100 = plataforma de referencia de servidor de Nvidia que los OEM pueden utilizar para construir un servidor con 4 GPU u 8 GPU. Fabricado por fabricantes de equipos originales de terceros como Supermicro.
-
DGX H100 = servidor H100 oficial de Nvidia con 8 GPU H100. Nvidia es el único proveedor.
-
GH200 = 1 GPU H100 más 1 CPU Grace.
-
DGX GH200 = 256 GH200, cuyo lanzamiento se espera para finales de 2023. Probablemente sólo de Nvidia.
En otras palabras, H100 es solo una tarjeta gráfica, pero intente crear un servidor, incluidos 4 u 8 H100 interconectados, para proporcionar capacitación en modelos grandes, etc. También cabe destacar la CPU Grace, que es una CPU de servidor desarrollada por la propia Nvidia basada en ARM.
Aquí, GH significa un servidor equipado con CPU Nvidia Grace y DGX significa un servidor con GPU suministrada por la propia Nvidia.
La cantidad de GPU utilizadas para entrenar modelos como GPT-4/Falcon
Este blog también presenta la cantidad de GPU utilizadas para el entrenamiento de algunos modelos. Por supuesto, el texto original de estos datos tiene referencias y fuentes, por lo que no las enumeraremos.
-
GPT-4: podrá ser entrenado por entre 10.000 y 25.000 A100
-
Falcon-40B: entrenamiento 384 A100
-
Inflection utilizó 3500 H100 para entrenar un modelo grande equivalente a GPT-3.5
-
LLaMA-1: 2048 A100
-
GPT-5: Puede necesitar entre 30.000 y 50.000 H100 (dudoso)
La cantidad de GPU propiedad de fabricantes como OpenAI y Tesla
-
Meta consta de 21.000 A100
-
Tesla consta de 7000 bloques A100
-
EstabilidadAI tiene 5000 A100
-
GPC tiene 25.000 piezas de H100
-
Azure tiene entre 10.000 y 40.000 H100
-
CoreWeavw tiene entre 35.000 y 40.000 H100
-
OpenAI puede tener 50.000 H100
-
La infección quiere 22.000 H100
-
Meta ya tiene 25.000 unidades de H100, pero quiere comprar otras 10.000 unidades
Fuente: Aprendizaje de datos Autor: Xiaomu
A100 \ H100 es básicamente cada vez menos en China continental, y A800 actualmente está dando paso a H800. Si realmente necesita A100 \ A800 \ H100 \ H800GPU, se recomienda no ser exigente. Para la mayoría de los usuarios, la diferencia entre HGX y La versión PCIE no es muy grande y puedes comprarla tan pronto como esté disponible.
En cualquier caso, elija fabricantes de marcas habituales para cooperar. En la situación actual del mercado donde la oferta y la demanda están desequilibradas, la mayoría de los comerciantes en el mercado no pueden suministrar e incluso proporcionar información falsa. Si se trata de un servidor de investigación científica, Fenghu Yunlong Scientific El servidor de investigación es la primera opción, la minería, la calidad y el servicio postventa están garantizados.
Bienvenido a comunicarse con el Gerente Chen【173-1639-1579】
¿Cuál es la relación y diferencia entre el aprendizaje automático, el aprendizaje profundo y el aprendizaje por refuerzo? - Zhihu (zhihu.com) Principales campos de aplicación y tres formas de inteligencia artificial (IA): inteligencia artificial débil , inteligencia artificial fuerte y súper inteligencia artificial . ¿Es rentable comprar un servidor de hardware o alquilar un servidor en la nube? - Zhihu (zhihu.com) Un resumen completo de los puntos de conocimiento del aprendizaje automático de aprendizaje profundo - Zhihu (zhihu.com) Sitio web de autoestudio sobre aprendizaje automático, aprendizaje profundo e inteligencia artificial, consulte aquí - Zhihu (zhihu.com) GPU de aprendizaje profundo 2023 Recomendado referencia para la configuración del servidor (3) -Zhihu (zhihu.com)
Editar alternar al centro
Se ha centrado en servidores informáticos científicos durante muchos años, preseleccionado para plataformas de minería política, H100, A100, H800, A800, RTX6000 Ada, un servidor de núcleo único de 192 sockets duales está disponible para la venta.
Editar alternar al centro
Agregue anotaciones de imágenes, no más de 140 palabras (opcional)
Se ha centrado en servidores informáticos científicos durante muchos años, preseleccionado para plataformas de minería política, H100, A100, H800, A800, RTX6000 Ada, un servidor de 192 núcleos de doble socket único está disponible para la venta.