Título original: Nvidia H100: ¿Son suficientes 550.000 GPU para este año?
Autor: Doug Eadline
17 de agosto de 2023
GPU Squeeze continúa dando prioridad a las GPU Nvidia H100. En un artículo reciente del Financial Times, Nvidia informa que espera enviar 550.000 de sus últimas GPU H100 a todo el mundo en 2023. El apetito por las GPU proviene obviamente del auge de la IA generativa, pero el mercado de HPC también está compitiendo por estos aceleradores. No está claro si este número incluye los modelos A800 y H800 específicos de China.
En un artículo reciente del Financial Times, Nvidia informó que espera enviar 550.000 de sus últimas GPU H100 a todo el mundo en 2023. La necesidad de GPU obviamente proviene del auge de la IA generativa, pero el mercado de HPC también está compitiendo por estos aceleradores. No está claro si este número incluye el A800 y el H800 exclusivos de China.
La mayor parte de las GPU se destinará a empresas de tecnología estadounidenses, pero el Financial Times señala que Arabia Saudita ha comprado al menos 3.000 GPU Nvidia H100 y los Emiratos Árabes Unidos también han comprado miles de chips Nvidia. Los Emiratos Árabes Unidos ya han desarrollado su propio modelo de lenguaje grande de código abierto utilizando 384 GPU A100, llamado Falcon, en el Instituto de Innovación Tecnológica de propiedad estatal en la ciudad de Masdar, Abu Dhabi.
La mayoría de las GPU se destinarán a empresas de tecnología estadounidenses, pero el Financial Times señaló que Arabia Saudita ha comprado al menos 3.000 GPU Nvidia H100 y los Emiratos Árabes Unidos también han comprado miles de chips Nvidia. Los Emiratos Árabes Unidos han desarrollado su propio modelo de lenguaje de código abierto a gran escala, llamado Falcon, utilizando 384 GPU A100 en el Instituto estatal de Innovación Tecnológica en la ciudad de Masdar, Abu Dhabi.
La GPU insignia H100 (14.592 núcleos CUDA, 80 GB de capacidad HBM3, bus de memoria de 5.120 bits) tiene un precio de 30.000 dólares (promedio), que el CEO de Nvidia, Jensen Huang, llama el primer chip diseñado para IA generativa. La universidad saudita está construyendo su propia supercomputadora basada en GPU llamada Shaheen III. Emplea 700 chips Grace Hopper que combinan una CPU Grace y una GPU H100 Tensor Core. Curiosamente, las GPU se están utilizando para crear un LLM desarrollado por investigadores chinos que no pueden estudiar ni trabajar en Estados Unidos.
La GPU insignia H100 (14.592 núcleos CUDA, 80 GB de capacidad HBM3, bus de memoria de 5.120 bits) cuesta hasta 30.000 dólares (en promedio) , y el director ejecutivo de Nvidia, Jensen Huang, lo llama el primer chip diseñado para IA generativa. Las universidades sauditas están construyendo su propia supercomputadora basada en GPU llamada Shaheen III. Utiliza 700 chips Grace Hopper, combinados con CPU Grace y GPU H100 Tensor Core . Curiosamente, se utilizaron GPU para crear LLM, que fue desarrollado por investigadores chinos que no podían estudiar ni trabajar en los Estados Unidos.
Mientras tanto, las inversiones en IA generativa (GAI) continúan financiando las compras de infraestructura de GPU. Como se informó, en los primeros 6 meses de 2023, la financiación para las nuevas empresas de GAI aumentó más de 5 veces en comparación con todo el año 2022 y la categoría de infraestructura de IA generativa ha recibido más del 70% de la financiación desde el tercer trimestre de 2022.
Mientras tanto, las inversiones en inteligencia artificial generativa (GAI) continúan financiando las compras de infraestructura de GPU. Según los informes, la financiación para las nuevas empresas de GAI en los primeros seis meses de 2023 aumentó más de cinco veces en comparación con todo 2022, y la categoría de infraestructura de IA generativa representó más del 70% de la financiación desde el tercer trimestre de 2022.
Vale la pena esperar
El costo de un H100 varía según cómo esté empaquetado y, presumiblemente, cuántos puede comprar. El precio minorista actual (agosto de 2023) de una tarjeta PCIe H100 es de alrededor de $ 30 000 (los plazos de entrega también pueden variar). Una estimación aproximada arroja un gasto de mercado de $ 16 500 millones para 2023, una gran parte del cual Irá a Nvidia. Según estimaciones realizadas por el escritor principal de Barron, Tae Kim, en una publicación reciente en las redes sociales, se estima que a Nvidia le cuesta $ 3,320 fabricar un H100. Esa es una ganancia del 1000% basada en el costo minorista de una tarjeta Nvidia H100.
El costo de H100 varía según cómo esté empaquetado y cuánto pueda comprar. La tarjeta PCIe H100 actual (agosto de 2023) se vende por unos 30.000 dólares (los plazos de entrega también pueden variar). Una estimación aproximada del gasto del mercado en 2023 es de 16.500 millones de dólares, una gran parte de los cuales se destinará a Nvidia. Según una estimación publicada recientemente en las redes sociales por el escritor principal de Barron, Tae Kim, Nvidia costó 3.320 dólares para fabricar el H100 , una ganancia del 1.000%.
Como se suele informar, el socio de Nvidia, TSMC, apenas puede satisfacer la demanda de GPU. Las GPU requieren un proceso de fabricación CoWoS más complejo (Chip on Wafer on Substrate, una tecnología de empaquetado “2.5D” de TSMC donde se integran múltiples matrices de silicio activas, generalmente GPU y pilas HBM, en un intercalador de silicio pasivo). El uso de CoWoS agrega un Proceso de ingeniería complejo de varios pasos y alta precisión que ralentiza la tasa de producción de GPU.
Como se ha informado frecuentemente, el socio de Nvidia, TSMC, apenas puede satisfacer la demanda de GPU. Las GPU requieren un proceso de fabricación CoWoS más complejo (Chip on Wafer: la tecnología de empaquetado "2.5D" de TSMC donde se integran múltiples matrices de silicio activas (generalmente pilas de GPU y HBM) en un intercalador de silicio pasivo). -Procesos de ingeniería de precisión que ralentizan la producción de GPU.
Esta situación fue confirmada por Charlie Boyle, vicepresidente y director general de los sistemas DGX de Nvidia. Boyle afirma que los retrasos no se deben a un mal cálculo de la demanda o a problemas de rendimiento de las obleas por parte de TSMC, sino a la tecnología CoWoS del empaquetado de chips.
Charlie Boyle, vicepresidente y director general de Nvidia DGX Systems, confirmó la situación. Boyle dijo que el retraso no se debió a errores de cálculo de la demanda de TSMC ni a problemas de rendimiento de las obleas, sino a la tecnología CoWoS de empaquetado de chips .
Enlace original:
https://www.hpcwire.com/2023/08/17/nvidia-h100-are-550000-gpus-enough-for-this-year/
// Ya has visto esto, ¿por qué no charlamos unas palabras?
1. Alguien preguntó: "¿Los modelos grandes generan dinero?" No sé cómo responder, pero nvidia ya está recogiendo la fruta más madura. Su ventaja de ser el primero en actuar proviene del diseño de la pila de software CUDA hace más de diez años y su acumulación en la dirección de la arquitectura GPU durante n años.
2. Más de 30 empresas de tarjetas aceleradoras en China participarán en el momento cumbre de 2024. Hagamos algunas predicciones:
-
Compitiendo por el mercado, esforzándonos por impulsar la tarjeta especial para modelos grandes.
-
Las pequeñas empresas o las que avanzan lentamente estarán en peligro el próximo año, y las fusiones y adquisiciones pueden suponer un retroceso.
-
Centro de poder informático/mercado de Xinchuang/diseño urbano, batalla por la participación.
-
¡2024 será el momento más destacado para que las empresas de software basadas en potencia informática estallen!
-
Los Yankees elegirán sus objetivos con precisión y sincronizarán sus ataques con precisión. ¡Los problemas/espías están por todas partes!