누군가 데이터가 인공지능 발전의 한계를 결정한다고 말한 적이 있다. 당연하게 생각합니다.
ChatGPT와 같은 AIGC 애플리케이션에서 입증된 강력한 기능을 통해 사람들은 일반적인 인공 지능의 특이점이 다가오고 있음을 깨닫고 점점 더 많은 회사가 이 트랙에 쏟아지기 시작했습니다. AIGC 물결이 전 세계를 휩쓸면서 업계에서 데이터의 중요성이 점점 더 인식되고 있습니다.
여기에는 두 가지 주요 이유가 있습니다: 첫째, 고품질 데이터는 알고리즘의 성능, 일반화 능력 및 적용 효과를 결정하는 AIGC 응용 프로그램의 핵심이고, 둘째, 데이터 관련 "저장, 관리, 사용, "방송" 점차적으로 AIGC 개발의 병목 현상이 발생했으며 이를 돌파하려면 높은 수준의 인프라가 시급히 필요합니다.
지난 10년 동안 딥 러닝의 급속한 발전은 이기종 컴퓨팅 파워의 역할과 가치를 높이 평가했으며, 향후 10년은 데이터 스토리지의 변화가 고품질 데이터 개발의 깊이를 결정할 것입니다. .
AIGC 시장의 개발 동향은 무엇입니까
대형 모델이 보여주는 강력한 기능과 강력한 다용성 덕분에 사무실, 회의, 대화, 검색, 광고 및 기타 콘텐츠 생성 분야에서 AIGC 애플리케이션이 등장할 수 있었습니다. 현재 AIGC 및 대형 모델의 트랙은 매우 활발하며 중국 시장에서만 수백 개의 대형 모델이 등장했습니다. 그렇다면 빅모델과 AIGC 시장의 향후 발전 동향은?
인터랙티브 경험 업그레이드, 비용 절감 및 효율성 향상에 대한 엄청난 수요로 인해 AIGC 및 대형 모델이 수직 산업에 널리 진출하는 것은 저항할 수 없는 추세라는 데 의심의 여지가 없습니다. Gartner는 2032년까지 생성 인공 지능의 시장 규모가 2,000억 달러에 달하고 금융, 교육, 의료, 산업 및 기타 분야에서 광범위한 응용 가능성이 있다고 예측합니다.
CICC의 연구 부서는 미래의 대형 모델 시장이 아이스크림 콘과 같은 클라우드 컴퓨팅 시장과 유사하다고 판단합니다. 퍼블릭 클라우드 시장의 커버리지와 유사한 롱테일 시장.
분명히 점점 더 많은 업계 사용자가 수직 산업 대형 모델의 엄청난 잠재력을 보고 있습니다. 이러한 핵심 산업의 시나리오는 충분히 풍부하고 비즈니스 데이터의 양이 방대하며 비용 절감 및 효율성 향상에 대한 요구가 강합니다.또한 이러한 산업의 사용자는 데이터 보안 및 국지적 배치, 대형 수직 모델 요구 매우 강력함.
"현재 대형 모델 및 AIGC 시장은 아직 초기 단계입니다. 그러나 AIGC는 전체 산업의 적용을 위해 혁신적이며 모든 산업은 AIGC가 가져온 변화에 적응해야 합니다. 향후 5년에서 10년은 스토리지 요구 사항입니다." Inspur Information 수석 설계자 Ye Yurui가 판단했습니다.
AIGC 데이터 스토리지 문제는 무엇입니까?
올해 4월 OpenAI CEO Sam Altman은 대형 모델의 매개변수 수를 늘리는 것이 더 이상 대형 모델의 기능을 개선하는 가장 효과적인 수단이 아니며 대규모의 고품질 데이터와 효율적인 데이터를 공정 공학이 핵심입니다. 실제로 OpenAI GPT-5부터 시작하여 multimodality는 대형 모델의 다음 단계의 중요한 진화 방향으로 간주됩니다.
다중 모드 대형 모델은 텍스트 데이터 외에도 오디오 및 비디오 데이터가 추가됨을 의미하며 AIGC의 데이터 특성은 대용량 데이터, 복잡한 다중 데이터 유형, 다양한 서비스 계약, 까다로운 성능 요구 사항 및 지속적인 서비스 요구 사항 온라인, 이는 매우 복잡한 일련의 데이터 스토리지 문제를 야기합니다.
Inspur Distributed Storage 총책임자 Jiang Leguo는 현재 AIGC 애플리케이션의 이면에는 상류 및 하류 산업의 데이터를 수집, 라벨링, 훈련, 추론 및 보관하는 것이 필요하다고 믿고 있습니다. 대기 시간 및 높은 대역폭, EB 수준 대용량 스토리지 요구 사항을 포함한 세 가지 중요한 과제.
첫 번째는 이질적인 데이터의 융합입니다. 대규모 모델 학습 데이터는 여러 소스와 형식이 있는 다중 소스 이기종 상황을 나타내므로 단일 데이터 유형용으로 설계된 기존 스토리지에 큰 문제가 됩니다. 이 전통적인 모델의 단점은 데이터 플랫폼에서 다양한 데이터 유형의 다양한 성능 요구 사항을 충족하기 어렵다는 것입니다.대형 모델의 수집, 레이블 지정, 교육 및 추론에 이르는 전체 데이터 저장 파이프라인에서 데이터 복사가 필요합니다. 앞뒤로 수행되고 데이터 처리 효율성이 낮고 AIGC 애플리케이션의 처리 요구 사항을 충족할 수 없습니다.
"전통적인 스토리지는 AIGC 애플리케이션 플랫폼의 주요 병목 현상인 데이터 이동을 통해 다중 프로토콜 액세스를 달성해야 합니다. 이기종 데이터의 다중 프로토콜 융합을 지원하는 것이 문제를 해결하는 열쇠가 될 것입니다." Jiang Leguo는 직설적으로 말했습니다.
두 번째는 낮은 대기 시간과 높은 대역폭을 유지하는 것입니다. 대규모 모델을 학습하는 동안 데이터 세트에서 토큰을 자주 가져와야 합니다. 그러나 각 토큰은 일반적으로 4바이트에 불과하므로 성능을 보장하기 위해 매우 낮은 대기 시간이 필요한 대규모 실시간 동시성 작은 IO가 발생합니다.
"대형 모델 학습 시에는 보통 수천 개의 GPU 블록이 사용됩니다. 특정 카드에 장애가 발생하거나 문제가 발생하는 것은 정상입니다. 장애가 발생하면 모델을 다시 시작하고 대기 노드로 교체해야 합니다. 대기 노드 체크포인트 고대역폭 스토리지가 필요합니다. 빠른 데이터 쓰기를 달성하려면 그렇지 않으면 GPU 컴퓨팅 전원 리소스를 쉽게 낭비할 수 있습니다." Inspur Information의 AI 설계자 Yang Xin이 소개했습니다.
세 번째는 EB 수준의 대용량 스토리지에 대한 수요입니다. 더 많은 데이터가 큰 모델에 공급될수록 더 정확한 결과가 나온다는 작동 원리는 큰 모델 훈련이 많은 딥 러닝 네트워크 계층, 많은 연결, 복잡한 매개 변수 및 데이터 세트, 많은 양의 데이터의 특성을 가지고 있음을 결정합니다. 모델 매개변수 및 데이터로서 데이터 볼륨의 급속한 성장과 함께 대용량 스토리지 및 확장에 대한 요구도 임박했습니다.
"예를 들어, Inspur Information 자체의 소스 1.0 대형 모델은 오디오 및 비디오 데이터를 추가한 후 지속적인 훈련 후 수백 페타바이트의 데이터 규모에 도달했습니다." Jiang Leguo는 "지속적인 훈련 심화로 데이터 저장 용량 및 성능 요구 사항 수요는 계속해서 증가할 것이며 최고의 용량과 최고의 성능을 갖춘 스토리지 기능이 필요합니다."
Ye Yurui는 AIGC가 수집, 레이블 지정, 교육, 추론 및 보관을 포함하는 긴 데이터 처리 프로세스를 포함하며 단계마다 성능, 지연 및 데이터 보안에 대한 요구 사항이 다르다고 말했습니다. 산업 변혁의 관점에서 AIGC는 데이터 스토리지 산업의 전면적인 기술 업그레이드를 추진하고 있으며 전문적인 AIGC 스토리지 제품 및 솔루션에 대한 수요는 미래에 크게 증가할 것입니다.
Inspur 스토리지는 AIGC를 중요하게 만듭니다.
데이터 스토리지가 AIGC 애플리케이션의 기반이라면 이 기반의 깊이와 품질이 AIGC 애플리케이션의 다양성과 효율성을 결정할 것입니다. AIGC 애플리케이션의 효율성이 지속적으로 향상되고 확장되면 수직 산업의 생산성이 질적 변화를 가져올 것으로 예상됩니다.
현재 시장에는 특히 AIGC용으로 특별히 검증된 스토리지 솔루션이 많지 않습니다. Inspur Information은 해당 솔루션을 시장에서 출시한 최초의 제조업체로서 AS13000 통합 스토리지 세트를 사용하여 생성 AI의 전체 단계 응용 프로그램을 지원합니다.
Inspur Information AS13000은 풀 플래시, 혼합 플래시, 테이프 라이브러리 및 광 디스크의 네 가지 미디어를 제공하고 파일, 개체, 빅 데이터, 비디오 및 블록 프로토콜을 지원하며 대용량, 다중 프로토콜을 충족할 수 있다고 합니다. 공유, 백만 IOPS 이상 및 100GB 이상의 대역폭, 콜드 데이터의 장기 저장 및 보관. Jiang Leguo는 "Inspur Information의 AIGC 스토리지 솔루션은 이미 Inspur Information Source 1.0 대형 모델 및 기타 AI 회사의 대형 모델 교육을 지원했습니다."라고 말했습니다.
Inspur가 공개한 정보에 따르면 AS13000은 기존 스토리지 솔루션과 장치의 공존으로 인해 발생하는 다양한 복잡성, 낮은 데이터 처리 효율성 및 데이터 섬을 효과적으로 피하고 AIGC가 대량 데이터의 병목 현상을 극복하고 가속화하는 데 큰 도움이 됩니다. 데이터 값의 릴리스 .
Jiang Leguo는 Inspur의 정보 생성 AI 스토리지 솔루션이 극한 통합, 극한의 성능, 극한의 에너지 절약, 고온, 웜, 저온의 4단계 전체 라이프사이클 스토리지 관리라는 네 가지 주요 특징을 가지고 있다고 소개했습니다.
첫 번째는 극단적인 통합입니다. 하나의 클러스터는 여러 스토리지 풀을 지원하고, 하나의 스토리지 풀은 텍스트, 사진, 오디오 및 비디오와 같은 여러 유형의 데이터 스토리지를 지원하며, 데이터 조각은 파일 형식으로 다양한 프런트 엔드 비즈니스 시나리오에 병렬로 저장될 수 있습니다. 개체, 빅 데이터 및 비디오 액세스. 다중 모달 대형 모델 시나리오의 데이터 저장 요구 사항을 완벽하게 충족하고 응용 프로그램 간 실시간 데이터 공유와 저장 공간 최적화를 실현합니다.
두 번째는 최고의 성능입니다. AIGC는 기하급수적인 성능 향상을 가져오며, 큰 대역폭과 높은 IOPS는 향후 비즈니스 요구 사항에 대한 표준 구성이 될 것입니다. 이런 점에서 Inspur Information의 솔루션은 아키텍처, 하드웨어, 핵심 기술, IO 경로 최적화 등 다양한 수단을 통해 스토리지 성능을 완전히 공개하는 것입니다.
"예를 들어, NC 분리 아키텍처는 동서로 전달되는 데이터의 양을 줄일 수 있고, GDS 및 RMDA 기술은 I/O 경로를 단축할 수 있으며, SPDK 및 캐시 제로 복사 기술은 I/O에서 데이터 복사를 효과적으로 줄일 수 있습니다. O 경로; 자체 개발한 NVMe 기반 SSD가 개발한 디스크 제어 협업 기술은 SSD 디스크에 대한 I/O 액세스 수를 줄이고 성능을 더욱 향상시킵니다." Jiang Leguo는 "예를 들어 전체 노드의 단일 노드 대역폭은 -flash는 50GB/s를 초과하고 IOPS는 500,000을 초과합니다. 이중 제어 풀 플래시 노드, 대역폭은 100GB/s를 초과하고 IOPS는 1백만을 초과합니다."
AS13000 병렬 스토리지를 지원하는 소스 1.0 대형 모델을 예로 들면 2128 GPU 클러스터에서 훈련을 완료하는 데 16일이 걸렸고 컴퓨팅 전력 효율성은 MT-NLG와 같은 국제적으로 유명한 모델을 훨씬 능가하는 45%에 도달했습니다. 및 GPT-3.
세 번째는 극단적인 에너지 절약입니다. 관련 데이터에 따르면 2025년까지 우리나라의 총 AI 컴퓨팅 파워는 1800EFlops를 초과할 것이며 AI 컴퓨팅 파워는 전체 컴퓨팅 파워의 85% 이상을 차지할 것으로 예상됩니다. 이러한 이유로 Inspur Information의 최신 G7 하드웨어 플랫폼에서 스토리지 전용 수냉식 서버는 성능 및 용량 유형을 커버하고 모두 모듈 식 냉각판 구성 요소 설계 모드를 채택하고 Inspur Information은 완전한 공기 액체 유형을 가지고 있습니다. -액체형 등 end-to-end 솔루션.
마지막은 종단 간 전체 수명 주기 관리입니다. Inspur의 정보 생성 AI 스토리지 솔루션은 플래시 메모리, 디스크, 테이프 및 광 디스크의 네 가지 미디어를 사용하여 핫, 웜 및 콜드의 네 가지 유형의 스토리지 리소스를 제공하고 리소스 상호 통신 및 데이터 수명 주기 관리를 실현합니다. 또한 4가지 유형의 미디어와 4가지 유형의 스토리지 노드는 다양한 응용 프로그램의 유연한 구성 요구 사항을 충족하기 위해 자동 열, 온도 및 저온 저장을 제공하고, 유연한 구성으로 전체 투자를 더욱 절감합니다.
"현재 시장에서 완전한 단대단 지원 플랫폼을 구축할 수 있는 사용자는 소수에 불과합니다. 대부분의 사용자는 플랫폼을 신속하게 구축할 수 있도록 지원하는 패키지 솔루션을 원합니다. Inspur Information은 대형 모델의 경험이 있으며, AI 스토리지 솔루션은 우수한 경험과 관행을 시장에 빠르게 수출하고 AIGC 산업의 발전을 더 잘 촉진할 것입니다."라고 Jiang Leguo는 결론지었습니다.