2021년 8월 Databricks는 10억 달러의 Series G 파이낸싱 이후 불과 7개월 만에 16억 달러의 Series H 파이낸싱을 받았고, 이번 파이낸싱 이후 Databricks는 380억 달러의 가치를 지니며 슈퍼 유니콘이 되었습니다.
Databricks는 데이터 통합, 데이터 정리, 데이터 관리 등을 위한 Spark 기반 클라우드 서비스를 제공하는 빅 데이터 소프트웨어 회사입니다. Databricks의 성공은 바다 건너편에 있는 많은 중국 기업가들에게 큰 자신감을 주었고 Zhilingyun의 CEO이자 공동 설립자인 Peng Feng도 그 중 한 명입니다.
Databricks의 데이터 수준 작업은 Peng Feng에게 큰 격려가 되었습니다.그는 수년 동안 Twitter 및 Ask.com과 같은 실리콘 밸리 회사에서 빅 데이터 작업에 참여했으며 Databricks에 대해 매우 낙관적입니다. 2016년 Peng Feng은 미국 실리콘 밸리에서 돌아와 주로 빅 데이터 관련 제품 및 서비스를 제공하는 Zhilingyun을 설립했습니다.
Databricks가 큰 성공을 거둔 같은 해 5월 Zhilingyun은 제품을 최적화 및 업그레이드하고 Kubernetes에 대한 지원을 추가했으며 오픈 소스 기술을 기반으로 하는 클라우드 네이티브 데이터 플랫폼인 Kubernetes Data Platform(줄여서 KDP)을 출시했습니다. 빅 데이터 애플리케이션을 단순화합니다 배포는 빅 데이터 애플리케이션이 클라우드 네이티브 기술을 수용할 수 있는 길을 열어줍니다. 이것은 혁신적이고 대담한 움직임입니다.오픈 소스 빅 데이터 구성 요소가 많고 기술 임계 값이 매우 높습니다.Kubernetes는 복잡성으로도 유명합니다.빅 데이터가 Kubernetes를 만나면 문제를 상상할 수 있습니다. 왜 그런 플랫폼을 시작합니까? 이러한 복잡한 상황에서 Zhilingyun은 어떻게 안정적이고 사용하기 쉬운 플랫폼을 출시했습니까? Peng Feng은 이러한 질문에 답했습니다.
클라우드 네이티브 빅데이터 플랫폼 파업
클라우드 네이티브가 기술의 발전 추세라는 데는 의심의 여지가 없습니다. 신속한 배포 및 플랫폼 간 기능을 위한 클라우드 네이티브 지원의 많은 이점으로 인해 최근 몇 년 동안 빠르게 대중화되었습니다. CNCF 2022 설문 조사 보고서에 따르면 조직의 44%가 프로덕션 환경에 클라우드 네이티브 기술을 대규모로 배포했으며 조직의 35%는 프로덕션 환경에 부분적으로 배포했으며 기업의 10% 미만이 클라우드를 시도하지 않았습니다. -네이티브 테크놀로지. .
클라우드 네이티브 기술을 수용하는 과정에서 응용 프로그램 유형의 진행 상황은 서로 다릅니다.그 중 상태 비저장 응용 프로그램(예: 웹 서비스)은 클라우드 네이티브 응용 프로그램으로 가는 가장 빠른 단계이며 상태 저장 응용 프로그램(예: 데이터베이스)은 , 빅 데이터)는 상대적으로 느립니다. 그 이유는 초기 Kubernetes가 데이터베이스 및 빅 데이터와 같은 상태 저장 애플리케이션을 잘 지원하지 않았기 때문입니다.
"그러나 이러한 추세는 확실합니다. 상태 저장 웹 애플리케이션이든 상태 비저장 데이터베이스 및 빅 데이터 애플리케이션이든 결국 클라우드 네이티브가 될 것입니다."라고 Peng Feng은 말했습니다.
이러한 추세를 주도하는 것은 클라우드 네이티브 기술이 제공하는 많은 이점입니다. 기업이 클라우드 네이티브 비즈니스의 일부를 실현하고 클라우드 네이티브 기술의 감미로움을 맛보면 데이터 플랫폼이 클라우드 네이티브를 실현하는 것은 당연한 일이 됩니다. Peng Feng은 Kubernetes에서 빅 데이터 플랫폼을 실행하면 다음과 같은 네 가지 이점이 있다고 생각합니다.
첫째, 통합 관리입니다. 모든 도구가 통합되고 모든 정책 일정도 통합됩니다.
둘째, 자원의 효율적 사용. 과거에는 빅 데이터 플랫폼과 다른 비즈니스 플랫폼의 리소스가 독립적이었고 리소스는 둘 다에 대해 예약되어야 했습니다. 이제 리소스가 통합되고 혼합되어 리소스를 공유할 수 있으므로 리소스 활용률이 크게 향상됩니다.
셋째, 탄성 팽창. 기존의 빅데이터 플랫폼은 주로 사람에 의존하며, 확장 시에도 사람의 참여가 필요합니다. 이제 Kubernetes의 기능을 사용하여 자동 배포 및 확장을 실현할 수 있습니다.
마지막으로 운영 및 유지 보수를 단순화하고 전체 시스템의 안정성을 향상시킵니다. 모든 애플리케이션이 Kubernetes에 있기 때문에 Kubernetes에서 개발된 운영 및 유지 관리 도구는 빅 데이터 애플리케이션에서도 사용할 수 있습니다.
Peng Feng에 따르면 Zhilingyun KDP는 Kubernetes를 기반으로 하는 최초의 공개 컨테이너 빅데이터 플랫폼이자 최초의 진정한 Kubernetes 클라우드 네이티브 빅데이터 플랫폼입니다. 여기서 "true"라는 단어가 강조되는 이유는 KDP의 모든 구성 요소가 컨테이너를 통해 재구성되어 Kubernetes의 표준 관리 시스템에 통합되었기 때문입니다.
왜 지금?
현재 쿠버네티스는 사실상 클라우드 컴퓨팅의 표준 구성이자 클라우드 네이티브의 최고의 파트너가 되었기 때문에 쿠버네티스에 대한 지원을 추가하고 제품을 업그레이드하면 KDP는 쿠버네티스에서 완전히 구축할 수 있는 시장 최초의 제품이 될 것입니다. 배포된 컨테이너화된 클라우드 네이티브 빅 데이터 플랫폼은 실제로 기술 발전 추세를 준수합니다. 실제로 Zhilingyun을 지원하는 데는 두 가지 이유가 있습니다. 첫째, 상태 저장 애플리케이션에 대한 Kubernetes의 지원이 점점 더 성숙해지고 있으며 많은 데이터베이스와 빅 데이터 소프트웨어가 Kubernetes를 지원하기 시작했습니다. 특히 2021년에는 빅데이터 분야에서 두 가지 획기적인 사건이 발생했는데, 먼저 2021년 3월 Apache Spark가 Kubernetes를 지원하고 Kafka도 5월에 Kubernetes를 공개적으로 지원하여 이제 핵심 빅데이터 구성 요소가 Kubernetes를 지원하게 되었습니다.
둘째, 쿠버네티스 수용이 "쿠버네티스의 빅 데이터에 더 적합한 단계"에 도달했으며 현재 많은 상위 고객이 그러한 솔루션을 간절히 찾고 있습니다.
물론 KDP는 HDFS, Hbase, Spark, Flink, Kafka 등과 같은 모든 주요 오픈 소스 빅 데이터 구성 요소를 지원합니다. 기업은 필요에 따라 이러한 구성 요소를 선택할 수 있습니다. Peng Feng은 Zhilingyun이 수행하는 중요한 작업 중 하나는 Kubernetes와 이러한 오픈 소스 구성 요소 사이에 통합 중간 계층을 설정하고 각 구성 요소 간의 연결을 열고 각 구성 요소의 통합 관리 및 스케줄링을 실현하는 것이라고 말했습니다.
특히 빅 데이터 구성 요소의 표준화, 통합 리소스 관리 및 Kubernetes 환경에서 모든 워크로드 실행은 상대적으로 복잡한 작업입니다. 예를 들어 Hadoop, Hive, Spark 중 사용자를 개방하려면 기존의 빅데이터 플랫폼에서 복잡한 수동 구성이 필요했지만 이제 Kubernetes 기반의 KDP는 쉽게 사용자 관리를 개방하고 표준화를 달성할 수 있으며 기존 시스템과 쉽게 통신할 수 있습니다.
Peng Feng은 Zhilingyun이 실제로 중간 관리 팀이라고 설명했습니다. 이전에 이런 중간 관리가 어려웠던 이유는 Hive, Sprk, Kafka... 모두 고유한 릴리스 방법이 있고 빅데이터 구성 요소가 표준화되지 않았기 때문에 통합 관리가 매우 어렵기 때문입니다. 이제 Kubernetes의 지원으로 모든 릴리스 관리 방법을 표준화할 수 있으므로 중간 관리 계층도 구축할 수 있으며 KDP는 중간 관리 계층과 동일합니다.예를 들어 모든 사람이 Windows 리소스 관리자를 사용해야 합니다. KDP는 빅데이터 구성요소의 리소스 관리자와 같은 역할을 하며 빅데이터 구성요소를 모두 관리하고 사용자가 보다 편리하게 사용할 수 있도록 하여 시스템 운영 효율성을 크게 향상시키고 운영 및 유지보수 비용을 절감합니다.
KDP 관리 인터페이스 다이어그램
구체적으로 KDP는 구성 관리를 표준화할 수 있습니다. 즉, 통합 Kubernetes 파일 구성 방법을 채택하여 빅 데이터 구성 요소에 대한 표준화된 구성 관리를 수행하고, 빅 데이터 구성 요소와 Kubernetes 클러스터의 통합을 단순화하고, 효율적인 리소스 활용을 실현하고, 클러스터 리소스를 공유 가능한 것으로 실현할 수 있습니다. 리소스 풀은 실시간 및 오프라인 작업의 혼합 배포를 실현하고 클러스터 리소스의 활용률은 기존 빅 데이터 플랫폼의 30%에 비해 60%로 증가합니다. 컴퓨팅 작업의 성능 병목 현상에 대처하고, 컴퓨팅 리소스 및 클러스터 리소스의 동적 확장을 실현하고, Kubernetes 표준 운영자 작업 모드를 기반으로 운영 및 유지 관리를 단순화하고, 통합 운영 및 유지 관리 인터페이스를 통해 배포, 업그레이드, 확장, 백업 및 기타 작업을 완료합니다. 빅 데이터 구성 요소의 운영 및 운영 및 유지 관리 효율성을 향상시킵니다.
적시에 KDP
Hadoop은 오랫동안 대부분의 기업에서 선택한 빅 데이터 플랫폼이었습니다. 특히 Cloudera가 더 이상 Hadoop 버전 CDH 및 HDP를 유지 및 업그레이드하지 않을 것이라고 발표한 후 Hadoop의 점진적인 쇠퇴와 함께 빅 데이터 플랫폼은 다양한 기능을 제공하여 사용자의 선택에 특정 문제를 가져옵니다. 특히 오픈 소스 빅 데이터 플랫폼을 기반으로 빅 데이터 기술 자체의 복잡성을 추가하면 각 오픈 소스 구성 요소에는 자체 설치 프로세스 및 운영 및 유지 관리 메커니즘이 있으며 설치 및 운영 및 유지 관리는 기술 인력에 대한 요구 사항이 높습니다. Kubernetes에 상당한 문제를 제시합니다.
사용자의 고통은 기업가에게도 기회입니다. 빅 데이터 시장에 기반을 둔 혁신 기업으로서 많은 사람들이 여전히 이 기술의 성숙도에 대해 우려하고 있을 때 Zhilingyun은 기술 추세를 따라 클라우드 네이티브 빅 데이터 플랫폼을 구축했습니다.이 단계는 대담하고 단호하다고 할 수 있습니다.
Peng Feng은 Zhilingyun의 빅 데이터 플랫폼 KDP의 가장 큰 특징은 시장의 다른 빅 데이터 플랫폼 제품과 비교할 때 Kubernetes에 완전히 배포할 수 있는 컨테이너화된 클라우드 네이티브 빅 데이터 플랫폼이며 빅 데이터 구성 요소와 데이터를 통합한다는 점이라고 말했습니다. 애플리케이션 Kubernetes 관리 시스템을 통합하고 시스템 관리를 표준화함과 동시에 KDP는 고객의 다양한 기존 시스템 및 아키텍처에 빠르고 쉽게 인터페이스하고 적응할 수 있습니다.
"우리는 기업에 독립적인 빅데이터 기술 아키텍처나 기본 기능을 제공하는 것이 아니라 클라우드 네이티브 통합 및 통합 관리. .” Peng Feng이 말했습니다.
Zhilingyun KDP 출시 후 시장의 주요 고객들로부터 긍정적인 반응을 받았습니다. Peng Feng은 앞으로 KDP가 소스를 공개하고 컨설팅 및 서비스 수수료 모델을 채택할 것이라고 말했습니다. 그의 목표는 더 많은 회사가 KDP를 통해 데이터 플랫폼을 Kubernetes로 마이그레이션할 수 있도록 하는 동시에 엔터프라이즈 수준의 보안, 엔터프라이즈 수준의 운영 관리 및 엔터프라이즈 수준의 개발 도구 지원을 제공하고 마침내 KDP를 솔루션 게시 플랫폼으로 전환하는 것입니다.
"이 플랫폼의 사용량이 충분히 크면 사용자에게 반제품 AI 모듈과 빅 데이터 모듈을 제공할 수 있습니다. 사용자는 매우 간단한 방법으로 AI와 데이터 기능을 필요한 비즈니스 애플리케이션에 결합할 수 있습니다. 이것이 우리의 목표입니다. 궁극적인 목표입니다." Peng Feng이 말했습니다.
현재 클라우드 네이티브 플랫폼으로 마이그레이션하는 빅 데이터 애플리케이션의 추세도 매우 분명합니다. Gartner의 예측에 따르면 클라우드 네이티브 플랫폼에 배포된 데이터 애플리케이션은 2021년 30%에서 2025년 95%로 증가할 것입니다. 즉, 2025년까지 데이터 애플리케이션의 95%가 클라우드 네이티브 플랫폼에서 실행될 것입니다. CNCF 조사 데이터도 이러한 추세를 뒷받침합니다. CNCF의 2022년 시장 조사에 따르면 조직의 71%가 Kubernetes에서 데이터베이스를 사용하여 전년 대비 48% 증가했으며 조직의 35%가 빅 데이터를 사용하여 전년 대비 36% 증가했습니다. 이러한 데이터로 볼 때 Zhilingyun KDP는 적시입니다.
● LinkTimeCloud 소개 _
Zhilingyun은 중국 클라우드 네이티브 빅 데이터 기술의 혁신적 리더로서 클라우드 네이티브 데이터 통합 개발 플랫폼 및 클라우드 네이티브 데이터 자산 운영을 포함하여 클라우드 네이티브 빅 데이터 플랫폼을 기반으로 하는 클라우드 네이티브 DataOps 제품 시리즈를 기업 고객에게 제공합니다. 플랫폼. Zhilingyun은 기업이 제품 및 서비스를 통해 데이터 및 AI 중간 플랫폼을 구축하고, 비즈니스 데이터 기능의 폐쇄 루프를 쉽게 구축하고, 디지털 운영 시스템을 구축하고, 최종적으로 데이터 기반 디지털 변환을 완료하도록 지원합니다.
Zhilingyun은 에너지, 교육, 의료 건강, 사물 인터넷, 금융 등 분야에서 국내외의 많은 유명 기업에 서비스를 제공했으며 클라우드 네이티브 생태학 분야에서 많은 파트너와 긴밀한 협력을 수행했습니다. 각각의 이점을 최대한 활용하여 공동으로 기업 고객에게 더 가치 있는 클라우드 컴퓨팅, 빅 데이터 제품 및 기술 서비스를 제공합니다.
- 핀 -
KDP에 대해 자세히 알아보려면 "원문 읽기"를 클릭하십시오 .