쿠버네티스는 오픈소스 컨테이너 오케스트레이션 엔진으로 2014년 출시 이후 개발자들에게 큰 사랑을 받아왔습니다. 아무도 쿠버네티스가 이렇게 큰 성공을 거둘 것이라고 생각하지 않았습니다. 오늘날 클라우드 네이티브 기술 개발의 물결 속에서 컨테이너 오케스트레이션 분야의 사실상의 표준이자 클라우드 네이티브 분야의 핵심 프로젝트인 쿠버네티스는 클라우드 네이티브의 표준 구성이 되었습니다.
— 1 —
쿠버네티스 의 성공: 컨테이너 레이아웃 시장 패턴 재작성
Kubernetes의 경우 Docker를 피할 수 없습니다.
2010년에 dotCloud라는 회사는 Google에서 출시한 Go 언어를 기반으로 일련의 내부 도구를 개발했으며 나중에 Docker로 명명되었습니다. 애플리케이션 개발, 게시 및 실행을 위한 개방형 플랫폼으로서 Docker의 인기는 Google, Microsoft 및 Amazon과 같은 거인도 선호할 정도로 빠르게 증가했습니다.
그러나 비즈니스 규모가 점차 확장되고 컨테이너가 점점 더 많아짐에 따라 일련의 새로운 문제가 발생합니다. 서비스를 중단하지 않고 애플리케이션을 업그레이드하려면 어떻게 해야 합니까? 애플리케이션의 상태를 모니터링하는 방법은 무엇입니까? 컨테이너에서 프로그램을 일괄 다시 시작하는 방법...
이러한 문제를 해결하기 위해 필요한 것은 컨테이너 오케스트레이션 기술입니다. 이 기술은 많은 머신을 추상화하고 여러 컨테이너를 배포, 관리 및 모니터링하고 실제 PaaS 플랫폼 역할을 하여 사용자가 자신의 컨테이너 애플리케이션을 배포할 수 있도록 합니다.
컨테이너 자체에는 "가치"가 없다는 것이 밝혀졌습니다. 가치 있는 것은 컨테이너 배열입니다.
이에 2014년경 도커, 메소스, 구글이 잇달아 자체 PaaS 플랫폼을 출시하면서 컨테이너 오케스트레이션을 위한 전쟁이 공식적으로 시작됐다.
컨테이너 엔진 시장에서 큰 성공을 거둔 Docker가 컨테이너 오케스트레이션 분야에 진출하는 것은 자연스러운 일입니다. Docker는 2015년 초에 Swarm을 출시했습니다. Swarm 플랫폼은 Docker 생태계와 원활하게 통합되며 사용자는 저렴한 비용으로 전환할 수 있습니다.
2014년 Mesos는 Docker 컨테이너를 지원하는 최초의 컨테이너 오케스트레이션 프레임워크 중 하나가 되었습니다.가장 큰 장점은 중요한 작업을 실행할 때의 성숙도입니다.다른 컨테이너 기술보다 성숙하고 신뢰할 수 있어 Twitter, Apple과 같은 회사에서 채택하고 있습니다. , Netflix.채택.
2014년 6월 Google은 10년 이상 엄격하게 비밀로 유지된 Google의 비밀 무기인 Borg의 오픈 소스 버전으로 Kubernetes를 출시했습니다. 즉, 처음부터 Kubernetes는 다른 사람이 도달하기 어려운 높이에 도달했습니다.각 핵심 기능의 제안은 거의 Google에서 실행되는 Borg/Omega 시스템의 설계 및 경험에서 탄생합니다. 수년 동안 오픈 소스 커뮤니티에서 구현되었으며 마지막으로 전체 커뮤니티의 기여 덕분에 Borg 시스템에 남아있는 많은 결함과 문제가 개선되고 수정되었습니다.
더 가치 있는 것은 Kubernetes가 Borg를 직접 확장하는 것이 아니라 이러한 귀중한 경험을 바탕으로 처음부터 설계되어 역사적 부담 없이 가장 진보된 설계 개념을 채택한다는 것입니다.
쿠버네티스만의 선진성과 완결성으로, 미성숙한 도커 기술 스택과 오래된 메소스 커뮤니티에 비해 쿠버네티스는 늦게 데뷔했지만 후발주자로서 분명한 이점이 있다.
2015년 5월 구글에서 쿠버네티스의 검색 인기도는 메소스와 도커 스웜을 훨씬 넘어섰고 이후 급상승하면서 컨테이너 오케스트레이션 엔진 분야의 3대 기둥 시대는 끝났다.
2017년 9월 Mesos는 Kubernetes 지원을 발표했습니다.
2017년 10월 Docker는 공식적으로 Kubernetes를 지원했습니다.
2018년 3월 CNCF를 정식으로 졸업하고 컨테이너 오케스트레이션의 첫 번째 형제의 자리를 차지하기 시작했습니다.
오늘 클라우드 네이티브 빅데이터 분야에서 두 가지 획기적인 이벤트가 더 있습니다. 이제 K8s를 지원합니다.
— 2 —
쿠버네티스 시장 상태: 기업의 53% 이상이 빅데이터 애플리케이션을 쿠버네티스로 마이그레이션
아마도 많은 사람들이 쿠버네티스를 모니터링하고 관리하기 어려운 복잡한 소프트웨어라고 생각하지만, 지난 몇 년 동안 쿠버네티스는 놀라운 발전을 이루었습니다. 업계의 주류 기술인 IT에 대한 이점은 단점보다 훨씬 큽니다.
Dimensional Research의 새로운 연구에 따르면 쿠버네티스가 주류 기술이 되고 있다는 가장 분명한 징후 중 하나는 배포되는 클러스터 수가 급속히 증가하고 있다는 것입니다. 2020년에 이 질문을 받았을 때 기업의 30%가 5개 이하의 클러스터를 가지고 있었고 15%만이 50개 이상의 클러스터를 가지고 있었습니다. 2022년 조사에 따르면 기업의 12%만이 클러스터가 5개 이하인 반면, 29%는 50개 이상의 클러스터가 있으며 향후 계획에 따르면 내년에는 더 폭발적인 성장이 있을 수 있습니다.
공식 계정에 주목하시고 키워드 [Clearpath]를 입력하시면 "Kubernetes Big Data Report 2022(중국어판)"을 받아보실 수 있습니다.
페퍼데이터 보고서에서 응답자의 절반 이상(53%)이 "전체 지출을 줄이기 위해 빅데이터 애플리케이션을 쿠버네티스로 마이그레이션하고 있다"고 말했다. 거기에 응용 프로그램. ([Pepperdata] 키워드에 응답하여 보고서의 전체 중국어 버전을 얻으십시오)
또한 2022년 봄, 리서치 회사 Clearpath Strategies의 설문 조사 보고서에 따르면 응답자의 83%가 운영 수입의 10% 이상을 Kubernetes에서 데이터를 실행하는 데 기여하고 있으며 기업의 1/3은 비즈니스 생산성이 개선되었습니다.더블.
기업은 리소스를 더 잘 활용하기 때문에 컨테이너를 수용하고 있습니다.
Dimensional Research 보고서에 따르면 응답자의 99%가 Kubernetes 배포의 이점을 알고 있다고 말했습니다. 상위 2개의 이점은 그대로 유지되어 리소스 활용도가 향상되고(59%) 애플리케이션 업그레이드 및 유지 관리가 간소화됩니다(49%). 세 번째는 클라우드 환경으로의 마이그레이션 실현(42%), 네 번째는 하이브리드 클라우드 모델의 실현(40%)이다. 퍼블릭 클라우드 비용 절감을 선택한 응답자 비율(34%)도 작년보다 6포인트 증가했습니다.
응답자의 약 1/3이 올해 추가된 두 가지 옵션을 선택했습니다. 즉, 운영 팀 구성원이 보다 효율적으로 작업하고 기술을 적용할 수 있게 하고(32%) 이전에 고립된 팀의 비효율성을 제거합니다(28%). Kubernetes는 운영 속도를 저하시킬 수 있는 마찰을 줄이고 IT 리소스 활용을 극대화하며 팀이 보다 효율적이고 긴밀하게 협력할 수 있도록 지원합니다.
— 3 —
Kubernetes는 많은 것을 제공합니다. 기존의 빅 데이터 플랫폼 변환
쿠버네티스의 개발 이력을 살펴보고 현재 시장 상황을 분석한다고 해서 K8이 기업에서 널리 사용되었다는 의미는 아니다. 그러나 현재 국내 기업이 K8s를 사용할 때 대부분 클라우드 컴퓨팅 관련 스케줄링을 하고 있고, 빅데이터 분야의 경우 기업은 여전히 또 다른 복잡한 시스템, 즉 전통적인 빅데이터 플랫폼을 관리하고 있다.
기업이 빅데이터 플랫폼을 사용하려면 처음에 최소 12대의 서버를 구입하고 빅데이터의 각 구성 요소를 설치할 전문가를 찾아야 하며, 설치 후에는 개발 플랫폼, 운영 및 유지 관리 플랫폼, 다양한 도구 구입 건설 및 사용 비용, 임계 값 및 의사 결정 위험이 상대적으로 높습니다.
이후 기존 빅데이터 플랫폼의 단점과 다양한 단점이 점차 드러났다. 예를 들어 여러 부서가 클러스터를 공유하고 리소스 격리 및 제한 없이 서로 상호 작용합니다. 데이터 구성 요소의 릴리스 프로세스는 고객의 독립적인 데이터 기능을 형성할 수 없습니다.
이제 이러한 빅데이터 플랫폼을 K8s로 마이그레이션하면 위와 같은 문제가 해결될 것인데 이러한 요구사항과 배경을 바탕으로 Data on Kubernetes라는 용어가 나옵니다.
지난해 10월 북미에서 진행된 KubeCon이 막 종료되었습니다.처음으로 Data on Kubernetes 특별 세션을 구성하여 Kubernetes에서 데이터 애플리케이션을 실행하는 방법에 대해 이야기했습니다. 큰 관심. DoK 커뮤니티에서 조직한 업계 보고서에 따르면 Data on Kubernetes를 사용하는 이러한 기업이 처음 두 가지를 기반으로 이러한 애플리케이션을 Kubernetes로 마이그레이션하려는 이유는 관리의 통합을 보장하고 관리를 단순화하기 위한 것입니다.
지금까지 고객이 종종 "라이브" 및 "순수"라고 부르는 클라우드 네이티브 빅 데이터 플랫폼이 등장했습니다. Zhilingyun이 독자적으로 개발했으며 시장에서 Kubernetes에 완전히 배포할 수 있는 최초의 컨테이너화된 클라우드입니다. 네이티브 빅 데이터 플랫폼--Kubernetes Data Platform(줄여서 KDP).
— 4 —
Kubernetes 변환 아이디어: 모든 구성 요소가 K8s로 변환되어 진정한 클라우드 네이티브 빅 데이터 플랫폼을 만듭니다.
KDP는 업계의 많은 기업들이 하고 있기 때문에 순수한 K8s 클라우드 네이티브 빅데이터 플랫폼이라고 할 수 있지만, 그들 사이의 주요 차이점은 서로 다른 경로를 택한다는 것입니다. 마켓 빅데이터 플랫폼.
100% K8s 기반으로 구축된 빅데이터 플랫폼은 이미 실리콘밸리에서 시행됐으며 그 추세는 자명하다. 그러나 많은 국내 제조업체는 여전히 전통적인 빅 데이터 플랫폼의 원래 문제를 다루고 있으며 일반적으로 국내 사용자는 기존 아키텍처에서 원활하게 마이그레이션하는 것을 선호하며 제조업체는 더 신중합니다.
예를 들어 일부 제조업체는 자체 스케줄링 시스템 및 분산 컴퓨팅 시스템을 기반으로 빅 데이터 플랫폼을 개발합니다.K8s 변환도 수행하고 스케줄링 작업의 일부를 K8s로 이동하지만 대부분의 구성 요소는 여전히 원래 빅 데이터 플랫폼을 기반으로 합니다. .시스템 운영은 클라우드 네이티브 아키텍처에서 데이터 플랫폼을 실제로 구현하지 못했습니다.
따라서 대부분의 빅 데이터 회사가 K8s에서 많은 작업을 수행했지만 Zhiling Cloud의 차이점은 최초의 실제 K8s 클라우드 네이티브 빅 데이터 플랫폼을 구축한다는 것입니다. '진짜'라는 단어가 강조되는 이유는 플랫폼의 모든 구성 요소가 컨테이너를 통해 재구성되어 K8s 표준 관리 시스템에 통합되었기 때문입니다.
이것의 가치는 자명합니다 서로 다른 환경에 걸쳐도 기본 인프라가 K8s 환경이면 물리적 인프라의 구성을 반복적으로 처리할 필요가 없고 코드 수정이 필요 없으며 큰 데이터 플랫폼을 원활하게 구축할 수 있습니다.
또한 "클라우드 네이티브 빅 데이터 플랫폼"의 기본 지원은 전 세계적으로 공유되는 플랫폼입니다. 사용자는 기존 시스템을 리소스 풀로 마이그레이션하여 리소스 활용도를 높일 수 있습니다. 동시에 클라우드 네이티브 스토리지 컴퓨팅 분리 아키텍처는 콜드 데이터 스토리지와 핫 데이터 스토리지를 별도로 관리할 수 있습니다. 스토리지 비용을 줄이기 위한 스토리지.
물론 KDP를 사용하면 사용자가 Hadoop에 대한 의존성을 완전히 제거하고 K8s 환경에서 모든 워크로드를 직접 실행할 수 있으며 리소스 관리를 통합하고 다중 테넌트 청구 관리를 용이하게 하며 운영 및 유지 관리 비용을 크게 줄일 수 있습니다.
정리하자면 클라우드 네이티브 빅데이터 플랫폼이라는 말을 자주 듣게 되는데, 이번에 드디어 뭔가 살아있는 것을 보게 되었습니다.
- 핀 -
더 흥미로운 추천