Cloud Message Queue Kafka 생태계 Talk 문제 1: 코드리스 덤프 기능 소개

[생방송 미리보기] 99위안 클라우드 가상 머신 × 9위안 클라우드 네이티브 아키텍처 √

작가 : 나미

Cloud Message Queue Kafka 버전에서 코드리스 덤프를 수행해야 하는 이유는 무엇인가요?

Cloud Message Queue Kafka 버전 자체는 높은 처리량, 낮은 지연 시간, 확장성의 특징을 지닌 분산 스트림 처리 플랫폼입니다. 실시간 데이터 처리 및 스트리밍 데이터 전송 시나리오에 널리 사용됩니다. 그러나 Cloud Message Queue Kafka 버전을 다른 데이터 소스 및 데이터 대상과 통합하려면 데이터 전송 및 동기화를 달성하기 위한 추가 개발/구성 요소가 필요하며 고객은 R&D, 운영 및 유지 관리 등에 많은 투자가 필요합니다.

연구 및 개발 효율성을 높이기 위해 Cloud Message Queue Kafka 버전은 Alibaba Cloud 제품과 협력하여 코드가 없는 완전 관리형 서버리스 기능을 지원하고 Cloud Message Queue Kafka 버전에서 OSS로의 덤프를 지원합니다. 이 기능의 장점은 다음과 같습니다.

단순한

- 민첩한 개발, 간단한 구성으로 이 기능을 지원할 수 있습니다.
- 다양한 애플리케이션의 OSS 데이터를 쉽게 덤프
- 복잡한 소프트웨어 및 인프라가 필요하지 않습니다.

완전 관리형

- 서버리스 컴퓨팅 기능 제공
- 무료 운영 및 유지 보수
- 성숙한 기능

저렴한 비용

- Cloud Message Queue의 Kafka 버전 자체에는 추가 비용이 없으며 기본 종속성 함수 계산은 볼륨에 따라 비용이 청구됩니다.
- Function Compute는 이 시나리오에 맞게 최적화되었으며 아키텍처와 결합되어 CDN 캐싱 메커니즘 도입, 동적 계산 및 파생 복사본 저장 비용 등 저비용을 달성합니다.
- 제품 통합 링크에 대한 특정 수수료 감소

클라우드 메시지 큐 Kafka 버전 + OSS 주요 애플리케이션 시나리오

데이터 백업 및 보관

OSS는 데이터 백업 및 보관 기능을 제공합니다. 고객은 중요한 데이터를 OSS에 백업하여 데이터 재해 복구 기능을 제공하도록 선택할 수 있습니다. OSS는 데이터 내구성과 신뢰성을 보장하여 데이터 보안과 가용성을 보장합니다. 동시에 OSS는 자주 액세스하지 않는 데이터를 장기간 보관할 수 있는 아카이브 저장 기능도 제공합니다. 고객은 데이터를 OSS의 아카이브 스토리지 범주에 보관하여 스토리지 비용을 절감하고 필요에 따라 데이터 복구를 수행할 수 있습니다.
빅데이터 분석

Alibaba Cloud의 객체 스토리지 OSS는 빅데이터용 스토리지 플랫폼으로 사용될 수 있습니다. 고객은 데이터 분석, 데이터 마이닝, 기계 학습 등의 후속 작업을 위해 다양한 유형의 빅데이터 파일(예: 로그 파일, 센서 데이터, 사용자 행동 데이터 등)을 OSS에 저장할 수 있습니다. 고객은 Alibaba Cloud에서 빅데이터 저장, 처리, 분석 작업을 완료하여 탄력적인 확장과 고성능 빅데이터 처리를 달성할 수 있습니다.
FC 계산 결과 캐시

Alibaba Cloud FC(Function Compute)는 사용자가 더 낮은 비용과 더 높은 탄력성으로 코드를 실행할 수 있도록 지원하는 이벤트 기반 서버리스 컴퓨팅 서비스입니다. Alibaba Cloud Object Storage OSS는 안전하고 안정적이며 확장성이 뛰어난 클라우드 스토리지 기능을 제공하는 클라우드 데이터 스토리지 서비스입니다. FC는 상태 비저장 컴퓨팅 서비스이며 영구 로컬 스토리지를 제공하지 않습니다. 따라서 함수 실행 중에 데이터를 저장하고 접근해야 하는 경우 OSS와 결합하여 OSS에 데이터를 저장할 수 있습니다. 이를 통해 데이터를 지속적으로 저장할 수 있으며 함수 계산의 일시적인 특성으로 인해 데이터가 손실되지 않도록 할 수 있습니다.

코드 덤프 제품 기능 소개

1. 0 코드 개발: 덤프/커넥터는 다양한 데이터 소스 및 데이터 대상과의 통합 기능을 제공합니다. Cloud Message Queue Kafka 버전 덤프/커넥터 기능을 사용하면 개발자는 복잡한 데이터 통합 코드를 작성할 필요가 없으며 데이터 전송 및 동기화를 달성하기 위해 해당 커넥터만 구성하면 되므로 데이터 통합 프로세스가 크게 단순화됩니다.

2. 구성 지원: 사용자는 자신의 필요와 비즈니스 시나리오에 따라 전달 규칙과 저장 전략을 유연하게 구성할 수 있습니다. 시간, 키워드, 주제 등의 차원에 따른 전달이든, 폴더, 파일 이름 등의 차원에 따른 저장 지원이든, 개인별 요구 사항에 맞게 간단한 구성을 통해 구현할 수 있습니다.

3. 높은 신뢰성과 내결함성: 덤프/커넥터는 데이터의 높은 신뢰성과 내결함성을 보장합니다. 데이터 전송 중에 커넥터는 데이터 중복 및 오류 복구를 자동으로 처리하여 데이터가 손실되거나 손상되지 않도록 합니다. 이러한 방식으로 사용자는 데이터 전송 및 예외 처리의 세부 사항에 주의를 기울일 필요가 없으며 비즈니스 로직 개발에 더 집중할 수 있습니다.

4. 서버리스: 요청된 부하에 따라 컴퓨팅 리소스를 자동으로 확장 및 축소할 수 있습니다. 기존의 사전 할당된 서버와 비교하여 서버리스는 실제 요구 사항에 보다 유연하게 적응하고 리소스 낭비와 비용을 줄일 수 있습니다. 구성 요소는 기본 인프라를 관리하고 유지 관리하는 역할을 하며 고객은 서버 구성 및 관리에 신경 쓸 필요가 없습니다.

사용 지침

전제 조건

1. Cloud Message Queue Kafka 버전 인스턴스 준비 [ 1]

종속성이 열려 있습니다. 생성 전제를 참조하세요. [ 2]

1단계: 대상 서비스 리소스 생성

Object Storage OSS 콘솔에 저장 공간(Bucket)을 생성합니다. 자세한 단계는 콘솔에 저장 공간 생성 [ 3] 을 참조하십시오 .

이 문서에서는 oss-sink-connector-bucket 버킷을 예로 들어 보겠습니다.

2단계: OSS 싱크 커넥터 생성 및 시작

Cloud Message Queue Kafka 버전 콘솔 [ 4] 에 로그인 하고 개요 페이지의 리소스 배포 영역에서 지역을 선택합니다.

왼쪽 탐색 모음에서 커넥터 생태계 통합 > 메시지 아웃플로우(싱크)를 선택합니다.

메시지 유출(싱크) 페이지에서 작업 만들기를 클릭합니다.

메시지 유출 생성 패널에서 다음 매개변수를 구성하고 확인을 클릭합니다.

기본 정보 영역에서 작업 이름을 설정하고 유출 유형을 OSS로 선택합니다.

리소스 구성 영역에서 다음 매개변수를 설정합니다.

위의 구성을 완료한 후 메시지 유출(싱크) 페이지에서 새로 생성된 OSS 싱크 커넥터 작업을 찾아 오른쪽 작업 열에서 시작을 클릭합니다. 상태 표시줄이 시작 중에서 실행 중으로 변경되면 커넥터가 성공적으로 생성된 것입니다.

3단계: OSS 싱크 커넥터 테스트

메시지 유출(싱크) 페이지에서 OSS 싱크 커넥터 작업의 이벤트 소스 열에 있는 소스 항목을 클릭합니다.

주제 세부정보 페이지에서 경험을 클릭하여 메시지를 보냅니다.

빠른 경험 메시지 패널에서 아래와 같이 메시지 내용을 구성한 후 확인을 클릭합니다.

메시지 유출(싱크) 페이지에서 OSS 싱크 커넥터 작업의 이벤트 대상 열에 있는 대상 버킷을 클릭합니다.

버킷 페이지의 왼쪽 탐색 모음에서 파일 관리 > 파일 목록을 선택한 후 버킷의 가장 깊은 경로를 입력합니다.

이 경로에는 다음과 같은 두 가지 유형의 개체가 있음을 확인할 수 있습니다.

시스템 메타 파일 : 형식은 .oss_meta_file_partition_{partitionID}이며 파일 개수는 업스트림 토픽의 Partition 개수와 동일하며 배치 정보를 기록하는 데 사용되므로 주의할 필요는 없습니다.
데이터 파일: 형식은 partition_{partitionID} 오프셋 {오프셋}_{8비트 임의 문자열}입니다. 파티션의 여러 메시지가 하나의 객체에 집계되는 경우 객체 이름의 오프셋은 이 배치의 최소 오프셋 값입니다. 메시지.

해당 개체 오른쪽에 있는 작업 열에서 > 다운로드를 선택합니다.