기사 디렉토리
A, rocketMQ
이, 카프카
비교 세 가지 시나리오
네, RocketMQ와 카프카 대비
- 처리량 비교
문의 RocketMQ 이후 V. 왜겠습니까 알리?
여섯째, 카프카 아키텍처 1-- 왜 RocketMQ에 큰 차이 RocketMQ 큐 분산 메시지는 ZK 의존을 제거하는 방법?
참조
A, rocketMQ
는 MQ를 선택하면, 무엇을주의해야 할 : RocketMQ 공동 설립자?
참고 URL : https://blog.csdn.net/weixin_34241036/article/details/86720807
RocketMQ 알리바바, 2012 년 오픈 소스에서 분산 메시징 미들웨어, 그리고 2017 년 최상위 아파치 프로젝트가되었다. 그것은 자회사와 알리를 포함한 클라우드에 메시징 제품의 인수를 포함, 이해, 제품 메시징의 알리 그룹의 전체 범위는 RocketMQ의 상단에 실행 두 번 XI는 최근 몇 년 동안 추진, RocketMQ이 눈길을 끄는 성능을 가지고있다.
카프카는 최상위 아파치 프로젝트에서 2011 년 졸업과 함께, 자체 개발 한 스토리지 엔진은 우리 시야에 정보의 대량 축적, 효율적인 지속성 특성을 가지고. 그러나 특별한 로그 채널 위치, 완전히 나중에 지분 분야에 대한 초기 로그 전송에서 고주파를 알리바바의 온라인 거래 현장이 팀을 위해 설계 (MetaQ라는 내부) 새로운 세대의 메시징 엔진 RocketMQ 개발을 충족시킬 수 없다 알리 지원 차원은 온라인 비즈니스, RocketMQ 널리 트랜잭션, 데이터 동기화, 캐시 동기화, IM 통신, 스트림 컴퓨팅의 IoT 및 기타 장면에서 사용된다.
두 번째 릴리스 당 천만 메시지를 지원하는 밀리 초 응답의 99.996 %가, 각 메시지 미만 3 밀리 세컨드의 평균 응답 시간을 게시 너무 2017 2-11일에 일조 피크 성능 데이터, RocketMQ 데이터의 말하기 더 이상 20 이상 (밀리 초)의 최대 핵심 거래 링크에만 평균 응답 시간 3ms의 동안, 메시징 분야에서 글로벌 리더를했다.
RocketMQ는 낮은 지연 시간, 재시도 메시지 및 추적, 대량 주제, 멀티 테넌트 (multi-tenant)에서, 다중 복사 일관성, 전기의 데이터 신뢰성의 문제에 대한 최적화를 많이, 금융 부문의 사용자 큰 플러스입니다.
두 카프카
카프카 처음 링크드 알려진 분석 작동 통계에 대한 활성 데이터 스트림지지 링크드 링크드 제조 "중추 신경계." 2011 완료 아파치 오픈 소스는 2012 년 10 월 실시간 로그 처리 서비스 솔루션을 기업을 제공하기 위해, 핵심 직원 제이 Kreps, NehaNarkhede 및 6월 라오가 공동 플루 회사를 설립 세 2014 ApacheKafka, 부화 완료했다.
아파치 카프카는 아파치 Samza, 스트림 컴퓨팅 개발 노력 등의 IoT, 아파치 스파크 스트리밍, 아파치 FLINK, 아파치 스톰 컴퓨팅 플랫폼 원 스톱 스트림 등 다양한 분야에 초점을 맞추고, 로그 처리,보기의 지역 지점에서 현재 태어났다 경량 프로그램이 사용자에게 제공 영양분이 사용자 클래스 라이브러리 프로그래밍을 기반으로, 비동기 프로그래밍 프레임 워크 무, 배포 지루한 작업을 가져 예약, 기존의 분산 컴퓨팅 프레임 워크 스트림의 범위를 고려해야 할 필요가 없습니다. 일부 로그 처리, ETL 및 기타 장면에서이 경량의 솔루션은 더 모두 환영합니다.
셋째, 응용 프로그램 시나리오 대비
카프카가 살았던
현재 최상위 아파치 프로젝트에 속하는 메시징 시스템 가입 - 카프카가 살았던 LinkedIn에 게시 분산 오픈 소스입니다. 카프카의 주요 기능은 메시지 소비를 처리하기 위해 풀 모드를 기반으로, 높은 처리량의 추구가 목적은 로그 수집 및 전송을 시작하는 것입니다. 0.8 버전은 인터넷 데이터 수집 비즈니스 데이터 서비스의 큰 숫자를 생성하는 반복 메시지가 분실, 오류가 엄격하게 필요하지 않습니다, 적절한 트랜잭션을 지원하지 않으며, 복제를 지원하기 시작했다.
요약 : 메시지 소비를 처리하는 카프카의 주요 기능을 기반으로 풀 모드는 높은 처리량의 추구가 목적은 인터넷 데이터 수집 비즈니스 데이터의 큰 숫자를 생성하기위한 적절한 로그 수집 및 전송을 위해 시작하는 것입니다.
대기업은 로그 수집 기능은 확실히 선호 카프카 경우 당신이 선택할 수 있습니다 것이 좋습니다.
RocketMQ
RocketMQ 알리 오픈 소스 메시징 미들웨어, 높은 처리량, 고 가용성, 대규모 분산 시스템 애플리케이션에 적합한 특성을 가진 순수 자바 개발입니다. 스트림은 푸시 알림, 스트리밍 기록, 계산, RocketMQ 아이디어는 카프카에서 유래하지만, 카프카는, 최적화의 메시지 및 트랜잭션의 안정적인 전송, 그것은 널리 알리 그룹 트랜잭션, 충전에 사용되는 복사되지 않습니다 binglog 유통 및 기타 장면.
요약 : 인터넷 분야의 자금으로 태어나는 거래의 많은 수의 유입이, 백엔드 적시에 상황을 처리 할 수 없습니다 장면의 높은 신뢰성 요구 사항, 특히 주문에 대한 요금 내부에 전기 공급뿐만 아니라, 비즈니스 클리핑을 위해 태어났다.
안정성 RoketMQ 귀하의 비즈니스가 위의 시나리오가 복잡하면 11 배 알리에서 이러한 비즈니스 시나리오, 테스트의 숫자를 경험하고, 더 신뢰할 수있다, RocketMQ을 선택하는 것이 좋습니다.
높은 동시성, 높은 신뢰성 및 더 많은 장면을 요구하는 고 가용성의 수를 처리하기 위해, 아파치 RocketMQ은 좋은 선택입니다. 최근 흥미로운 현상, 일부 국내 중형 및 대형 규모의 회사는 일반적으로 엔진을 메시징 두 세트를 배포을 발견하는 선택 아파치 RocketMQ 핵심 링크 거래, 유통 및 기타 데이터에 사용하는 선택 아파치 카프카는 대용량 데이터에 사용 링크 온라인, 오프라인 분석. 카프카이 큰 생태 학적 데이터의 건설에 현재, 의심의 여지가 없다, 그것은 특정 선점 효과를 가지고있다.
현재, 그들의 분산 된 금융 시스템의 건설에 많은 국내 금융 부문의 선두 주자는 또한 RocketMQ을 선택하고있다.
넷 RocketMQ 카프카 대비
- 의 처리량 비교
카프카의 가장 높은 처리량, RocketMQ 모든 메시지는 순차 쓰기 파일 (디스크 읽기 및 랜덤 액세스 메모리를 초과하는 쓰기 속도 순차)이다.
카프카 항목 번호 rocmq은 16 % 감소, 처리량은 98 %의 삭제, 256 (64)에서 증가 하였다.
이유 :
각 주제 카프카, 각 파티션은 실제 파일에 해당하기 때문입니다. 주제 메시지 떨어져 흩어져있는 수를 증가하면 플레이트 전략은 IO가 병목 현상이 디스크에서 치열한 경쟁으로 이어질 것입니다. 모든 메시지는 같은 실제 파일에 저장됩니다 RocketMQ, 주제 및 파티션의 수는 RocketMQ에게 유일한 논리적 개념, 주제 성능 RocketMQ의 수가 너무 증가를 분할하지 않습니다 큰 영향 원인.
카프카가 살았던
카프카 최대의 처리량을 살았에 17.3w / S, 그것은 미들웨어 업계의 선두 주자 메시징 처리량이 높은 사실이다. 이 프로세스가 쓰기 디스크 IO 선형 있는지 확인하기 위해 큐 모드에 따라 달라집니다. 이 브로커 디스크에서 IO 병목에 도달했습니다.
RocketMQ
RocketMQ은 이미 100 %에 가까운 util을 처리량 11.6w / S, 디스크 입출력 %, 잘하고있다. 특별한 조작 브러시 판을 수행하는 별도의 스레드에 의해, 반환 ACK 후 메모리에 기록 RocketMQ 메시지, 모든 메시지는 순차 쓰기 파일입니다.
V. 왜겠습니까 알리 문의 RocketMQ 이후?
(1) 카프카 비즈니스 시나리오는 주로 로그 전송에 위치하고, 복잡한 사업에 대한 지원이 부족
(2) 알리 많은 시나리오 데이터 서비스 신뢰성, 실시간 데이터, 메시지 큐의 다른 요구 사항의 높은 숫자.
엄청난 양의 데이터를하지만, 데이터 요구 사항의 정확성에 대한 카프카는 매우 엄격하지 않습니다. 그리고 알리바바에서 거래 관련 일들이 데이터의 정확성에 대한 높은 요구는, 카프카 부적절한에 대한
(3) 사업은 특정 크기로 성장할 때, 오픈 소스 기술 프로그램 비용의 사용이 높아진다.
코드 호환 새로운 버전의 개발이 문제가 될 가능성이 있기 때문에, 이전 버전을;보기, 카프카 사용 스칼라 쓰기의 운영 및 유지 보수를 가리킨 알리 자바 기반 오픈 소스 솔루션은 비즈니스의 요구를 충족시킬 수 없다. 지속적인 유지 보수 카프카는 문제입니다.
(4) 팀, 비용 및 자원 투자 알리와 다른 제한 조건은 거의 없음.
사업이보다 다음과 같은 기능을 지원해야 할 때 요약하면, RocketMQ 알리가 더 많은 비즈니스를 구동 자신의 발전을 선택할 수 카프카가 아니라 풍부하고 강력한 기능과 강력한 비즈니스도 복잡, 만족 또는 기타의 ActiveMQ 메시지 브로커이 충족되지, 우리는 이렇게 그들은 자신을 개발했다.
시스템이 비즈니스 이벤트에 적합하지 않습니다 그래서 또한 자체가 진정한 전송 로그를 달성하기 위해 초기에, 카프카 큰 오해입니다,하지만 개발의 년 후에, 그 범위는 초기 로그에 한정되지 않고, 많은의, 카프카 고려 로그 전송에 사용됩니다 카프카의 회사가 합류 시스템 구현을 단순화하는 카프카에 따라 많은 예제를 제공 한 뒤, 카프카를 로그를 처리하는 데 사용하지 않는 걸릴.
기능적인 차이의 개발에 모두가 곧 부드럽게합니다.
RocketMQ는 카프카의 자바 버전으로 이해 될 수있다.
여섯째, 카프카 아키텍처 1-- 왜 RocketMQ에 큰 차이 RocketMQ 큐 분산 메시지는 ZK 의존을 제거하는 방법?
1 카프카의 구조에 큰 차이 RocketMQ 큐 메시지 분산 - ZK 의존을 제거하는 이유는 RocketMQ?
참고 URL : https://blog.csdn.net/gh670011677/article/details/75095460
RocketMQ의 이전 버전에서는, 그것은 ZK에 따라 달라집니다. 지금 버전은 ZK에 대한 의존도를 제거하고 대신 NameSrv에게 자신의 발전을 사용하는 것입니다.
그리고이 NameSrv는 그 코드가 매우 가볍고, 매우 간단 여러 개의을 배포 할 자유, 무 상태입니다.
즉, 요구 도움이되지 수 사육사는 매우 일반적으로 같은 카프카와 같은 클러스터 관리 미들웨어에 대한 업계에서 사용되는 의존 ZK입니다. RocketMQ가 자신의 바퀴를 구축해야하는 이유, 그것은 클러스터 자신의 경영을? 사육사는 순수하게 그것을인가?
마스터 / 슬레이브 개념의 차이
카프카 : 마스터 및 슬레이브 역할의 역할을하면서 마스터 / 슬레이브는, 논리적 개념, 컴퓨터 1입니다.
RocketMQ : 마스터 / 슬레이브 물리적 개념, 기계는 마스터 또는 슬레이브가 될 수 있습니다. 클러스터의 초기 구성에서 죽은 지정. 마스터 상기 브로커 ID = 0, 슬레이브 브로커 ID> 0.
브로커 개념 차이
카프카 : 브로커는 물리적 개념, 대응 하나 개의 시스템에 브로커입니다.
RocketMQ : 브로커는 논리적 개념 브로커 = 1 + 마스터 슬레이브 복수이다. 따라서이 개념은 마스터 브로커, 슬레이브 브로커가 있습니다.
여기에, 마스터와 슬레이브는 페어링하는 방법은? 대답은 브로커에 의해 이름입니다. 마스터와 슬레이브의 브로커 이름을 가진 한 쌍을 가졌어요.
그래서 여기에 우리가 볼 수있는이 두 개념의 RokcetMQ와 카프카 정의를 단지 차례! 카프카는 제 브로커, 그리고 마스터 / 슬레이브를 생성 RokcetMQ은 마스터 / 슬레이브, 그 조합 브로커를 정의하는 것이다.
답변 : 왜 ZK를 갈 수 있나요?
카프카의 내부에서, 메이저 / 슬레이브가 선출! ! ! RocketMQ는 필요가 없다 선거를 할! ! !
RocketMQ에서 선거를 필요로하지 않는 역할은, 마스터 / 슬레이브는 고정되어 있습니다. 마스터를 끊었 때, 당신은 다른 마스터를 기록 할 수 있지만 슬레이브 마스터에 스위치를 언급하지 않았다.
이 단순화 등 RocketMQ 좋은 관리 ZK 매핑 관계를 주제 / 큐 및 물리적 시스템에 의존 할 수 있지만, 또한 고 가용성을 달성 할 수 있습니다.
그런 말을하는 데, 그 대답은 기본적으로 알아야하는 것입니다 RocketMQ은 문제를 단순화, 그 종류는 카프카와 같은 매우 강한 선거 논리가 필요하지 않습니다. 나머지는 라우팅 정보를 주제 / 대기열이 다음 매우 가볍고, 또한 무, 신뢰성도 좋은 보장을받을 수 있고, 얻을 수있는 간단한 네임 서버를 사용합니다.
참조
RocketMQ 공동 설립자 : 당신이 MQ를 선택할 때 무엇을주의하는 것이?
참고 URL : https://blog.csdn.net/weixin_34241036/article/details/86720807
높은 동시 아키텍처 시리즈 : 카프카, RocketMQ, RabbitMQ 비교 장점과 단점
참조 URL : https://blog.csdn.net/ChenRui_yz/article / 세부 / 86154132
메시징 미들웨어 기술 및 미들웨어 비교 메시징의 다양한
참조 URL을 : https://blog.csdn.net/Future_LL/article/details/86752329
RocketMQ는 카프카 교체 방법, 비트 여행을하게 천억 새로운 메시징 엔진의 선택?
https://www.jianshu.com/p/1efeb2e79926 다음 URL을 참조하십시오
카프카, RabbitMQ, RocketMQ 다른 메시징 미들웨어 소개 및 비교
참조 URL : https://www.jianshu.com/p/f2b6b4c439c5
기술 선택 : RocketMQ을 또는 카프카의
참조 URL : https://blog.csdn.net/weixin_34104341/article/details/91441250
카프카 연결 연습의 응용 프로그램을 기반으로 - 실시간 데이터 통합 플랫폼을 만들
참조 URL을 : https://cloud.tencent.com/developer/ 뉴스 / 217133
----------------
면책 조항 :이 문서에 원래 문서 CSDN 블로거 "Xijing 도사 ', 그리고 따라 CC 4.0-SA 저작권 계약, 복제, 원본과 링크를 첨부하시기 바랍니다있다 이 문장.
원본 링크 : HTTPS : //blog.csdn.net/inthat/article/details/100037860
