새로운 아키텍처 스트리밍 스파크 김 구조 곧 모드 지원 처리를 계속 마이크로 배치 모드 지원 밀리 응답 GROUPBY 맵 필터 flatMap 지원 작업 위치를 선택
sparkSQL을 지원하는 데이터 추상화 dataframe 및 데이터 세트 SparkSQL 수 전용 핸들은 정적 데이터
스파크 스트리밍 d 스트림의이다
, 불꽃 계산하고 계산 증분 데이터 배치를 계속 추가 할 지속적으로 추가됩니다 무제한의 테이블로 볼 중요한 실시간 데이터 스트림 스트리밍 구조
무제한의 테이블 결과 테이블에 입력 쿼리 생성을, 모든 시스템 시간 시간은 무제한의 테이블의 계산을 트리거하고 업데이트됩니다에서 결과 테이블
기본적으로는 정기적으로, 원본 데이터 스트림을 확인 마이크로 일괄 처리의 지연이 그 전에 있기 때문에, 문의의 배치 번호의 종료 후 재계약에 도달하기 위해, 마이크로 배치 모드 번만 처리되는 데이터를 확인하기 위해 상기와 같은 처리를 언제 중단의 우려가 발생되는 제 미리 기록 로그에 기록 된 데이터 처리 오프셋
연속 처리 모드를 높은 응답 속도를 충족시키기 위해, 예컨대 은행 카드 사기 적 수요 시나리오 브러쉬, spark2.3.0 이후 버전이 모드를 지원 플립 플롭 주기적 과정이 아닐 것이며, 이는 순차적으로 기록하는 일련의 시작하고 ,, 더한 숫자 시리즈는, 상기 데이터의 각각의주기는 오프셋 입력 스트림에 기록 긴 실행 태스크 처리 읽기 비동기 쓰기는 미리 쓰기 로그, 비용은 단 하나의 일관성 데이터가 한 번, 한 번만 적어도 처리하는 유일한 보증은 보증 처리하지 않는 것입니다 적어도 달성 기록 될 때까지 기다리지 않고
