기업 데이터 규모의 성장과 비즈니스의 다각화된 발전으로 인해 대용량 데이터에 대한 실시간, 다차원의 유연한 쿼리가 일반적인 비즈니스 요구 사항이 되었습니다. 동시에, 다중 데이터베이스 시스템이 표준이 되어 데이터 관리가 복잡해질 뿐만 아니라 데이터 사용의 어려움도 증가하고 있습니다. 점점 더 복잡해지는 데이터 환경과 엄격한 데이터 보안 요구 사항에 직면하여 이러한 시스템이 필요합니다. 여러 데이터베이스 시스템의 공존 문제, 심각한 사일로, 혼란스러운 권한 관리, 데이터 쿼리 및 추출의 어려움 등의 데이터 문제를 해결합니다. 동시에 기업에서는 데이터 보안 제어에 대한 요구 사항이 점점 더 높아지고 있습니다. 다양한 역할과 부서에서 다양한 데이터에 액세스해야 합니다. 데이터베이스 권한을 세밀하게 제어 하고 데이터 유출 및 오작동을 방지하는 방법이 중요한 과제가 되었습니다.
건설 배경
일일 쿼리와 비교하여 인덱싱, 파티셔닝 및 기타 기술을 사용하여 시스템 구현 중에 쿼리 효율성을 최적화하고 향상시킵니다. 임시 쿼리를 생성하는 방법에는 여러 가지가 있습니다 . 일반적인 방법은 데이터 웨어하우스의 DIM 테이블과 Fact 테이블을 의미 계층에 매핑하는 것입니다. 분석가는 의미 계층을 사용하여 테이블 간의 연결을 설정하고 최종적으로 SQL 문을 생성합니다. 임시 기능 은 분석입니다 . 이러한 쿼리는 사용 중에 엔지니어에 의해 일시적으로 생성됩니다. 시스템은 이러한 쿼리를 미리 최적화할 수 없습니다. 데이터 웨어하우스 시스템에서는 임시 쿼리를 많이 사용할수록 데이터 웨어하우스에 대한 요구 사항이 높아집니다.
은행과 소비자 금융 회사를 예로 들면, 그들은 비즈니스 문의와 통일된 Ad-Hoc 요구 사항을 가지고 있으며, 해당 부서는 상품 연구 개발, 운영 프로모션, 대출 후 관리, 법률 준수 등 다양한 비즈니스 영역을 담당합니다. 여러 유형의 데이터베이스 인스턴스가 공존함에 따라 사용자 시스템 통합, 데이터 권한 관리, 운영 보안 감사, SQL 쿼리 구문과 같은 측면이 매우 복잡해지며, 여러 데이터베이스에 액세스하고 데이터 내보내기를 통합할 수 있는 플랫폼이 시급히 필요합니다.
사례 시나리오
업무 규모의 성장에 따라 업무 처리 효율성과 리스크 관리 수준을 향상시키기 위해 업무를 크게 리스크 관리부, 기술부, 금융시장부 3개 부서로 구분하고 있으며, 그 중 리스크 관리 인력은 SQL을 능숙하게 활용할 수 있습니다. 하지만 서로 다른 대상을 지정해야 합니다. 비즈니스에서 SQL 구문을 변경할 때 구문 비호환성이 자주 발생합니다. 금융 시장 직원은 SQL을 거의 사용하지 않으며 자세한 데이터를 가져오기 위해 시각적으로 끌어서 놓아야 합니다 . 과학기술부 개발자들은 데이터베이스를 운영할 때 실수로 핵심 데이터를 삭제 및 수정하는 경우가 많으며, 비즈니스 데이터베이스에 압력을 가하는 위험한 SQL을 작성하는 경우가 많아 데이터 보안을 보장하기 위해 사용자에게 DDL 권한 및 코드 검사를 설정해야 합니다.
부서 관리자는 플랫폼 내에서 사용자의 계정 정보와 데이터 소스의 JDBC 링크 정보를 일률적으로 구성하고 비즈니스 요구에 따라 데이터 권한 및 코드 검증 규칙을 구성합니다 . 기본 구성을 완료한 후 위험 관리자는 다운스트림 컴퓨팅 엔진을 차단할 수 있습니다. 금융 시장 담당자는 플랫폼에서 공통 SQL 구문을 사용하여 숫자를 검색해야 하며 먼저 비즈니스에 따라 일반적으로 사용되는 데이터 모델을 구성한 다음 시각적 검색 및 Excel 데이터 정렬을 수행해야 합니다. 개발자는 할당된 권한에 따라 데이터베이스에 대해서만 DML 문을 실행할 수 있습니다. 권한을 초과하여 승인이 필요한 SQL이 있는 경우 승인을 통과한 후에만 실행할 수 있습니다.
문제점 분석
1. 계정 보안 위험이 존재합니다.
데이터베이스 계정은 여러 운영자가 공유하는 경우가 많습니다. 운영 및 유지 관리 담당자의 권한은 실제 작업에 필요한 권한을 초과할 수 있어 데이터 보안에 위협이 됩니다.
2. 데이터베이스마다 구문 차이가 있습니다.
다양한 유형의 데이터베이스에는 고유한 SQL 구문과 규칙이 있습니다. 개발자가 SQL 쿼리 문을 작성할 때 다양한 데이터베이스에 적응해야 하므로 개발 작업량이 증가하고 잠재적인 오류 및 성능 문제가 발생할 수 있습니다.
3. 다차원 비즈니스 쿼리에서 발생하는 문제
드릴링, 스크롤, 슬라이싱, 다이싱 및 행-열 변환은 비즈니스 쿼리 프로세스 중에 소매 시나리오에서 단일 PV를 쿼리하거나 비즈니스 흐름을 쿼리할 때 수백 기가바이트의 쿼리 메모리가 필요합니다. 항상 부족합니다. 야간 일정 및 데이터 동기화, 제품 관리자 및 분석가는 근무 시간 중에 작업 스크립트를 종료합니다.
4. 감사 추적이 부족하고 추적이 어렵습니다.
기존 도구로는 사용자 및 행동 데이터를 기록할 수 없습니다. 비정상적인 데이터 작업이 있는 경우 소스를 추적할 수 없으며, 이로 인해 데이터가 2차적으로 침해될 수 있으며 장기적으로 건전하고 안정적인 운영에 어려움을 겪을 수 있습니다. 플랫폼.
5. 비즈니스 담당자는 SQL을 덜 자주 사용합니다.
많은 보고서 및 분석가 직원은 SQL 문에 익숙하지 않습니다. 새로운 보고서를 추가하거나 고정 보고서 필드를 변경할 때 데이터 탐색이 필요합니다. 과거에는 추출 작업을 수행하려면 IT 직원이 SQL 쿼리를 작성해야 했기 때문에 데이터 쿼리 주기가 길고 효율성이 낮았습니다. 비즈니스 의사결정 지원.
6. 비즈니스 데이터가 여러 시스템에 분산되어 있습니다.
복잡한 융합 분석 시나리오에서는 데이터 분석가가 로컬 Excel 파일에 저장된 데이터를 시스템으로 가져와 비즈니스 데이터베이스 데이터와 연결하기가 어렵기 때문에 비즈니스 데이터를 적시에 유연하게 분석하는 것이 불가능합니다.
건설 계획
1. 통합 쿼리 엔진
여러 데이터베이스 구문에 대한 적응을 지원하고 쿼리 문을 자동으로 변환하며 구문 강조, 키워드 프롬프트, 서식 지정 및 기타 기능을 포함한 IDE 편집 인터페이스를 제공하므로 사용자는 기본 데이터베이스의 구문 차이에 대해 신경 쓸 필요가 없으며 작업을 완료할 수 있습니다. 원스톱 처리, 데이터 분석 및 기타 전체 프로세스 기능에서 데이터 연결 및 데이터.
2. 통합 신원 인증 관리
플랫폼을 사용하기 전에 관리자는 사용자의 개인 계정 정보와 해당 권한을 유지해야 합니다. 통합 쿼리 플랫폼 에 로그인한 후에만 데이터베이스에 접근할 수 있으며, 데이터베이스의 실제 계정 비밀번호에 접근할 수 없습니다.
3. AI 지원 데이터 쿼리
해당 SQL 명령은 자연어로 표현된 데이터 쿼리 결과를 기반으로 SQL 생성, 재작성, 오류 수정 등을 포함하여 번역될 수 있어 쿼리 담당자가 복잡한 데이터 추출 및 분석 작업을 쉽게 완료할 수 있습니다.
4. 데이터 분석의 임계값을 낮추세요
비즈니스 담당자는 드래그 앤 드롭 작업을 사용하여 데이터 추출, 모델 구성, 필터 구성, 시각적 보고서 구성 등의 기능을 수행할 수 있으며 기본 내용을 깊이 이해하지 않고도 직관적으로 데이터 소스를 선택하고 쿼리 조건을 정의하고 데이터를 결합할 수 있습니다. 데이터 의사결정 지원 기능을 향상하기 위한 데이터베이스 구조 및 SQL 구문.
5. 데이터베이스 보안 권한 관리 및 제어
데이터 둔감화 및 행 수준 권한 과 같은 보안 조치를 구성하고 , 다양한 역할 및 책임에 따라 권한을 설정하여 비즈니스 데이터베이스 데이터의 개인정보 보호 및 보안을 보장하고, 권한 변경 및 위험한 SQL과 같은 사용자 행동에 대한 실시간 감사를 수행합니다. 데이터 규정 준수 사용을 보장합니다.
건설소득
소비자 금융 회사의 프로젝트 구현에서 다양한 부서의 직원은 필요한 정보를 신속하게 얻을 수 있어 비즈니스 처리 효율성이 크게 향상되고 고객 정보 조회, 거래 기록 검색, 위험 정보 평가 등 다양한 시나리오에서 만족스러운 데이터 분석이 가능합니다. 동시에 금융 정보의 보안과 기밀성이 보장되어 후속 플랫폼의 안정적인 운영을 강력하게 보장합니다.
1. 데이터 수요주기가 대폭 단축됩니다.
기존의 데이터 요구 프로세스에는 여러 부서의 승인과 조정이 필요하며 IT 직원이 예약하고 수동으로 추출합니다. 통합 쿼리 플랫폼은 SQL/셀프 서비스 데이터 검색을 사용하여 데이터 분석가 및 비즈니스 담당자가 통합 플랫폼에서 필요에 따라 셀프 서비스 데이터 검색을 수행 할 수 있도록 하여 통신, 개발 및 테스트 비용을 크게 절감하고 데이터 검색 주기를 단축합니다. 원래 3-5일에서 몇 분 정도.
2. 데이터 기반 의사결정의 문턱이 대폭 낮아졌습니다.
셀프 서비스 데이터 검색 및 SQL 수집과 같은 기능을 통해 일선 비즈니스 및 운영 관리자는 멀티 소스 이기종 데이터 자산에 편리하게 액세스할 수 있으며 출시 이후 모든 직원이 데이터 중심 의사 결정을 내릴 수 있습니다. 플랫폼의 도입으로 인해 비즈니스 측면의 데이터 분석 참여가 크게 늘어났습니다. 로그인 수, 체류 기간, SQL 수집 수, 쿼리 작업 수, 데이터 내보내기 수 등의 지표가 모두 프로젝트 계획 기대치를 크게 초과했습니다.
3. 데이터 위험 운영의 통합 추적성
플랫폼의 감사 로그 기능을 통해 다양한 도킹 데이터베이스의 데이터 작업 동작을 완전히 커버하고 작업 동작의 전체 기록 비율에 100% 액세스할 수 있습니다. 이는 데이터 보안 관리 및 규정 준수를 향상시킬 뿐만 아니라 또한 데이터 위험 작업을 찾아 조사하는 데 소요되는 시간이 몇 시간에서 몇 분으로 대폭 단축되고 감사 대응 효율성도 80% 이상 향상됩니다.
4. 데이터 액세스 권한이 표시되고 관리 가능합니다.
통합 쿼리 플랫폼은 행/열 수준 권한 제어 및 데이터 둔감화 기술을 사용하여 데이터 액세스 권한의 시각화 및 정밀한 관리를 실현하여 데이터 보안 관리 및 제어 기능을 향상시킵니다. 데이터 테이블 권한 구성의 유효 적용 범위가 95% 이상으로 증가하여 불법 데이터 액세스를 효과적으로 방지하고 고객 정보, 채널 데이터 등의 자동 식별 및 둔감화를 실현하여 데이터 공유 시 기업의 보안 및 규정 준수를 효과적으로 보장합니다. 그리고 규칙성.
"산업 지표 시스템 백서" 다운로드 주소: https://www.dtstack.com/resources/1057?src=szsm
"Dutstack 제품 백서" 다운로드 주소: https://www.dtstack.com/resources/1004?src=szsm
"데이터 거버넌스 산업 실무 백서" 다운로드 주소: https://www.dtstack.com/resources/1001?src=szsm
빅데이터 제품, 산업 솔루션, 고객 사례에 대해 더 알고 싶거나 상담하고 싶은 분들은 Kangaroo Cloud 공식 홈페이지( https://www.dtstack.com/?src=szkyzg )를 방문해 주세요.
오픈 소스 Hongmeng을 포기하기로 결정했습니다 . 오픈 소스 Hongmeng의 아버지 Wang Chenglu: 오픈 소스 Hongmeng은 중국에서 유일하게 기초 소프트웨어 분야의 건축 혁신 산업 소프트웨어 행사입니다. OGG 1.0이 출시되고 Huawei는 모든 소스 코드를 제공합니다. 구글 리더가 '코드 똥산'에 죽는다 페도라 리눅스 40 정식 출시 전 마이크로소프트 개발자: 윈도우 11 성능이 ' 어처구니없을 정도로 나쁨' 마화텡과 저우홍이가 악수하며 '원한 해소' 유명 게임사들이 새로운 규정 발표 : 직원 결혼 선물은 100,000위안을 초과할 수 없습니다. Ubuntu 24.04 LTS 공식 출시 Pinduoduo는 부정 경쟁 혐의로 판결을 받았습니다. 보상금 500만 위안