데이터부터 대형 모델 적용까지, 개발 팁을 공유하기 위해 11월 25일 항저우 위안추앙 컨퍼런스가 개최되었습니다.

10월 21일, Feilun Technology가 주최하고 Alibaba Cloud와 Tencent Cloud가 공동 후원하는 Apache Doris 커뮤니티 최초의 오프라인 기술 서밋인 Doris Summit Asia 2023이 큰 열정으로 막을 내렸습니다.

'혁신가와 함께 걷기(Walking with Innovators)'라는 주제로 이번 서밋은 메인 포럼과 스마트 금융, 정부와 기업, 첨단 지능형 제조와 통신, 기업 서비스와 신경제, 인터넷과 엔터테인먼트 등 4개의 병행 포럼으로 구성된다. 커머스, 중국 우체국 저축 은행, Alibaba Cloud, Tencent, Xiaomi, Huawei, NetEase, Ping An, Zhongan Insurance, Wuxi Xishang Bank, China Unicom, China Telecom, Emma, Yurun, Qi'anxin, Huya, Lalamove, Quwan technology, 360, Vast Depth, Horizon, Observation Cloud, Chinalco Vision 등과 같은 업계 혁신 리더의 수십 명의 기술 전문가가 정상회담에 참석하여 훌륭한 기술 연설을 하고 Apache Doris 프로그램을 기반으로 한 업계 모범 사례와 다중 시나리오 솔루션을 공유했습니다. 데이터 분석 분야의 최첨단 기술과 미래 동향을 공동으로 논의합니다. 이번 서밋에는 수많은 기술 마니아들의 관심도 집중됐는데, 약 1000여 명의 빅데이터 및 데이터 분야 실무자들이 현장을 방문해 기술 전문가들과 대면 소통을 했으며, 10만 명 이상이 생중계를 시청했다. 온라인 서밋은 대다수의 데이터 기술 실무자들에게 좋은 기회를 제공하며 매년 기술 향연을 제공합니다.

2023년 혁신가인 Apache Doris와 함께하세요

정상회담 개회사에서 Apache Doris PMC 회원이자 Feilun Technology 기술 담당 부사장인 Yi Guolei는 "걷기"라는 주제에 초점을 맞춰 지난해 Apache Doris의 중요한 버전 반복 및 커뮤니티 개발 요약을 검토했습니다. with Innovators'라는 제목으로 대용량 데이터의 실시간 분석을 재고하고, 아파치 도리스의 향후 진화 방향과 기능 기획을 공개한다는 반응을 공유했다.

지난 몇 년을 되돌아보면 Apache Doris는 진화를 가속화해 왔으며, 특히 2023년에는 Apache Doris가 랜드마크 버전 2.0을 출시하여 공식적으로 2.0 시대에 돌입했습니다 . 이 버전에서는 일련의 주목할만한 성과를 달성했습니다.

적응형 병렬 실행 모델과 새로운 쿼리 최적화 프로그램을 도입하여 블라인드 테스트 성능이 10배 향상되고, 다중 테이블 연결이 13배 향상되고, 단일 테이블 시나리오가 10배 향상되고, 높은 동시점 쿼리가 20배 향상됩니다. ;
보고서 및 Ad-hoc과 같은 일반적인 OLAP 시나리오에서 레이크-웨어하우스 통합, 높은 동시성 데이터 서비스, 로그 검색 및 분석으로 확장하여 보다 통합되고 다양한 분석 시나리오를 지원합니다.
실시간 데이터의 높은 처리량 쓰기, 2단계 대기 시간, 모든 유형의 데이터 업데이트에 대한 완벽한 지원을 지원하고 보다 효율적이고 사용하기 쉽고 안정적인 실시간 데이터 처리 및 분석 링크를 구축합니다.

성능 도약과 씬 확장 뒤에는 모든 커뮤니티 개발자들의 노고가 뗄래야 뗄 수 없는 일이다. 현재까지 커뮤니티에는 약 600명의 기여자가 있으며, 평균 월간 활동 기여자는 120명 이상이며, 빅 데이터 및 데이터베이스 분야에서 가장 활발한 오픈 소스 프로젝트 중 하나가 되었습니다 . 기여자의 출처도 더욱 다양해 국내외 수십 개의 산업 분야에 널리 분포되어 있는 100개 이상의 벤치마크 기업이 있으며, Alibaba Cloud, Tencent Cloud, Baidu Smart Cloud, Huawei 등 국내 최고의 클라우드 공급업체로부터 투자를 유치했습니다. Cloud, Tianyi Cloud, Volcano Engine 등 동시에 관련 제품은 국내외 거의 모든 주류 클라우드 플랫폼을 포괄합니다.

동시에 올해 Apache Doris는 더 많은 업계 사용자로부터 인정을 받았습니다. 이번 정상회담에서 Yiguolei는 Apache Doris가 금융, 인터넷, 에너지, 제조, 통신, 기업 서비스 등 수십 가지 산업을 망라하여 전 세계적으로 4,000명 이상의 기업 사용자를 보유하고 있다고 처음으로 발표했습니다 . 이는 많은 대기업의 핵심입니다. .분석업무에 널리 사용됩니다. 이러한 대규모 사용자 규모로 인해 Apache Doris는 실시간 데이터 웨어하우스를 사용하려는 모든 계층의 사용자가 가장 먼저 선택하는 제품이 되었으며, 오픈 소스 실시간 데이터 웨어하우스 분야에서 사실상의 표준이 되었습니다!

이러한 중요한 개발은 Apache Doris의 지속적인 혁신 능력과 기술적 강점을 보여줄 뿐만 아니라 사용자 요구에 대한 우리의 심층적인 이해와 정확한 이해를 입증합니다. Yi Guolei는 앞으로도 Apache Doris가 다음을 포함하여 실시간 데이터 분석 기술의 혁신을 촉진하는 데 계속 전념할 것이라고 말했습니다. 실시간 분석: 대규모 실시간 데이터에 대한 최고의 쿼리 성능 달성;

통합 및 통합: 하나의 시스템에서 여러 분석 워크로드를 지원하여 복잡한 아키텍처로 인해 발생하는 운영 및 유지 관리 비용을 단순화합니다.
클라우드 네이티브: 클라우드 컴퓨팅 인프라를 혁신하고 클라우드의 뛰어난 탄력성을 활용하여 스토리지 및 컴퓨팅 비용을 절감합니다.

기술 혁신으로 비즈니스 혁신과 발전을 주도하세요

정상 회담의 주요 장소에서 Meituan의 수석 기술 전문가이자 쿼리 엔진 팀 리더인 Zeng Linxi는 Meituan의 통합 OLAP 엔진에서 Apache Doris의 사례를 공유했습니다.

기술 소매 회사로서 Meituan은 소비자에게 고품질 서비스를 제공하기 위해 수요 및 공급 측면에서 서비스 소매 및 상품 소매의 디지털 업그레이드를 지속적으로 추진하고 있습니다. 데이터는 정제된 운영의 기초입니다.Meituan의 풍부한 비즈니스 시나리오 이면에는 대규모 데이터에 대한 효율적이고 실시간 분석에 대한 요구가 있습니다. 이러한 과제를 해결하기 위해 Meituan은 여러 OLAP 엔진의 선택과 발전을 거쳐 통합 OLAP 엔진의 구축 계획을 탐색했습니다. 기술 스택 매칭, 코드 확장성, 프로젝트 구현 주기, 비즈니스 마이그레이션 비용 등 다양한 요소를 종합적으로 고려한 후 Meituan은 마침내 Apache Doris를 기반으로 하는 통합 OLAP 엔진을 구축하기로 결정했습니다.

지금까지 Meituan은 매일 약 200개의 클러스터, 약 10,000개의 물리적 노드, 1억 개가 넘는 쿼리 및 분석 요청을 시작했습니다 . Meituan은 비즈니스를 수행하는 동시에 Apache Doris 오픈 소스 커뮤니티에도 깊이 관여하고 있으며 쿼리 최적화 프로그램, 벡터화된 실행 엔진, 파이프라인 실행 프레임워크 및 회귀 테스트와 같은 중요한 연구 개발 방향에서 커뮤니티와 심층적인 공동 구축을 갖고 있습니다. 프레임워크는 커뮤니티에 대한 가장 강력한 기여입니다.

정상회담의 주요 장소에서 UnionPay Business의 수석 데이터 설계자인 Yang Jinxiong은 Apache Doris를 기반으로 한 차세대 실시간 데이터 웨어하우스 구축에 대한 실제 경험을 공유했습니다. UnionPay Business는 중국의 대규모 비은행 결제 기관으로, 은행 카드 취득 및 온라인 결제를 기반으로 한 종합 결제 서비스는 물론 다양하고 전문적인 가맹점 부가가치 및 기술 혁신 서비스를 제공합니다. 2,500만 개 이상의 가맹점에 서비스를 제공하고, 3,900만 개 이상의 터미널을 설치했으며, 10년 연속 인수 거래 수 측면에서 아시아 태평양 인수업체 중 1위를 차지했습니다. 이러한 대규모 비즈니스 성장에 직면하여 기존의 오프라인 데이터 웨어하우스 플랫폼은 더 이상 비즈니스 요구 사항을 효율적으로 지원할 수 없습니다.

"Apache Doris는 쿼리 분석 중 더 빠른 응답 시간을 얻는 동시에 빠르고 정확하게 데이터를 가져오고 동기화할 수 있습니다. Apache Doris 도입 후 가져오기 성능은 2~5배, ETL 시나리오 성능은 3~12배 향상되고, 쿼리 분석 응답 속도가 10~15배 향상되었으며 , 상당한 성능 개선으로 비즈니스 성장과 의사 결정에 강력한 지원을 제공합니다."

Apache Doris를 도입함으로써 UnionPay Business는 실시간 데이터 웨어하우스를 업그레이드하고 급속한 비즈니스 및 데이터 증가 문제를 해결했으며 대규모 데이터 처리 및 실시간 쿼리에 대한 금융 업계의 요구를 충족했습니다. UnionPay Business의 성공적인 사례는 금융 회사에 참조 가치를 제공하며 금융 기술 혁신을 촉진하는 데 있어 Apache Doris의 엄청난 잠재력을 보여줍니다.

모바일 결제가 대중화되는 시대에 금융 사기 방지는 기업과 고객 자산의 보안을 보호하는 중요한 수단이 되었습니다. 중국 우편저축은행 소프트웨어 연구개발센터(시안지점)의 기술 전문가 Di Xiaoran은 메인 포럼에서 중국 우편저축은행이 Apache Doris를 기반으로 지능형 위험 통제 및 사기 방지 플랫폼을 구축했다고 소개했습니다. 플랫폼에는 모니터링 및 경보, 임시 분석, 상관 분석, 신속한 포지셔닝 및 기타 기능이 있어 전반적인 위험 예방 및 통제 요구를 충족합니다.

"시간은 금융 사기 방지 작업의 핵심 지표이므로 신속한 운영 분석과 핵심 가치 단서의 빠른 획득이 중요합니다. 사기 방지 플랫폼은 Apache Doris의 강력한 기능을 기반으로 하며 일련의 중요한 성능 향상과 적용 가치: 핵심 보고서의 응답 속도가 며칠에서 몇 초로 단축되고, 임시 분석의 80%가 2단계 응답을 달성할 수 있으며, 경보 효율성이 95%로 높으며, 경보 지연이 5초를 초과하지 않으며, 저장 비용이 발생합니다. 70% 감소했습니다.... "

Postal Savings Bank of China의 지능형 위험 제어 및 사기 방지 플랫폼은 Apache Doris를 사용하여 효율적인 실시간 데이터 지원을 달성함으로써 Postal Savings Bank가 금융 사기에 더 잘 대응하고 회사의 이익과 고객 자산의 보안을 보호할 수 있도록 합니다. .

클라우드를 향한 성장, 더 많은 산업 혁신가의 선택

클라우드 시대가 도래하면서 기업에서는 유연하고 효율적인 클라우드 컴퓨팅에 대한 수요가 증가하고 있습니다. 퍼블릭 클라우드, 프라이빗 클라우드 또는 K8S 컨테이너 플랫폼이든 Apache Doris가 클라우드 컴퓨팅과 같은 새로운 인프라에 대한 심층적인 적응을 제공하여 보다 유연하고 강력하고 탄력적인 기능을 제공할 수 있기를 바라는 기업이 점점 더 많아지고 있습니다.

Feilun Technology의 CEO이자 Apache Doris PMC의 회원인 Ma Ruyue는 Apache Doris를 기반으로 구축된 최신 실시간 데이터 웨어하우스인 SelectDB를 소개했습니다. 현재 SelectDB에는 멀티 클라우드 기반의 클라우드 네이티브 데이터 웨어하우스 서비스인 SelectDB Cloud와 다양한 사용자의 요구 사항을 충족할 수 있는 민영화된 배포 요구 사항을 충족하는 엔터프라이즈 버전인 SelectDB Enterprise의 두 가지 제품 형태가 있습니다.

그 중 SelectDB Cloud는 스토리지와 컴퓨팅의 완전한 분리를 달성하고 다중 컴퓨팅 클러스터 부하 격리, 탄력적인 컴퓨팅 확장 및 축소와 같은 기능을 제공합니다. 이 버전은 향후 Apache Doris 커뮤니티에도 기여되어 기업 사용자가 달성할 수 있도록 지원합니다. 보다 효율적인 데이터 분석 및 처리, 보다 유연하고 탄력적인 기능, 보다 낮은 사용 비용.

올해 3월, Alibaba Cloud와 Feilun Technology는 공식적으로 전략적 협력 계약을 체결했으며, 양 당사자는 사용자에게 Alibaba에서 완전 관리형 서비스를 제공하기 위해 "Alibaba Cloud Database SelectDB Edition"이라는 차세대 실시간 데이터 웨어하우스를 공동 개발하기로 결정했습니다. 구름. 이 혁신적인 협력의 목표는 최신 실시간 데이터 웨어하우스 기술과 Alibaba Cloud의 강력한 인프라 기능을 결합하여 사용자에게 더욱 우수한 데이터 분석 및 처리 경험을 제공하는 것입니다.

이번 서밋에서 Alibaba Cloud와 Feilun Technology는 Alibaba Cloud Database SelectDB 버전을 공동으로 출시했습니다. 이 제품은 Alibaba Cloud IaaS를 기반으로 깊이 최적화되었으며 다른 Alibaba Cloud 제품과 원활하게 통합되어 사용자에게 더 나은 클라우드 경험을 제공하고 " 클라우드 위의 도리스, 그 이상' 컨셉 .

Alibaba Cloud 데이터베이스 수석 기술 전문가 Peng Xiang은 Alibaba Cloud와 Feilun Technology의 강력한 제휴는 데이터베이스 기술 개발을 촉진하고 사용자 경험을 향상시키는 데 있어 양 당사자의 결단력과 혁신 역량을 보여준다고 말했습니다.

Apache Doris PMC 회원이자 Tencent Cloud TCHouse-D R&D 책임자인 Li De는 엔터프라이즈 수준 요구 사항과 오픈 소스 프로젝트 간에 상당한 차이가 있다고 공유했습니다. 기업 사용자는 업스트림 및 다운스트림 생태계의 안정적인 가용성, 호환성 및 적응, 시기적절한 기술 지원 응답, 완전한 제품 정보를 더 추구하고 있습니다. 오픈 소스 사용자에 비해 기업 사용자는 더 포괄적이고 엄격한 요구 사항을 가지고 있습니다.

기업 사용자의 요구를 충족시키기 위해 Tencent Cloud는 기업 사용자에게 사용하기 쉽고 유연하며 안정적인 실시간 데이터 웨어하우스 서비스를 제공할 수 있는 Apache Doris 커널을 기반으로 TCHouse-D 데이터베이스를 구축했습니다 . Li De는 단 몇 분 만에 설정이 가능하고 대용량 데이터의 실시간 쿼리와 분석을 쉽게 처리할 수 있는 TCHouse-D의 기능과 장점을 자세히 소개했습니다.

동시에 Tencent Cloud는 엔터프라이즈급 제품을 출시한 후에도 문제와 경험을 축적하고 커뮤니티에 지속적으로 피드백하며 앞으로도 커뮤니티 구축에 계속 투자할 것입니다.

업계 혁신가의 보다 실용적인 애플리케이션

주요 행사장 외에도 스마트 금융 및 정부 및 기업, 첨단 지능형 제조 및 통신, 기업 서비스 및 신경제, 인터넷 및 엔터테인먼트 등 4개 병렬 포럼의 수십 명의 기술 전문가도 각 행사장에서 참가자들에게 훌륭한 통찰력을 제공했습니다. 각 분야의 최신 기술 동향과 실무 경험을 공유하는 강연이 진행되었습니다.

스마트 금융 및 정부-기업 포럼에는 Ping An Life, Zhongan Insurance, Wuxi Xishang Bank, Financial OneConnect, Huawei, Zhida Xinke의 많은 기술 전문가와 Shushi Technology, Tapdata, Feilun Technology 등의 혁신 기술이 참석합니다. 선구적인 기업들은 실시간 분석의 과제를 처리하는 방법을 모든 참가자와 공유하고 산업 시나리오에서 Apache Doris의 모범 사례에 대한 심층 분석을 제공했습니다. 동시에 Apache Doris PMC 회원인 Chen Mingyu도 이 포럼에서 Hucang 연합 분석 시나리오에서 Apache Doris의 기술적 구현을 공개했습니다. Apache Doris PMC 회원인 Li Haopeng과 Feilun Technology Xiong Zhongjian은 버전 2.0.0에서 Apache Doris의 블라인드 테스트 성능이 10배 향상된 뒤에 숨겨진 생각과 최적화 관행을 공유했습니다.
첨단 지능형 제조 및 통신 포럼에는 China Telecom, China Unicom Western Innovation Research Institute, Haohan Depth, Tianyi Cloud, Emma Electric Vehicle, Horizon, Chinalco Vision, Xiaomi Group 및 Feilun Technology, Real-life 등 업계 선구자들의 기술 전문가들이 참석합니다. 통신 및 제조 시나리오에서 Apache Doris의 생산 사례를 참가자들과 공유하고, 대용량 데이터의 실시간 분석을 위한 더 나은 솔루션에 대해 논의했습니다. Feilun Technology의 수석 설계자이자 Apache StreamPark PPMC 회원인 Wang Huajie는 여러 데이터 소스의 전체 데이터베이스를 Apache Doris와 동기화하는 모범 사례를 공유했습니다.
인터넷 및 엔터테인먼트 포럼에서는 NetEase Games, Quwan Technology, Tencent, Huya, Lalamove, 360, Alibaba Cloud 등 업계 선구자들의 빅 데이터 전문가들이 참가자들과 Apache Doris가 다양한 비즈니스 시나리오에서 기업의 성공을 돕는 방법을 공유했습니다. 비즈니스 성장. 동시에 Feilun Technology의 수석 솔루션 설계자인 Wang Tianyi는 Apache Doris를 기반으로 사용자 행동 분석 및 프로파일링 플랫폼을 구축하기 위한 실용적인 솔루션도 공유할 예정입니다.
기업 서비스 및 신경제 포럼에서는 Observation Cloud, Qi'anxin, Yurun, Wanwu Cloud City, Tencent Cloud, Jiuzhang Arithmetic, Feilun Technology 및 커뮤니티의 많은 기술 전문가들이 다양한 산업 분야의 고객에게 Apache Doris를 제공하는 방법을 공유했습니다. 대규모 개인화 데이터 처리 및 분석 요구 사항을 충족하는 동시에 데이터 통합, 로그 분석 등 시나리오 솔루션을 공유합니다.

이로써 Doris Summit Asia 2023은 성공적으로 마무리되었습니다. 이번 컨퍼런스에 참여한 모든 연사, 파트너, 온·오프라인 참가자 모두, Apache Doris를 지지하고 인정해주신 모든 기술 실무자, 그리고 오픈소스 분들께 감사의 말씀을 전하고 싶습니다. 기술 매니아.

여기에서 우리는 바람과 달을 쫓는 모든 혁신가들에게도 경의를 표하며, 더 많은 혁신가들과 협력하여 데이터 세계에서 더 많은 가능성을 탐색할 수 있기를 기대합니다!

서밋 리플레이와 자료를 얻는 방법은 무엇입니까?

정상회담 및 연설 PPT 전체 재생본을 긴급 정리 중이며, 1~2주 내로 공개할 예정입니다. 앞으로도 "SelectDB" 공식 계정과 오픈소스 기술 포럼( http://forum.selectdb.com/ )에 많은 관심 부탁드리며, 관련 공지와 푸시 알림을 최대한 빨리 받아보시기 바랍니다.

혁신가들과 함께 걷는 Doris Summit Asia 2023 오프라인 기술 서밋이 성공적으로 마무리되었습니다!

2023년 혁신가인 Apache Doris와 함께하세요

기술 혁신으로 비즈니스 혁신과 발전을 주도하세요

클라우드를 향한 성장, 더 많은 산업 혁신가의 선택

업계 혁신가의 보다 실용적인 애플리케이션

서밋 리플레이와 자료를 얻는 방법은 무엇입니까?

Supongo que te gusta