Doris 介绍
https://github.com/apache/doris
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
Apache Doris 最早是诞生于百度广告报表业务的 Palo 项目，2017 年正式对外开源，2018 年 7 月由百度捐赠给 Apache 基金会进行孵化，之后在 Apache 导师的指导下由孵化器项目管理委员会成员进行孵化和运营。目前 Apache Doris 社区已经聚集了来自不同行业数百家企业的 400 余位贡献者，并且每月活跃贡献者人数也超过 100 位。 2022 年 6 月，Apache Doris 成功从 Apache 孵化器毕业，正式成为 Apache 顶级项目（Top-Level Project，TLP）
Apache Doris 如今在中国乃至全球范围内都拥有着广泛的用户群体，截止目前， Apache Doris 已经在全球超过 2000 家企业的生产环境中得到应用，在中国市值或估值排行前 50 的互联网公司中，有超过 80% 长期使用 Apache Doris，包括百度、美团、小米、京东、字节跳动、腾讯、网易、快手、微博、贝壳等。同时在一些传统行业如金融、能源、制造、电信等领域也有着丰富的应用。
使用场景
如下图所示，数据源经过各种数据集成和加工处理后，通常会入库到实时数仓 Doris 和离线湖仓（Hive, Iceberg, Hudi 中），Apache Doris 被广泛应用在以下场景中。
☑ 报表分析
实时看板 （Dashboards）
面向企业内部分析师和管理者的报表
面向用户或者客户的高并发报表分析（Customer Facing Analytics）。比如面向网站主的站点分析、面向广告主的广告报表，并发通常要求成千上万的 QPS ，查询延时要求毫秒级响应。著名的电商公司京东在广告报表中使用 Apache Doris ，每天写入 100 亿行数据，查询并发 QPS 上万，99 分位的查询延时 150ms。
☑ 即席查询（Ad-hoc Query）：面向分析师的自助分析，查询模式不固定，要求较高的吞吐。小米公司基于 Doris 构建了增长分析平台（Growing Analytics，GA），利用用户行为数据对业务进行增长分析，平均查询延时 10s，95 分位的查询延时 30s 以内，每天的 SQL 查询量为数万条。
☑ 统一数仓构建 ：一个平台满足统一的数据仓库建设需求，简化繁琐的大数据软件栈。海底捞基于 Doris 构建的统一数仓，替换了原来由 Spark、Hive、Kudu、Hbase、Phoenix 组成的旧架构，架构大大简化。
☑ 数据湖联邦查询： 通过外表的方式联邦分析位于 Hive、Iceberg、Hudi 中的数据，在避免数据拷贝的前提下，查询性能大幅提升。
技术概述
Doris整体架构如下图所示，Doris 架构非常简单，只有两类进程
Frontend（FE），主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。
Backend（BE）， 主要负责数据存储、查询计划的执行。
这两类进程都是可以横向扩展的，单集群可以支持到数百台机器，数十 PB 的存储容量。并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠。这种高度集成的架构设计极大的降低了一款分布式系统的运维成本。
在使用接口方面，Doris 采用 MySQL 协议，高度兼容 MySQL 语法，支持标准 SQL，用户可以通过各类客户端工具来访问 Doris，并支持与 BI 工具的无缝对接。
在存储引擎方面，Doris 采用列式存储，按列进行数据的编码压缩和读取，能够实现极高的压缩比，同时减少大量非相关数据的扫描，从而更加有效利用 IO 和 CPU 资源。
Doris 也支持比较丰富的索引结构，来减少数据的扫描：
♥ Sorted Compound Key Index，可以最多指定三个列组成复合排序键，通过该索引，能够有效进行数据裁剪，从而能够更好支持高并发的报表场景
♥ Z-order Index ：使用 Z-order 索引，可以高效对数据模型中的任意字段组合进行范围查询
♥ Min/Max ：有效过滤数值类型的等值和范围查询
♥ Bloom Filter ：对高基数列的等值过滤裁剪非常有效
♥ Invert Index ：能够对任意字段实现快速检索
在存储模型方面，Doris 支持多种存储模型，针对不同的场景做了针对性的优化：
♥ Aggregate Key 模型：相同 Key 的 Value 列合并，通过提前聚合大幅提升性能
♥ Unique Key 模型：Key 唯一，相同 Key 的数据覆盖，实现行级别数据更新
♥ Duplicate Key 模型：明细数据模型，满足事实表的明细存储
Doris 也支持强一致的物化视图，物化视图的更新和选择都在系统内自动进行，不需要用户手动选择，从而大幅减少了物化视图维护的代价。
在查询引擎方面，Doris 采用 MPP 的模型，节点间和节点内都并行执行，也支持多个大表的分布式 Shuffle Join，从而能够更好应对复杂查询。
Doris 查询引擎是向量化的查询引擎，所有的内存结构能够按照列式布局，能够达到大幅减少虚函数调用、提升 Cache 命中率，高效利用 SIMD 指令的效果。在宽表聚合场景下性能是非向量化引擎的 5-10 倍。
Doris 采用了 Adaptive Query Execution 技术， 可以根据 Runtime Statistics 来动态调整执行计划，比如通过 Runtime Filter 技术能够在运行时生成 Filter 推到 Probe 侧，并且能够将 Filter 自动穿透到 Probe 侧最底层的 Scan 节点，从而大幅减少 Probe 的数据量，加速 Join 性能。Doris 的 Runtime Filter 支持 In/Min/Max/Bloom Filter。
在优化器方面 Doris 使用 CBO 和 RBO 结合的优化策略，RBO 支持常量折叠、子查询改写、谓词下推等，CBO 支持 Join Reorder。目前 CBO 还在持续优化中，主要集中在更加精准的统计信息收集和推导，更加精准的代价模型预估等方面。
安装部署
官方文档： https://doris.apache.org/zh-CN/docs/dev/install/construct-docker/run-docker-cluster
软件环境
| 软件 | 版本 |
|---|---|
| Docker | 20.0 及以上 |
| docker-compose | 2.10 及以上 |
| 配置类型 | 硬件信息 | 最大运行集群规模 |
|---|---|---|
| 最低配置 | 2C 4G | 1FE 1BE |
| 推荐配置 | 4C 16G | 3FE 3BE |
前期环境准备
需在宿主机执行如下命令
sysctl -w vm.max_map_count=2000000
Docker Compose
不同平台需要使用不同 Image 镜像，本篇以 X86_64 平台为例。
网络模式说明
Doris Docker 适用的网络模式有两种。
1、适合跨多节点部署的 HOST 模式，这种模式适合每个节点部署 1FE 1BE。
2、适合单节点部署多 Doris 进程的子网网桥模式，这种模式适合单节点部署（推荐），若要多节点混部需要做更多组件部署（不推荐）。
为便于展示，本章节仅演示子网网桥模式编写的脚本。
接口说明
从 Apache Doris 1.2.1 Docker Image 版本起，各个进程镜像接口列表如下：
| 进程名 | 接口名 | 接口定义 | 接口示例 |
|---|---|---|---|
| FE| BE\ | BROKER | FE_SERVERS | FE 节点主要信息 |
| FE | FE_ID | FE 节点 ID | 1 |
| BE | BE_ADDR | BE 节点主要信息 | 172.20.80.5:9050 |
| BE | NODE_ROLE | BE 节点类型 | computation |
| BROKER | BROKER_ADDR | BROKER 节点主要信息 | 172.20.80.6:8000 |
注意，以上接口必须填写信息，否则进程无法启动。
FE_SERVERS 接口规则为：FE_NAME:FE_HOST:FE_EDIT_LOG_PORT[,FE_NAME:FE_HOST:FE_EDIT_LOG_PORT]
FE_ID 接口规则为：1-9 的整数，其中 1 号 FE 为 Master 节点。
BE_ADDR 接口规则为：BE_HOST:BE_HEARTBEAT_SERVICE_PORT
NODE_ROLE 接口规则为：computation 或为空，其中为空或为其他值时表示节点类型为 mix 类型
BROKER_ADDR 接口规则为：BROKER_HOST:BROKER_IPC_PORT
脚本模板
Docker Run 命令
创建子网网桥
docker network create --driver bridge --subnet=172.20.80.0/24 doris-network
1FE & 1BE 命令模板
3FE & 3BE Run 命令模板如有需要点击此处访问下载。
docker run -itd \
--name=fe \
--env FE_SERVERS="fe1:172.20.80.2:9010" \
--env FE_ID=1 \
-p 8030:8030 \
-p 9030:9030 \
-v /data/fe/doris-meta:/opt/apache-doris/fe/doris-meta \
-v /data/fe/conf:/opt/apache-doris/fe/conf \
-v /data/fe/log:/opt/apache-doris/fe/log \
--network=doris-network \
--ip=172.20.80.2 \
apache/doris:1.2.1-fe-x86_64
docker run -itd \
--name=be \
--env FE_SERVERS="fe1:172.20.80.2:9010" \
--env BE_ADDR="172.20.80.3:9050" \
-p 8040:8040 \
-v /data/be/storage:/opt/apache-doris/be/storage \
-v /data/be/conf:/opt/apache-doris/be/conf \
-v /data/be/log:/opt/apache-doris/be/log \
--network=doris-network \
--ip=172.20.80.3 \
apache/doris:1.2.1-be-x86_64
Docker Compose 脚本
1FE & 1BE 模板
version: '3'
services:
docker-fe:
image: "apache/doris:1.2.1-fe-x86_64"
container_name: "doris-fe"
hostname: "fe"
environment:
- FE_SERVERS=fe1:172.20.80.2:9010
- FE_ID=1
ports:
- 8030:8030
- 9030:9030
volumes:
- /data/fe/doris-meta:/opt/apache-doris/fe/doris-meta
- /data/fe/conf:/opt/apache-doris/fe/conf
- /data/fe/log:/opt/apache-doris/fe/log
networks:
doris_net:
ipv4_address: 172.20.80.2
docker-be:
image: "apache/doris:1.2.1-be-x86_64"
container_name: "doris-be"
hostname: "be"
depends_on:
- docker-fe
environment:
- FE_SERVERS=fe1:172.20.80.2:9010
- BE_ADDR=172.20.80.3:9050
ports:
- 8040:8040
volumes:
- /data/be/storage:/opt/apache-doris/be/storage
- /data/be/conf:/opt/apache-doris/be/conf
- /data/be/script:/docker-entrypoint-initdb.d
- /data/be/log:/opt/apache-doris/be/log
networks:
doris_net:
ipv4_address: 172.20.80.3
networks:
doris_net:
ipam:
config:
- subnet: 172.20.80.0/16
3FE & 3BE Docker Compose 脚本模板如有需要点击此处访问下载。
部署 Doris Docker
部署方式二选一即可：
1、执行 docker run 命令创建集群
2、保存 docker-compose.yaml 脚本，同目录下执行 docker-compose up -d 命令创建集群
特例说明
MacOS 由于内部实现容器的方式不同，在部署时宿主机直接修改 max_map_count 值可能无法成功，需要先创建以下容器：
docker run -it --privileged --pid=host --name=change_count debian nsenter -t 1 -m -u -n -i sh
容器创建成功执行以下命令：
sysctl -w vm.max_map_count=2000000
然后 exit 退出，创建 Doris Docker 集群。
查看 FE 运行状态
你可以通过下面的命令来检查 Doris 是否启动成功
curl http://127.0.0.1:8030/api/bootstrap
这里 IP 和 端口分别是 FE 的 IP 和 http_port（默认8030），如果是你在 FE 节点执行，直接运行上面的命令即可。
如果返回结果中带有 “msg”:“success” 字样，则说明启动成功。
你也可以通过 Doris FE 提供的Web UI 来检查，在浏览器里输入地址
http:// fe_ip:8030
可以看到下面的界面，说明 FE 启动成功！！！
注意：
这里我们使用 Doris 内置的默认用户 root 进行登录，密码是空
这是一个 Doris 的管理界面，只能拥有管理权限的用户才能登录，普通用户不能登录。
Success is made up of a lot of disappointments.