Apache Doris

Apache Doris教程

1.Doris 简介

1.1 Doris 概述

Apache Doris 由百度大数据部研发（之前叫百度 Palo，2018 年贡献到 Apache 社区后，

更名为 Doris ），在百度内部，有超过 200 个产品线在使用，部署机器超过 1000 台，单一

业务最大可达到上百 TB。

Apache Doris 是一个现代化的 MPP（Massively Parallel Processing，即大规模并行处理）

分析型（OLAP）数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。

Apache Doris 的分布式架构非常简洁，易于运维，并且可以支持 10PB 以上的超大数据集。

Apache Doris 可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。

1.2OLAP和OLTP

• 联机事务处理OLTP(On-Line Transaction Processing)

• 公司业务系统使用数据库的场景，针对业务系统数据库有大量随机的增删改查

• 高并发

• 速度要快

• 支持事务

• 联机分析处理OLAP(On-Line Analytical Processing)

• 公司的数据分析使用数据库的场景，对已经生成好的数据进行统计分析

• 一次操作都是针对的整个数据集

• 只有查这个动作，不会去增删改

• 查询的响应速度相对慢点也能接受

• 并发量要求不是太高

OLAP和OLTP比较

	OLTP	OLAP
数据源	仅包含当前运行日常业务数据	整合来自多个来源的数据，包括OLTP和外部来源
目的	面向应用,面向业务,支撑事务	面向主题，面向分析，支持分析决策
焦点	当下	主要面向过去，面向历史(实时数仓除外)
任务	增删改查	主要是用于读，select查询，写操作很少
响应时间	毫秒	秒，分钟，小时，天，这些取决于数据量和查询的复杂程度
数据量	小数据,MB,GB	大数据，TP,PB

常见的开源OLAP引擎

开源OLAP引擎	优点	缺点	技术融合成本	易用性	使用场景	运维成本	引擎类型
ClickHouse	列式存储 单极性彪悍 保留明细数据	分布式集群在线扩展支持不佳 运维成本极高	高	非标协议接口	全面	高	纯列存OLAP
Druid	实时数据摄入 列式存储和位图索引 多租户和高并发	OLAP性能分场景表现差异大 使用门槛高 仅支持聚合查询	高	非标协议接口	局限	高	MOLAP
TiDB	HTAP混合数据库 同时支持明细和聚合查询 高度兼容mysql	非列式存储 OLAP能力不足	低	SQL标准	全面	低	纯列存OLAP
Kylin	与计算引擎，可以对数据一次聚合多次查询 支持数据规模超大 易用性强，支持标准sql 性能强，查询数据快	需要依赖hadoop生态 仅支持聚合查·询 不支持adhoc查询 不支持join和对数据的更新	高	SQL标准	局限	高	MOLAP
Doris	GooleMesa+Apache Impa+ORCFile/Parquet 主键更新 支持Rollup Table 高并发和高通图的Ad-hoc查询 支持聚合+明细数据查询 无外部系统依赖	成熟度不够	低	兼容mysql访问协议	全面	低	HOLAP

1.3使用场景

• 报表分析

• 实时看板 （Dashboards）

• 面向企业内部分析师和管理者的报表

• 面向用户或者客户的高并发报表分析（Customer Facing Analytics）。比如面向网站主的站点分析、面向广告主的广告报表，并发通常要求成千上万的 QPS ，查询延时要求毫秒级响应。著名的电商公司京东在广告报表中使用 Apache Doris ，每天写入 100 亿行数据，查询并发 QPS 上万，99 分位的查询延时 150ms。

• 即席查询（Ad-hoc Query）：面向分析师的自助分析，查询模式不固定，要求较高的吞吐。小米公司基于 Doris 构建了增长分析平台（Growing Analytics，GA），利用用户行为数据对业务进行增长分析，平均查询延时 10s，95 分位的查询延时 30s 以内，每天的 SQL 查询量为数万条。

• 统一数仓构建 ：一个平台满足统一的数据仓库建设需求，简化繁琐的大数据软件栈。海底捞基于 Doris 构建的统一数仓，替换了原来由 Spark、Hive、Hbase、Phoenix 组成的旧架构，架构大大简化。

• 数据湖联邦查询：通过外表的方式联邦分析位于 Hive、Hudi 中的数据，在避免数据拷贝的前提下，查询性能大幅提升

1.5架构

Doris 的架构很简洁，只设 FE(Frontend)前端进程、BE(Backend)后端进程两种角色、两个后台的服务进程，不依赖于外部组件，方便部署和运维，FE、BE 都可在线性扩展。

1. FE（Frontend）：存储、维护集群元数据；负责接收、解析查询请求，规划查询计划,调度查询执行，返回查询结果。主要有三个角色：

• Leader 和 Follower：主要是用来达到元数据的高可用，保证单节点宕机的情况下,元数据能够实时地在线恢复，而不影响整个服务。

• Observer：用来扩展查询节点，同时起到元数据备份的作用。如果在发现集群压力非常大的情况下，需要去扩展整个查询的能力，那么可以加 observer 的节点。observer 不参与任何的写入，只参与读取。

1. BE（Backend）：负责物理数据的存储和计算；依据 FE 生成的物理计划，分布式地执行查询。数据的可靠性由 BE 保证，BE 会对整个数据存储多副本或者是三副本。副本数可根据需求动态调整。

1. MySQL Client:Doris 借助 MySQL 协议，用户使用任意 MySQL 的 ODBC/JDBC 以及 MySQL 的客户端，都可以直接访问 Doris。

1. Broker:一个独立的无状态进程。封装了文件系统接口，提供 Doris 读取远端存储系统中文件的能力，包括 HDFS，S3，BOS 等。

1.6默认端口

实例名称	端口名称	默认端口	通讯方向	说明
BE	be_port	9060	FE-->BE	BE 上 thrift server 的端口,用于接收来自 FE 的请求
BE	webserver_port	8040	BE<-->FE	BE 上的 http server 端口
BE	heartbeat_service_port	9050	FE-->BE	BE 上心跳服务端口,用于接收来自 FE 的心跳
BE	brpc_prot*	8060	FE<-->BE,BE<-->BE	BE 上的 brpc 端口,用于 BE 之间通信
FE	http_port	8030	FE<-->FE ,用户<--> FE	FE 上的 http_server 端口
FE	rpc_port	9020	BE-->FE ,FE<-->FE	FE 上 thirft server 端口
FE	query_port	9030	用户<--> FE	FE 上的 mysql server 端口
FE	edit_log_port	9010	FE<-->FE	FE 上 bdbje 之间通信用的端口
Broker	broker_ipc_port	8000	FE-->BROKER,BE-->BROKER	Broker 上的 thrift server,用于接收请求

2.安装

2.1安装前准备

• Linux 操作系统版本需求

• 软件需求

• 测试环境硬件配置需求

• 生产环境硬件配置需求

• 操作系统环境要求

设置系统最大文件打开句柄数   ==>启动一个程序的时候，打开文件的数量就是句柄数

Plain Text 1.打开文件 security  /sɪˈkjʊərəti/ vi /etc/security/limits.conf 2.在文件最后添加下面几行信息(注意* 也要赋值进去) * soft nofile 65535 * hard nofile 65535 * soft nproc 65535 * hard nproc 65535 ulimit -n 65535 临时生效 修改完文件后需要重新启动虚拟机 重启永久生效，也可以用 。 如果不修改这个句柄数大于等于60000，回头启动doris的be节点的时候就会报如下的错 File descriptor number is less than 60000. Please use (ulimit -n) to set a value equal or greater than 60000 W1120 18:14:20.934705  3437 storage_engine.cpp:188] check fd number failed, error: Internal error: file descriptors limit is too small W1120 18:14:20.934713  3437 storage_engine.cpp:102] open engine failed, error: Internal error: file descriptors limit is too small F1120 18:14:20.935087  3437 doris_main.cpp:404] fail to open StorageEngine, res=file descriptors limit is too small

关闭交换分区（swap）

交换分区是linux用来当做虚拟内存用的磁盘分区；

linux可以把一块磁盘分区当做内存来使用（虚拟内存、交换分区）；

Linux使用交换分区会给Doris带来很严重的性能问题，建议在安装之前禁用交换分区；

Shell 1、查看 Linux 当前 Swap 分区 free -m 2、关闭 Swap 分区 swapoff -a [root@linux01 apps]# free -m               total        used        free      shared  buff/cache   available Mem:           5840         997        4176           9         666        4604 Swap:          6015           0        6015 [root@linux01 apps]# swapoff -a 3.验证是否关闭成功 [root@linux01 apps]# free -m                 total        used        free      shared  buff/cache   available Mem:           5840         933        4235           9         671        4667 Swap:             0           0           0

注意事项： FE 的磁盘空间主要用于存储元数据，包括日志和 image。通常从几百 MB 到几个GB 不等。 BE 的磁盘空间主要用于存放用户数据，总磁盘空间按用户总数据量* 3（3 副本）计算，然后再预留额外 40%的空间用作后台 compaction 以及一些中间数据的存放。 一台机器上可以部署多个 BE 实例，但是只能部署一个 FE。如果需要 3 副本数 据，那么至少需要 3 台机器各部署一个 BE 实例（而不是 1 台机器部署 3 个 BE 实例）。多 个 FE 所在服务器的时钟必须保持一致（允许最多 5 秒的时钟偏差） 测试环境也可以仅适用一个 BE 进行测试。实际生产环境，BE 实例数量直接决定了整体查询延迟。 所有部署节点关闭 Swap。 FE 节点数据至少为 1（1 个 Follower）。当部署 1 个 Follower 和 1 个 Observer 时,可以实现读高可用。当部署 3 个 Follower 时，可以实现读写高可用（HA）。 Follower 的数量必须为奇数，Observer 数量随意。 根据以往经验，当集群可用性要求很高时（比如提供在线业务），可以部署 3 个Follower 和 1-3 个 Observer。如果是离线业务，建议部署 1 个 Follower 和 1-3 个 Observer。 Broker 是用于访问外部数据源（如 HDFS）的进程。通常，在每台机器上部署一个 broker 实例即可。

2.2安装FE

1. 去官网下载源码包，官网地址：https://doris.apache.org

根据自己的配置选择性点击下载

1. 上传到linux

1. 解压

1. 修改配置文件

Shell -- 去自己的路劲中找到fe.conf文件 vi /opt/apps/doris/fe/conf/fe.conf #配置文件中指定元数据路径： 注意这个文件夹要自己创建 meta_dir = /opt/data/dorisdata/doris-meta #修改绑定 ip（每台机器修改成自己的 ip） priority_networks = 192.168.17.0/24

1. 分发集群

Shell [root@linux01 apps]# for i in 2 3 > do > scp /etc/profile linux0$i:/etc/profile > scp -r /opt/apps/doris/ linux0$i:/opt/apps/ > done

1. 启动

Shell 进入到fe的bin目录下执行 [root@linux01 bin]# ./start_fe.sh --daemon

生产环境强烈建议单独指定目录不要放在 Doris 安装目录下，最好是单独的磁盘（如果有 SSD 最好）。 如果机器有多个 ip, 比如内网外网, 虚拟机 docker 等, 需要进行 ip 绑定，才能正确识别。 JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上。

2.3安装BE

进入到be的conf目录下修改配置文件

Shell vi be.conf  #配置文件中指定数据存放路径： storage_root_path = /opt/data/dorisdata/bedata #修改绑定 ip（每台机器修改成自己的 ip） priority_networks = 192.168.17.0/24

注意事项： storage_root_path 默认在 be/storage 下，需要手动创建该目录。多个路径之间使用英文状 态的分号;分隔（最后一个目录后不要加）。 可以通过路径区别存储目录的介质，HDD 或 SSD。可以添加容量限制在每个路径的末 尾，通过英文状态逗号，隔开，如： storage_root_path=/home/disk1/doris.HDD,50;/home/disk2/doris.SSD,10;/home/disk2/doris 说明： /home/disk1/doris.HDD,50，表示存储限制为 50GB，HDD; /home/disk2/doris.SSD,10，存储限制为 10GB，SSD； /home/disk2/doris，存储限制为磁盘最大容量，默认为 HDD 关于Centos 添加新硬盘，分区格式化、挂载硬盘文档： Centos 添加新硬盘，分区格式化、挂载硬盘

因为FE和BE两个都是单独的个体，所以他俩相互间还不认识，就需要我们通过mysql的客户端将他们建立起联系

如果没有装mysql的家伙，记得先装mysql

安装mysql

使用 MySQL Client 连接 FE

SQL mysql -h linux01 -P 9030 -uroot 这个只是用了mysql的客户端去连接doris的fe，不是启动的mysql哦！！！并且第一次进去的话，是不需要密码的 解释： -h  连接地址 -P  端口号 -u  账号 -p  密码 --这个可以设置可以不设置啦，正常生产过程中都会设置一个相对比较复杂的密码，学习的时候就无所谓了 --如果想设置，下面的命令就可以 SET PASSWORD FOR 'root' = PASSWORD('123456');

fe启动完成后可以查看fe的运行状态

SQL SHOW PROC '/frontends'\G;

添加 BE 节点

SQL ALTER SYSTEM ADD BACKEND "linux01:9050"; ALTER SYSTEM ADD BACKEND "linux02:9050"; ALTER SYSTEM ADD BACKEND "linux03:9050";

查看 BE 状态

SQL SHOW PROC '/backends'; Alive 为 false 表示该 BE 节点还是死的

添加环境变量

Shell #doris_fe export DORIS_FE_HOME=/opt/apps/doris1.1.4/fe export PATH=$PATH:$DORIS_FE_HOME/bin #doris_be export DORIS_BE_HOME=/opt/apps/doris1.1.4/be export PATH=$PATH:$DORIS_BE_HOME/bin

启动BE

SQL 启动 BE（每个节点） /opt/apps/doris/be/bin/start_be.sh --daemon 启动后再次查看BE的节点 mysql -h linux01 -P 9030 -uroot -p 123456 SHOW PROC '/backends'; Alive 为 true 表示该 BE 节点存活。

2.4部署 FS_Broker（可选）

Broker 以插件的形式，独立于 Doris 部署。如果需要从第三方存储系统导入数据，需要部署相应的 Broker，默认提供了读取 HDFS、百度云 BOS 及 Amazon S3 的 fs_broker。fs_broker 是无状态的，建议每一个 FE 和 BE 节点都部署一个 Broker。

启动 Broker

SQL /opt/apps/doris/fe/apache_hdfs_broker/bin/start_broker.sh --daemon

使用 mysql-client 连接启动的 FE，执行以下命令：

SQL mysql -h linux01 -P 9030 -uroot -p 123456 ALTER SYSTEM ADD BROKER broker_name "linux01:8000","linux02:8000","linux03:8000"; 当然你也可以一个个的加，并且 broker_name 这只是一个名字，可以自己取

查看 Broker 状态

SQL 使用 mysql-client 连接任一已启动的 FE，执行以下命令查看 Broker 状态： SHOW PROC "/brokers";

2.5扩容和缩容

2.5.1 FE 扩容和缩容

可以通过将 FE 扩容至 3 个以上节点来实现 FE 的高可用。

使用 MySQL 登录客户端后，可以使用 sql 命令查看 FE 状态，目前就一台 FE

SQL mysql -h linux01 -P 9030 -uroot -p mysql> SHOW PROC '/frontends'\G; *************************** 1. row ***************************              Name: 192.168.17.3_9010_1661510658077                IP: 192.168.17.3          HostName: linux01       EditLogPort: 9010          HttpPort: 8030         QueryPort: 9030           RpcPort: 9020              Role: FOLLOWER          IsMaster: true         ClusterId: 1133836578              Join: true             Alive: true ReplayedJournalId: 2472     LastHeartbeat: 2022-08-26 13:07:47          IsHelper: true            ErrMsg:           Version: 1.1.1-rc03-2dbd70bf9  CurrentConnected: Yes 1 row in set (0.03 sec)

添加FE的新节点：

FE 分为 Leader，Follower 和 Observer 三种角色。 默认一个集群，只能有一个 Leader,可以有多个 Follower 和 Observer。其中 Leader 和 Follower 组成一个 Paxos 选择组，如果Leader 宕机，则剩下的 Follower 会自动选出新的 Leader，保证写入高可用。Observer 同步 Leader 的数据，但是不参加选举。

如果只部署一个 FE，则 FE 默认就是 Leader。在此基础上，可以添加若干 Follower 和 Observer。

SQL ALTER SYSTEM ADD FOLLOWER "linux02:9010"; ALTER SYSTEM ADD OBSERVER "linux03:9010";

在linux02和linux03上分别启动FE节点

SQL /opt/apps/doris/fe/bin/start_fe.sh --helper  linux01:9010 --daemon 记住哦，如果是第一次添加的话，一定要加这两个参数  --helper  linux01:9010

此时你再去查看FE的状态就发现有3台啦

SQL mysql> SHOW PROC '/frontends'\G; *************************** 1. row ***************************              Name: 192.168.17.4_9010_1661490723344                IP: 192.168.17.4          HostName: linux02       EditLogPort: 9010          HttpPort: 8030         QueryPort: 0           RpcPort: 0              Role: FOLLOWER          IsMaster: false         ClusterId: 1133836578              Join: false             Alive: false ReplayedJournalId: 0     LastHeartbeat: NULL          IsHelper: true            ErrMsg: java.net.ConnectException: Connection refused (Connection refused)           Version: NULL  CurrentConnected: No *************************** 2. row ***************************              Name: 192.168.17.5_9010_1661490727316                IP: 192.168.17.5          HostName: linux03       EditLogPort: 9010          HttpPort: 8030         QueryPort: 0           RpcPort: 0              Role: OBSERVER          IsMaster: false         ClusterId: 1133836578              Join: false             Alive: false ReplayedJournalId: 0     LastHeartbeat: NULL          IsHelper: false            ErrMsg: java.net.ConnectException: Connection refused (Connection refused)           Version: NULL  CurrentConnected: No *************************** 3. row ***************************              Name: 192.168.17.3_9010_1661510658077                IP: 192.168.17.3          HostName: linux01       EditLogPort: 9010          HttpPort: 8030         QueryPort: 9030           RpcPort: 9020              Role: FOLLOWER          IsMaster: true         ClusterId: 1133836578              Join: true             Alive: true ReplayedJournalId: 2577     LastHeartbeat: 2022-08-26 13:13:33          IsHelper: true            ErrMsg:           Version: 1.1.1-rc03-2dbd70bf9  CurrentConnected: Yes 3 rows in set (0.04 sec)

删除FE节点命令

SQL ALTER SYSTEM DROP FOLLOWER[OBSERVER] "fe_host:edit_log_port"; ALTER SYSTEM DROP FOLLOWER "linux01:9010";

注意：删除 Follower FE 时，确保最终剩余的 Follower（包括 Leader）节点最好为奇数。

2.5.2 BE 扩容和缩容

增加 BE 节点

SQL 在 MySQL 客户端，通过 ALTER SYSTEM ADD BACKEND 命令增加 BE 节点。 ALTER SYSTEM ADD BACKEND "linux01:9050";

DROP 方式删除 BE 节点（不推荐）

SQL ALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port"; ALTER SYSTEM DROP BACKEND "linux01:9050";

注意：DROP BACKEND 会直接删除该 BE，并且其上的数据将不能再恢复！！！所以我们强烈不推荐使用 DROP BACKEND 这种方式删除 BE 节点。当你使用这个语句时,会有对应的防误操作提示。

DECOMMISSION 方式删除 BE 节点（推荐）

SQL ALTER SYSTEM DECOMMISSION BACKEND  "be_host:be_heartbeat_service_port"; ALTER SYSTEM DECOMMISSION BACKEND "linux01:9050";

该命令用于安全删除 BE 节点。命令下发后，Doris 会尝试将该 BE 上的数据向其 他 BE 节点迁移，当所有数据都迁移完成后，Doris 会自动删除该节点。 该命令是一个异步操作。执行后，可以通过 SHOW PROC '/backends'; 看到该 BE节点的 isDecommission 状态为 true。表示该节点正在进行下线。 该命令不一定执行成功。比如剩余 BE 存储空间不足以容纳下线 BE 上的数据，或者剩余机器数量不满足最小副本数时，该命令都无法完成，并且 BE 会一直处于isDecommission 为 true 的状态。 DECOMMISSION 的进度，可以通过 SHOW PROC '/backends'; 中的 TabletNum 查看，如果正在进行，TabletNum 将不断减少。 该操作可以通过如下命令取消：CANCEL DECOMMISSION BACKEND "be_host:be_heartbeat_service_port"; 取消0后，该 BE 上的数据将维持当前剩余的数据量。后续 Doris 重新进行负载均衡。

2.5.3 Broker 扩容缩容

Broker 实例的数量没有硬性要求。通常每台物理机部署一个即可。Broker 的添加和删除可以通过以下命令完成：

SQL ALTER SYSTEM ADD BROKER broker_name "broker_host:broker_ipc_port";  ALTER SYSTEM DROP BROKER broker_name "broker_host:broker_ipc_port";  ALTER SYSTEM DROP ALL BROKER broker_name;

Broker 是无状态的进程，可以随意启停。当然，停止后，正在其上运行的作业会失败，重试即可。

第 3 章 数据表设计

3.1字段类型

TINYINT	1 字节	范围：-2^7 + 1 ~ 2^7 - 1
SMALLINT	2 字节	范围：-2^15 + 1 ~ 2^15 - 1
INT	4 字节	范围：-2^31 + 1 ~ 2^31 - 1
BIGINT	8 字节	范围：-2^63 + 1 ~ 2^63 - 1
LARGEINT	16 字节	范围：-2^127 + 1 ~ 2^127 - 1
FLOAT	4 字节	支持科学计数法
DOUBLE	12 字节	支持科学计数法
DECIMAL[(precision, scale)]	16 字节	保证精度的小数类型。默认是DECIMAL(10, 0) ，precision: 1 ~ 27 ，scale: 0 ~ 9，其中整数部分为 1 ~ 18，不支持科学计数法
DATE	3 字节	范围：0000-01-01 ~ 9999-12-31
DATETIME	8 字节	范围：0000-01-01 00:00:00 ~ 9999-12-31 23:59:59
CHAR[(length)]		定长字符串。长度范围：1 ~ 255。默认为 1
VARCHAR[(length)]		变长字符串。长度范围：1 ~ 65533
BOOLEAN		与 TINYINT 一样，0 代表 false，1 代表 true
HLL	1~16385 个字节	hll 列类型，不需要指定长度和默认值,长度根据数据的聚合程度系统内控制，并且 HLL 列只能通过 配套的hll_union_agg、Hll_cardinality、hll_hash 进行查询或使用
BITMAP		bitmap 列类型，不需要指定长度和默认值。表示整型的集合，元素最大支持到 2^64 - 1
STRING		变长字符串，0.15 版本支持，最大支持 2147483643 字节（2GB-4），长度还受 be 配置`string_type_soft_limit`,  实际能存储的最大长度取两者最小值。只能用在 value 列，不能用在 key列和分区、分桶列