Apache Doris 详细教程（三）

7、监控和报警

Doris 可以使用 Prometheus 和 Grafana 进行监控和采集，官网下载最新版即可。

Prometheus 官网下载：https://prometheus.io/download/

Grafana 官网下载：https://grafana.com/grafana/download

Doris 的监控数据通过 FE 和 BE 的 http 接口向外暴露。监控数据以 key-value 的文本形式对外展现。每个 key 还可能有不同的 Label 加以区分。当用户搭建好 Doris 后，可以在浏览器，通过以下接口访问监控数据.

Frontend: fe_host:fe_http_port/metrics，如 http://zuomm01:8030/metrics

Backend: be_host:be_web_server_port/metrics，如 http://zuomm01:8040/metrics

整个监控架构如下图

7.1、prometheus

1、上传 prometheus-2.26.0.linux-amd64.tar.gz，并进行解压

 tar -zxvf prometheus-2.26.0.linux-amd64.tar.gz 

2、配置 promethues.yml

配置两个 targets 分别配置 FE 和 BE,并且定义 labels 和 groups 指定组。如果有多个集群则再加 -job_name 标签,进行相同配置

vi prometheus.yml 
scrape_configs: 
  - job_name: 'prometheus_doris'
    static_configs:
    - targets: ['zuomm01:8030','zuomm02:8030','zuomm03:8030']
      labels:
           group: fe
    - targets: ['zuomm01:8040','zuomm02:8040','zuomm03:8040']
      labels:
           group: be

3、启动 prometheus

nohup /opt/app/prometheus-2.26.0.linux-amd64/prometheus --web.listen-address="0.0.0.0:8181" & 

该命令将后台运行 Prometheus，并指定其 web 端口为 8181。启动后，即开始采集数据，并将数据存放在 data 目录中。

4、访问

http://zuomm01:8181

点击导航栏中，Status -> Targets，可以看到所有分组 Job 的监控主机节点。正常情况下，所有节点都应为 UP，表示数据采集正常。点击某一个 Endpoint，即可看到当前的监控数值。

7.2、grafana

1、上传 grafana-7.5.2.linux-amd64.tar.gz，并进行解压

tar -zxvf grafana-7.5.2.linux-amd64.tar.gz 

2、配置 conf/defaults.ini

vi defaults.ini
http_addr = zuomm01
http_port = 8182

3、启动

nohup /opt/app/grafana-7.5.2/bin/grafana-server &

通过浏览器访问http://zuomm01:8182，配置数据源 Prometheus 账号密码都是 admin

添加数据源：在齿轮那边

添加普罗米修斯：

添加 dashboard

模板下载地址：https://grafana.com/grafana/dashboards/9734/revisions

上传准备好的 doris-overview_rev4.json

找到manager

导入下载得doris模板

8、备份（Backup）和恢复（Restore）

Doris 支持将当前数据以文件的形式，通过 broker 备份到远端存储系统中。之后可以通过恢复命令，从远端存储系统中将数据恢复到任意 Doris 集群。通过这个功能，Doris支持将数据定期的进行快照备份。也可以通过这个功能，在不同集群间进行数据迁移

8.1、备份原理

备份操作是将指定表或分区的数据，直接以 Doris 存储的文件的形式，上传到远端仓库中进行存储。当用户提交 Backup 请求后，系统内部会做如下操作：

1、快照及快照上传

快照阶段会对指定的表或分区数据文件进行快照。之后，备份都是对快照进行操作。在快照之后，对表进行的更改、导入等操作都不再影响备份的结果。快照只是对当前数据文件产生一个硬链，耗时很少。快照完成后，会开始对这些快照文件进行逐一上传。快照上传由各个 Backend 并发完成。

2、元数据准备及上传
数据文件快照上传完成后，Frontend 会首先将对应元数据写成本地文件，然后通过broker 将本地元数据文件上传到远端仓库。完成最终备份作业。

8.2、恢复（Restore）原理

恢复操作需要指定一个远端仓库中已存在的备份数据，然后将这个备份的内容恢复到本地集群中。当用户提交 Restore 请求后，系统内部会做如下操作：

1、在本地创建对应的元数据
这一步首先会在本地集群中，创建恢复对应的表分区等结构。创建完成后，该表可见，但是不可访问。

2、本地 snapshot
这一步是将上一步创建的表做一个快照。这其实是一个空快照（因为刚创建的表是没有数据的），其目的主要是在 Backend 上产生对应的快照目录，用于之后接收从远端仓库下载的快照文件。

3、下载快照
远端仓库中的快照文件，会被下载到对应的上一步生成的快照目录中。这一步由各个Backend 并发完成。

4、生效快照
快照下载完成后，我们要将各个快照映射为当前本地表的元数据。然后重新加载这些快照，使之生效，完成最终的恢复作业。

重点说明

1、备份恢复相关的操作目前只允许拥有 ADMIN 权限的用户执行。
2、一个 Database 内，只允许有一个正在执行的备份或恢复作业。
3、备份和恢复都支持最小分区（Partition）级别的操作，当表的数据量很大时，建议按分区分别执行，以降低失败重试的代价。

8.3、备份示例

1、创建一个远端仓库路径

-- 1.启动hdfs
-- 2.启动broker

CREATE REPOSITORY `hdfs_test_backup`  -- 远端仓库的名字
WITH BROKER `broker_name` 
ON LOCATION "hdfs://linux01:8020/tmp/doris_backup"  -- 存储的路径
PROPERTIES ( 
 "username" = "root", 
 "password" = "" 
) ;

2、执行备份

BACKUP SNAPSHOT [db_name].{snapshot_name} 
TO `repository_name` 
ON ( -- 表里面的哪些数据 
 `table_name` [PARTITION (`p1`, ...)], 
 ... 
) 
PROPERTIES ("key"="value", ...);

3、查看备份任务

SHOW BACKUP from test \G;

mysql> SHOW BACKUP from test \G;
*************************** 1. row ***************************
               JobId: 13300
        SnapshotName: event_info_log_snapshot
              DbName: test
               State: FINISHED
          BackupObjs: [default_cluster:test.event_info_log]
          CreateTime: 2022-11-27 21:29:56
SnapshotFinishedTime: 2022-11-27 21:30:00
  UploadFinishedTime: 2022-11-27 21:30:06
        FinishedTime: 2022-11-27 21:30:13
     UnfinishedTasks: 
            Progress: 
          TaskErrMsg: 
              Status: [OK]
             Timeout: 86400
1 row in set (0.02 sec)

4、查看远端仓库镜像

SHOW SNAPSHOT ON `repo_name` 
 [WHERE SNAPSHOT = "snapshot" [AND TIMESTAMP =  
"backup_timestamp"]]; 


mysql> SHOW SNAPSHOT ON hdfs_test_backup;
+-------------------------+---------------------+--------+
| Snapshot                | Timestamp           | Status |
+-------------------------+---------------------+--------+
| event_info_log_snapshot | 2022-11-27-21-29-56 | OK     |
+-------------------------+---------------------+--------+

5、取消备份

CANCEL BACKUP FROM test; 

8.4、恢复示例

将之前通过 BACKUP 命令备份的数据，恢复到指定数据库下。该命令为异步操作。提交成功后，需通过 SHOW RESTORE 命令查看进度。

• 仅支持恢复 OLAP 类型的表
• 支持一次恢复多张表，这个需要和你对应的备份里的表一致

说明：

1、同一数据库下只能有一个正在执行的 BACKUP 或 RESTORE 任务。

2、ON 子句中标识需要恢复的表和分区。如果不指定分区，则默认恢复该表的所有分区。所指定的表和分区必须已存在于仓库备份中

3、可以通过 AS 语句将仓库中备份的表名恢复为新的表。但新表名不能已存在于数据库中。分区名称不能修改。

4、可以将仓库中备份的表恢复替换数据库中已有的同名表，但须保证两张表的表结构完全一致。表结构包括：表名、列、分区、Rollup 等等。

5、可以指定恢复表的部分分区，系统会检查分区 Range 或者 List 是否能够匹配。

6、PROPERTIES 目前支持以下属性：

• “backup_timestamp” = “2018-05-04-16-45-08”：指定了恢复对应备份的哪个时间版本,必填。该信息可以通过 SHOW SNAPSHOT ON 仓库名称; 语句获得。
• “replication_num” = “3”：指定恢复的表或分区的副本数。默认为 3。若恢复已存在的表或分区，则副本数必须和已存在表或分区的副本数相同。同时，必须有足够的host 容纳多个副本。
• “timeout” = “3600”：任务超时时间，默认为一天。单位秒。

从 example_repo 中恢复备份 snapshot_1 中的表 backup_tbl 到数据库 example_db1，时间版本为 “2021-05-04-16-45-08”。恢复为 1 个副本：

-- 创建表：
create table event_info
(
user_id varchar(20),
event_id varchar(20),
event_action varchar(20),
event_time datetime
)
DUPLICATE KEY(user_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 1;


-- 指定哪个数据库里面的哪一个快招表的名字
RESTORE SNAPSHOT test.event_info_log_snapshot
-- 从哪个仓库中的哪一个快照中
FROM `hdfs_test_backup` -- 仓库名字
ON ( `event_info_log` )  -- 对应需要的那一张表
PROPERTIES 
( 
-- 指定时间版本
 "backup_timestamp"='2022-11-27-21-29-56'
); 

查看恢复任务

mysql> SHOW RESTORE from test \G;
*************************** 1. row ***************************
                        JobId: 13316
                        Label: event_info_log_snapshot
                    Timestamp: 2022-11-27-21-29-56
                       DbName: default_cluster:test
                        State: FINISHED
                    AllowLoad: false
               ReplicationNum: 3
            ReplicaAllocation: tag.location.default: 3
               ReserveReplica: false
ReserveDynamicPartitionEnable: false
                  RestoreObjs: {
  "name": "event_info_log_snapshot",
  "database": "test",
  "backup_time": 1669555796781,
  "content": "ALL",
  "olap_table_list": [
    {
      "name": "event_info_log",
      "partition_names": [
        "event_info_log"
      ]
    }
  ],
  "view_list": [],
  "odbc_table_list": [],
  "odbc_resource_list": []
}
                   CreateTime: 2022-11-27 21:55:27
             MetaPreparedTime: 2022-11-27 21:55:28
         SnapshotFinishedTime: 2022-11-27 21:55:31
         DownloadFinishedTime: 2022-11-27 21:55:37
                 FinishedTime: 2022-11-27 21:55:43
              UnfinishedTasks: 
                     Progress: 
                   TaskErrMsg: 
                       Status: [OK]
                      Timeout: 86400
1 row in set (0.01 sec)

取消恢复

CANCEL RESTORE FROM db_name;

8.5、删除远端仓库

DROP REPOSITORY `repo_name`;  

删除仓库，仅仅是删除该仓库在 Doris 中的映射，不会删除实际的仓库数据。删除后，可以再次通过指定相同的 broker 和 LOCATION 映射到该仓库。

原文：https://mp.weixin.qq.com/s/C9P8Zoyw6MdTt9BNEcL0MA