分散タスクスケジューリングプラットフォームXXL-JOBの構築と活用

参照文書：

xxl公式ドキュメント https://www.xuxueli.com/xxl-job/

xxl ビルドチュートリアル https://www.cnblogs.com/ysocean/p/10541151.html#_label0

xxl ガイドドキュメント https://cloud.tencent.com/developer/article/1710315

概要：

XXL-JOB は分散タスクスケジューリングプラットフォームで、Dianping Xu Xueli によるオープンソースプロジェクトです (xxl はピンインでの作成者の名前の頭文字です)。その中心的な設計目標は、迅速な開発、簡単な学習、軽量、簡単な拡張です。ソースコードは現在公開されており、そのまますぐに多くの企業のオンライン製品ラインに接続されています。

分散タスクスケジューリングプラットフォームの主な機能:

同じサービスの複数のインスタンスのタスクが相互に排他的である場合、それらのタスクを均一にスケジュールできます。
タスクのスケジューリングは、高可用性、監視、および障害アラームをサポートします。
各サービスノードのタスクスケジューリング結果を一元的に管理・追跡するには、タスクの属性情報などを記録・保存する必要があります。

現在、主流の分散タスクスケジューリングプラットフォームは elasticjob と xxl-job です。

xxl-job と elasticjob の比較:

elasticjob の本来の目的は、同時実行性の高い複雑なビジネスに対処することであり、ビジネスの量が大きく、サーバーの数が多い場合でも、タスクのスケジューリングを適切に実行し、サーバーリソースを可能な限り使用します。ZooKeeper を使用すると、可用性が高く、一貫性があり、スケーラブルになります。公式サイトには、elasticjob は分散型であると書かれていますが、メインサーバーは ZooKeeper の選挙メカニズムによって選出され、メインサーバーがハングアップした場合は、新しいメインサーバーが再選出されます。そのため、elasticjobは拡張性や可用性に優れていますが、使い方や操作がやや複雑です。

xxl-job はその逆です。中央スケジューリングプラットフォームを使用して、タスクを実行する複数の実行者をスケジュールします。スケジューリングセンターは DB ロックを使用して、クラスター分散スケジューリングの一貫性を確保します。このように、実行者を拡張すると DB への負荷が増加しますが、 if 実際、ここでのデータベースはタスクのスケジューリングと実行のみを担当します。ただし、実行プログラムとタスクの数が多くなければ、データベースに負荷がかかることはありません。実際、ほとんどの企業ではタスクも実行者も少なくなります (ただし、面接では同時実行性の高い質問が行われることがよくあります)。

比較的言えば、xxl-job 中央スケジューリングプラットフォームは軽量で、すぐに使用でき、操作が簡単で、すぐに使用でき、SpringBoot との統合が非常に優れており、モニタリングインターフェイスはスケジューリングセンターに統合されています。インターフェースがシンプルで、メンテナンスコストも高くなく、障害発生時にはメールでアラートが届くなどのメリットがあります。このため、多くの企業がスケジューリングプラットフォームとして xxl-job を選択します。

さらに、xxl-job 環境は ZooKeeper ではなく mysql に依存します。

主な特徴:

1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；
2、动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；
3、调度中心HA（中心式）：调度采用中心式设计，“调度中心”自研调度组件并支持集群部署，可保证调度中心HA；
4、执行器HA（分布式）：任务分布式执行，任务”执行器”支持集群部署，可保证任务执行HA；
5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址；
6、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务；
7、触发策略：提供丰富的任务触发策略，包括：Cron触发、固定间隔触发、固定延时触发、API（事件）触发、人工触发、父子任务触发；
8、调度过期策略：调度中心错过调度时间的补偿处理策略，包括：忽略、立即补偿触发一次等；
9、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；
10、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；
11、任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试；
12、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便的扩展短信、钉钉等告警方式；
13、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；
14、分片广播任务：执行器集群部署时，任务路由策略选择”分片广播”情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务；
15、动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。
16、故障转移：任务路由策略选择”故障转移”情况下，如果执行器集群中某一台机器故障，将会自动Failover切换到一台正常的执行器发送调度请求。
17、任务进度监控：支持实时监控任务进度；
18、Rolling实时日志：支持在线查看调度结果，并且支持以Rolling方式实时查看执行器输出的完整的执行日志；
19、GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。
20、脚本任务：支持以GLUE模式开发和运行脚本任务，包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本;
21、命令行任务：原生提供通用命令行任务Handler（Bean任务，”CommandJobHandler”）；业务方只需要提供命令行即可；
22、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
23、一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行；
24、自定义任务参数：支持在线配置调度任务入参，即时生效；
25、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；
26、数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性；
27、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件；
28、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
29、运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图等；
30、全异步：任务调度流程全异步化设计实现，如异步调度、异步运行、异步回调等，有效对密集调度进行流量削峰，理论上支持任意时长任务的运行；
31、跨语言：调度中心与执行器提供语言无关的 RESTful API 服务，第三方任意语言可据此对接调度中心或者实现执行器。除此之外，还提供了 “多任务模式”和“httpJobHandler”等其他跨语言方案；
32、国际化：调度中心支持国际化设置，提供中文、英文两种可选语言，默认为中文；
33、容器化：提供官方docker镜像，并实时更新推送dockerhub，进一步实现产品开箱即用；
34、线程池隔离：调度线程池进行隔离拆分，慢任务自动降级进入”Slow”线程池，避免耗尽调度线程，提高系统稳定性；
35、用户管理：支持在线管理系统用户，存在管理员、普通用户两种角色；
36、权限控制：执行器维度进行权限控制，管理员拥有全量权限，普通用户需要分配执行器权限后才允许相关操作；

直面した中心的な問題は次のとおりです。

xxl サーバーは、どのようにして異なる言語に依存するモジュールやバージョンと互換性を保つことができますか?

解決策 1: 元のプロジェクトサービスに新しいインターフェイスを追加し、スケジュールされたスクリプトから API を呼び出します。
- 実行過程をリアルタイムに収集できない（実行結果は戻り値からのみ取得できる）
- サービスをリアルタイムで管理できない (たとえば、サービスがダウンしている場合、次回インターフェイスが呼び出されたときにのみ認識されます)
解決策 2: xxx/xxx.js をシェルにする
- 各サービスは、xxl サーバー上にプロジェクトのコードのコピーを複製し、同時にシェルコマンドを記述する必要もあります。
- 分散システムの構築はさらに煩雑になります。

提供される主なサービスの種類:

GLUE モード (シェルスクリプトの実行、パッケージに依存する理由により、ネイティブコードの使用は推奨されません)
BEAN モード (API インターフェイス呼び出し)

いくつかのタイプのスケジュールされたタスクとアクセススキーム:

標準のシェルタスク
- アクセススキーム: GLUEモードを採用、タスクコードを移行
データスクリプトの更新 (たとえば、在庫切れ時間に基づいて製品の在庫状況と在庫外ステータスを維持する)
- 1 回の実行は高速で、実行プロセスへの注目度はそれほど高くなく、実行後に結果を返すだけです。
- アクセスプラン：
  - 応答インターフェイスはプロジェクトに基づいて記述され、元のスクリプトロジックはインターフェイスによって呼び出されるため、ロジックコードを変更する必要はありません。
  - xxl プラットフォームでは Bean モードが採用されており、API が直接呼び出されます。
  - インターフェースは実行結果を戻り値としてxxlに返し、xxlはログを記録します。
健康診断
- 同上。
データの前処理（ビッグデータアルゴリズムなど）
- 1 回の実行時間は最大で数十分と比較的遅く、実行プロセスは非常に重要です。
- コードを xxl サーバーにデプロイすると同時に、シェル実行スクリプトを作成する必要があります。xxl は、GLUE モードシェルを使用して呼び出し、実行プロセスログを収集します。
DAG タスク
- xxl は、優れた DAG タスク処理ソリューションをまだ提供していません。DAG タスクが関係する場合は、シリアル化を実現するために追加のタスクを作成するか、親子タスクを使用する必要があります。

建てる：

設定ファイル

ファイルパス: /xxl-job/xxl-job-admin/src/main/resources/application.properties

### 调度中心JDBC链接：链接地址请保持和 2.1章节 所创建的调度数据库的地址一致
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root_pwd
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
 
### 报警邮箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
[email protected]
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory
 
### 调度中心通讯TOKEN [选填]：非空时启用；
xxl.job.accessToken=
 
### 调度中心国际化配置 [必填]： 默认为 "zh_CN"/中文简体, 可选范围为 "zh_CN"/中文简体, "zh_TC"/中文繁体 and "en"/英文；
xxl.job.i18n=zh_CN
 
## 调度线程池最大线程配置【必填】
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
 
### 调度中心日志表数据保存天数 [必填]：过期日志自动清理；限制大于等于7时生效，否则, 如-1，关闭自动清理功能；
xxl.job.logretentiondays=30

ここでの spring.mail.password は QQ メールボックスのパスワードではなく、QQ メールボックス https://service.mail.qq.com/cgi-bin/help?subtype=1&id=28&no=1001256の認証コードであることに注意してください。

コンパイルして実行する

プロジェクトの main メソッドを直接実行するだけで開始できます。

サーバーへのデプロイメントは、jar パッケージにパッケージ化し、Maven プラグインを使用して IDEA にパッケージ化する必要があります。 Springboot メソッドを使用してサーバーにアップロードします

開始コマンド

nohup  java -jar  xxl-job-admin-2.3.0-SNAPSHOT.jar &
nohup: ignoring input and appending output to ‘nohup.out’

アクセス：

BEAN アクセス
1. タスクを作成する
2. タスクを編集する
  
  タスクの説明、アラーム電子メールを編集し、動作モードを BEAN に設定し、タスクパラメーターハンドラーを入力します。
3. cron タイミング時間を設定する
グルーアクセス
1. sh ファイルをプロジェクトに追加してスクリプトを呼び出す
2. コードを xxl サーバーに複製します。
3. 新しい仕事
  
  ページは基本的に上記と同じですが、GLUE モードに注意してください
4. IDEの編集
  
  操作には IDE エディタがあり、クリックすると新しいページが表示されます。シェルを作成するときは、コード内の sh がルートディレクトリでスクリプトを検索するため、最初に cd パスに注意してください。
タスク管理

タスク管理では、操作を個別にトリガーしたり、停止、開始、編集、ログのクエリなどを実行したりできます。