Dites adieu à la planification manuelle, le déploiement en cluster Dolphin Scheduler 3.1.x vous permet de gérer facilement plusieurs machines !

Mobile 2024-04-25 09:10:15 views: null

déposer

Réimprimé du premier morceau de cœur

1. Introduction

Étant donné que le document de déploiement de cluster de Dolphin Scheduling Organ Network est rédigé de manière désordonnée et que vous devez accéder à de nombreux endroits pour fonctionner pendant le processus d'installation, j'ai résumé un document que vous pouvez suivre directement du début à la fin pour faciliter les opérations ultérieures. déploiement et mises à niveau, opérations associées d’ajout de nœuds et de réduction de nœuds.

2. Préparez-vous à l'avance

2.1. Composants de base

  • JDK : téléchargez JDK (1.8+), installez et configurez la variable d'environnement JAVA_HOME et ajoutez le répertoire bin situé en dessous à la variable d'environnement PATH. S'il existe déjà dans votre environnement, vous pouvez ignorer cette étape.
  • Package binaire : Téléchargez le package binaire DolphinScheduler sur la page de téléchargement
  • Base de données : PostgreSQL (8.2.15+) ou MySQL (5.7+), vous pouvez choisir l'un des deux. Par exemple, MySQL nécessite la version JDBC Driver 8, qui peut être téléchargée depuis l'entrepôt central.
  • Centre d'inscription : ZooKeeper (3.4.6+), adresse de téléchargement.
  • Analyse de l'arborescence des processus
    • macOS installer pstree
    • Fedora/Red/Hat/CentOS/Ubuntu/Debian installe psmisc.

Remarque : DolphinScheduler lui-même ne dépend pas de Hadoop, Hive, Spark, etc., mais si les tâches que vous exécutez doivent s'appuyer sur eux, vous avez besoin d'un support environnemental correspondant.

3. Télécharger

Téléchargez le package binaire et extrayez-le dans un certain répertoire. Vous pouvez décider vous-même de l'emplacement du répertoire spécifique.

Faites attention au nom du répertoire. Il est préférable d'ajouter quelques caractères après celui-ci. Le répertoire d'installation et le répertoire de décompression du package binaire doivent avoir des noms différents pour les distinguer.

tar -xvf apache-dolphinscheduler-3.1.7-bin.tar.gz
mv apache-dolphinscheduler-3.1.7-bin dolphinscheduler-3.1.7-origin

L'origine suivante indique qu'il s'agit du fichier de décompression du package binaire d'origine. En cas de modifications de configuration ultérieures, vous pouvez modifier les fichiers du répertoire et réexécuter le script d'installation.

4. Utilisateur

4.1. Configurer l'exemption et les autorisations du mot de passe utilisateur

Créez un utilisateur de déploiement et assurez-vous de configurer sudo sans mot de passe. Prenons l'exemple de la création de l'utilisateur Dolphinscheduler :

# 创建用户需使用 root 登录
useradd dolphinscheduler

# 添加密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler

# 配置 sudo 免密
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

# 修改目录权限，使得部署用户对二进制包解压后的 apache-dolphinscheduler-*-bin 目录有操作权限
chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin

Avis:

  • Étant donné que le service d'exécution de tâches utilise sudo -u {linux-user} pour basculer entre différents utilisateurs Linux afin d'implémenter des tâches en cours d'exécution multi-locataires, l'utilisateur de déploiement doit disposer des autorisations sudo et ne dispose pas de mot de passe. Si les débutants ne le comprennent pas, ils peuvent ignorer ce point temporairement.
  • Si vous trouvez la ligne "Defaults requirett" dans le fichier /etc/sudoers, veuillez également la commenter.

4.2. Configurer la connexion sans mot de passe SSH de la machine

Étant donné que les ressources doivent être envoyées à différentes machines lors de l'installation, une connexion SSH sans mot de passe est requise entre chaque machine. Les étapes pour configurer la connexion sans mot de passe sont les suivantes :

su dolphinscheduler

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 一定要执行下面这个命令，否则免密登录会失败
chmod 600 ~/.ssh/authorized_keys

Remarque : Une fois la configuration terminée, vous pouvez exécuter la commande ssh localhostpour déterminer si elle a réussi. Si vous pouvez vous connecter via ssh sans saisir de mot de passe, elle a réussi.

5. Démarrez le gardien de zoo

Démarrez simplement zookeeper dans le cluster.

6. Modifier la configuration

Toutes les opérations suivantes sont effectuées sous l'utilisateur Dolphinscheduler.

Après avoir terminé la préparation de l'environnement de base, vous devez modifier le fichier de configuration en fonction de l'environnement de votre machine. Les fichiers de configuration se trouvent dans le répertoire bin/env, ce sont install_env.shet dolphinscheduler_env.sh.

6.1. install_env.sh

install_env.shLe fichier configure sur quelles machines DolphinScheduler sera installé et quels services seront installés sur chaque machine. Vous pouvez retrouver ce fichier dans le chemin bin/env/puis modifier la configuration correspondante selon les instructions ci-dessous.

# ---------------------------------------------------------
# INSTALL MACHINE
# ---------------------------------------------------------
# A comma separated list of machine hostname or IP would be installed DolphinScheduler,
# including master, worker, api, alert. If you want to deploy in pseudo-distributed
# mode, just write a pseudo-distributed hostname
# Example for hostnames: ips="ds1,ds2,ds3,ds4,ds5", Example for IPs: ips="192.168.8.1,192.168.8.2,192.168.8.3,192.168.8.4,192.168.8.5"
# 配置海豚调度器要安装到那些机器上
ips=${ips:-"ds01,ds02,ds03,hadoop02,hadoop03,hadoop04,hadoop05,hadoop06,hadoop07,hadoop08"}

# Port of SSH protocol, default value is 22. For now we only support same port in all `ips` machine
# modify it if you use different ssh port
sshPort=${sshPort:-"22"}

# A comma separated list of machine hostname or IP would be installed Master server, it
# must be a subset of configuration `ips`.
# Example for hostnames: masters="ds1,ds2", Example for IPs: masters="192.168.8.1,192.168.8.2"
# 配置 master 角色要安装到哪些机器上
masters=${masters:-"ds01,ds02,ds03,hadoop04,hadoop05,hadoop06,hadoop07,hadoop08"}

# A comma separated list of machine <hostname>:<workerGroup> or <IP>:<workerGroup>.All hostname or IP must be a
# subset of configuration `ips`, And workerGroup have default value as `default`, but we recommend you declare behind the hosts
# Example for hostnames: workers="ds1:default,ds2:default,ds3:default", Example for IPs: workers="192.168.8.1:default,192.168.8.2:default,192.168.8.3:default"
# 配置 worker 角色要安装到哪些机器上，默认都放到 default 的 worker 分组内，其他分组，可以通过海豚调度器界面进行单独配置
workers=${workers:-"ds01:default,ds02:default,ds03:default,hadoop02:default,hadoop03:default,hadoop04:default,hadoop05:default,hadoop06:default,hadoop07:default,hadoop08:default"}

# A comma separated list of machine hostname or IP would be installed Alert server, it
# must be a subset of configuration `ips`.
# Example for hostname: alertServer="ds3", Example for IP: alertServer="192.168.8.3"
# 配置 alert 角色安装到哪个机器上，配置一台机器即可
alertServer=${alertServer:-"hadoop03"}

# A comma separated list of machine hostname or IP would be installed API server, it
# must be a subset of configuration `ips`.
# Example for hostname: apiServers="ds1", Example for IP: apiServers="192.168.8.1"
# 配置 api 角色安装到哪个机器上，配置一台机器即可
apiServers=${apiServers:-"hadoop04"}

# The directory to install DolphinScheduler for all machine we config above. It will automatically be created by `install.sh` script if not exists.
# Do not set this configuration same as the current path (pwd). Do not add quotes to it if you using related path.
# 配置安装路径，将会在所有海豚集群的机器上安装服务，一定要和上面解压的二进制包目录区分开，最好带上版本号，以方便后续的升级操作。
installPath=${installPath:-"/opt/dolphinscheduler-3.1.5"}

# The user to deploy DolphinScheduler for all machine we config above. For now user must create by yourself before running `install.sh`
# script. The user needs to have sudo privileges and permissions to operate hdfs. If hdfs is enabled than the root directory needs
# to be created by this user
# 部署使用的用户，用上面自己新建的用户即可
deployUser=${deployUser:-"dolphinscheduler"}

# The root of zookeeper, for now DolphinScheduler default registry server is zookeeper.
# 配置注册到 zookeeper znode 名称，如果配置了多个海豚集群，则需要配置不同的名称
zkRoot=${zkRoot:-"/dolphinscheduler"}

6.2. Dolphinscheduler_env.sh

Ce fichier se bin/env/trouve dans le chemin. Ce fichier permet de configurer certains environnements utilisés. Il suffit de suivre les instructions ci-dessous pour modifier la configuration correspondante :

# JDK 路径，一定要修改
export JAVA_HOME=${JAVA_HOME:-/usr/java/jdk1.8.0_202}

# 数据库类型，支持 mysql、postgresql
export DATABASE=${DATABASE:-mysql}
export SPRING_PROFILES_ACTIVE=${DATABASE}
# 连接 url，主要修改下面的 hostname，最后配置的是东八区
export SPRING_DATASOURCE_URL="jdbc:mysql://hostname:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
# 如果密码比较复杂，则需要前后使用英文单引号括起来
export SPRING_DATASOURCE_PASSWORD='xxxxxxxxxxxxx'

export SPRING_CACHE_TYPE=${SPRING_CACHE_TYPE:-none}
# 配置各角色 JVM 启动时使用的时区，默认为 -UTC，如果想要完全支持东八区，则设置为 -GMT+8
export SPRING_JACKSON_TIME_ZONE=${SPRING_JACKSON_TIME_ZONE:-GMT+8}
export MASTER_FETCH_COMMAND_NUM=${MASTER_FETCH_COMMAND_NUM:-10}

export REGISTRY_TYPE=${REGISTRY_TYPE:-zookeeper}
# 配置使用的 zookeeper 地址
export REGISTRY_ZOOKEEPER_CONNECT_STRING=${REGISTRY_ZOOKEEPER_CONNECT_STRING:-hadoop01:2181,hadoop02:2181,hadoop03:2181}

# 配置使用到的一些环境变量，按照自己的需要进行配置即可，所有需要的组件，都自己安装
export HADOOP_HOME=${HADOOP_HOME:-/opt/cloudera/parcels/CDH/lib/hadoop}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/etc/hadoop/conf}
export SPARK_HOME1=${SPARK_HOME1:-/opt/soft/spark1}
export SPARK_HOME2=${SPARK_HOME2:-/opt/spark-3.3.2}
export PYTHON_HOME=${PYTHON_HOME:-/opt/python-3.9.16}
export HIVE_HOME=${HIVE_HOME:-/opt/cloudera/parcels/CDH/lib/hive}
export FLINK_HOME=${FLINK_HOME:-/opt/flink-1.15.3}
export DATAX_HOME=${DATAX_HOME:-/opt/datax}
export SEATUNNEL_HOME=${SEATUNNEL_HOME:-/opt/seatunnel-2.1.3}
export CHUNJUN_HOME=${CHUNJUN_HOME:-/opt/soft/chunjun}

export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$SEATUNNEL_HOME/bin:$CHUNJUN_HOME/bin:$PATH

6.3. propriétés communes

Téléchargez hdfs-site.xml les core-site.xmlfichiers et à partir de votre propre cluster hadoop, puis placez-les dans le répertoire api-server/conf/and . worker-server/conf/S'il s'agit d'un cluster natif d'Apache construit par vous-même, vous pouvez le trouver dans le répertoire conf de chaque composant. S'il s'agit de CDH, vous pouvez le télécharger directement via l'interface CDH.

Modifiez ce fichier dans le répertoire api-server/conf/and worker-server/conf/. Ce fichier est principalement utilisé pour configurer les paramètres liés au téléchargement des ressources, tels que le téléchargement des ressources Dolphin vers HDFS, etc. Modifiez-le simplement selon les instructions suivantes :

# 本地路径，主要用来存放任务运行时的临时文件，要保证用户对该文件具有读写权限，一般保持默认即可，如果后续任务运行报错说是对该目录下的文件没有操作权限，直接将该目录权限修改为 777 即可
data.basedir.path=/tmp/dolphinscheduler

# resource view suffixs
#resource.view.suffixs=txt,log,sh,bat,conf,cfg,py,java,sql,xml,hql,properties,json,yml,yaml,ini,js

# 保存资源的地方，可用值为: HDFS, S3, OSS, NONE
resource.storage.type=HDFS
# 资源上传的基本路径，必须以 /dolphinscheduler 开头，要保证用户对该目录有读写权限
resource.storage.upload.base.path=/dolphinscheduler

# The AWS access key. if resource.storage.type=S3 or use EMR-Task, This configuration is required
resource.aws.access.key.id=minioadmin
# The AWS secret access key. if resource.storage.type=S3 or use EMR-Task, This configuration is required
resource.aws.secret.access.key=minioadmin
# The AWS Region to use. if resource.storage.type=S3 or use EMR-Task, This configuration is required
resource.aws.region=cn-north-1
# The name of the bucket. You need to create them by yourself. Otherwise, the system cannot start. All buckets in Amazon S3 share a single namespace; ensure the bucket is given a unique name.
resource.aws.s3.bucket.name=dolphinscheduler
# You need to set this parameter when private cloud s3. If S3 uses public cloud, you only need to set resource.aws.region or set to the endpoint of a public cloud such as S3.cn-north-1.amazonaws.com.cn
resource.aws.s3.endpoint=http://localhost:9000

# alibaba cloud access key id, required if you set resource.storage.type=OSS
resource.alibaba.cloud.access.key.id=<your-access-key-id>
# alibaba cloud access key secret, required if you set resource.storage.type=OSS
resource.alibaba.cloud.access.key.secret=<your-access-key-secret>
# alibaba cloud region, required if you set resource.storage.type=OSS
resource.alibaba.cloud.region=cn-hangzhou
# oss bucket name, required if you set resource.storage.type=OSS
resource.alibaba.cloud.oss.bucket.name=dolphinscheduler
# oss bucket endpoint, required if you set resource.storage.type=OSS
resource.alibaba.cloud.oss.endpoint=https://oss-cn-hangzhou.aliyuncs.com

# if resource.storage.type=HDFS, the user must have the permission to create directories under the HDFS root path
resource.hdfs.root.user=hdfs
# if resource.storage.type=S3, the value like: s3a://dolphinscheduler; if resource.storage.type=HDFS and namenode HA is enabled, you need to copy core-site.xml and hdfs-site.xml to conf dir
# 
resource.hdfs.fs.defaultFS=hdfs://bigdata:8020

# whether to startup kerberos
hadoop.security.authentication.startup.state=false

# java.security.krb5.conf path
java.security.krb5.conf.path=/opt/krb5.conf

# login user from keytab username
[email protected]

# login user from keytab path
login.user.keytab.path=/opt/hdfs.headless.keytab

# kerberos expire time, the unit is hour
kerberos.expire.time=2


# resourcemanager port, the default value is 8088 if not specified
resource.manager.httpaddress.port=8088
# if resourcemanager HA is enabled, please set the HA IPs; if resourcemanager is single, keep this value empty
yarn.resourcemanager.ha.rm.ids=hadoop02,hadoop03
# if resourcemanager HA is enabled or not use resourcemanager, please keep the default value; If resourcemanager is single, you only need to replace ds1 to actual resourcemanager hostname
yarn.application.status.address=http://ds1:%s/ws/v1/cluster/apps/%s
# job history status url when application number threshold is reached(default 10000, maybe it was set to 1000)
yarn.job.history.status.address=http://hadoop02:19888/ws/v1/history/mapreduce/jobs/%s

# datasource encryption enable
datasource.encryption.enable=false

# datasource encryption salt
datasource.encryption.salt=!@#$%^&*

# data quality option
data-quality.jar.name=dolphinscheduler-data-quality-dev-SNAPSHOT.jar

#data-quality.error.output.path=/tmp/data-quality-error-data

# Network IP gets priority, default inner outer

# Whether hive SQL is executed in the same session
support.hive.oneSession=false

# use sudo or not, if set true, executing user is tenant user and deploy user needs sudo permissions; if set false, executing user is the deploy user and doesn't need sudo permissions
sudo.enable=true
setTaskDirToTenant.enable=false

# network interface preferred like eth0, default: empty
#dolphin.scheduler.network.interface.preferred=

# network IP gets priority, default: inner outer
#dolphin.scheduler.network.priority.strategy=default

# system env path
#dolphinscheduler.env.path=dolphinscheduler_env.sh

# development state
development.state=false

# rpc port
alert.rpc.port=50052

# set path of conda.sh
conda.path=/opt/anaconda3/etc/profile.d/conda.sh

# Task resource limit state
task.resource.limit.state=false

# mlflow task plugin preset repository
ml.mlflow.preset_repository=https://github.com/apache/dolphinscheduler-mlflow
# mlflow task plugin preset repository version
ml.mlflow.preset_repository_version="main"

6.4. application.yaml

Vous devez modifier les fichiers /conf/application.yaml sous tous les rôles, notamment : master-server/conf/application.yaml, worker-server/conf/application.yaml, api-server/conf/application.yaml, alert- server/conf /application.yaml, la principale modification est le réglage du fuseau horaire, les modifications spécifiques sont les suivantes :

spring:
  banner:
    charset: UTF-8
  jackson:
    # 将时区设置为东八区，只修改这一个地方即可
    time-zone: GMT+8
    date-format: "yyyy-MM-dd HH:mm:ss"

6.5.service.57a50399.js et service.57a50399.js.gz

Ces deux fichiers se trouvent dans api-server/ui/assets/les répertoires et ui/assets/.

Basculez respectivement vers ces deux répertoires, puis recherchez ces deux fichiers respectivement, puis ouvrez-les avec la commande vim, puis recherchez 15e3, et après les avoir trouvés, remplacez-les par 15e5. Cela modifie le délai d'expiration de la page. La valeur par défaut 15e3 signifie 15 secondes. Nous la modifions à 1 500 secondes. Lors du téléchargement de fichiers volumineux, aucune erreur ne sera signalée en raison du délai d'expiration de la page.

déposer

7. Initialisez la base de données

Configuration du pilote

Copiez le pilote mysql (8.x) dans le répertoire lib de chaque rôle du planificateur Dolphin, notamment : api-server/libs, alert-server/libs, master-server/libs, worker-server/libs, tools/libs.

utilisateur de la base de données

Connectez-vous à MySQL en tant qu'utilisateur root, puis exécutez le support SQL suivant :

create database `dolphinscheduler` character set utf8mb4 collate utf8mb4_general_ci;
create user 'dolphinscheduler'@'%' IDENTIFIED WITH mysql_native_password by 'your_password';
grant ALL PRIVILEGES ON dolphinscheduler.* to 'dolphinscheduler'@'%';
flush privileges;

Exécutez le script de mise à niveau de la base de données :

bash tools/bin/upgrade-schema.sh

8.Installation

bash ./bin/install.sh

L'exécution de ce script transférera à distance tous les fichiers locaux vers toutes les machines configurées dans le fichier de configuration ci-dessus via scp, puis arrêtera les rôles sur les machines correspondantes, puis démarrera les rôles sur toutes les machines.

Après la première installation, tous les rôles ont été démarrés et il n'est pas nécessaire de démarrer un rôle séparément. Si aucun rôle n'est démarré, vous pouvez consulter les journaux correspondants sur la machine correspondante pour voir la cause du problème.

9. Démarrer et arrêter les services

# 一键停止集群所有服务
bash ./bin/stop-all.sh

# 一键开启集群所有服务
bash ./bin/start-all.sh

# 启停 Master
bash ./bin/dolphinscheduler-daemon.sh stop master-server
bash ./bin/dolphinscheduler-daemon.sh start master-server

# 启停 Worker
bash ./bin/dolphinscheduler-daemon.sh start worker-server
bash ./bin/dolphinscheduler-daemon.sh stop worker-server

# 启停 Api
bash ./bin/dolphinscheduler-daemon.sh start api-server
bash ./bin/dolphinscheduler-daemon.sh stop api-server

# 启停 Alert
bash ./bin/dolphinscheduler-daemon.sh start alert-server
bash ./bin/dolphinscheduler-daemon.sh stop alert-server

Il est important de noter que ces scripts doivent être exécutés par l'utilisateur qui a installé Dolphin Scheduler, sinon il y aura des problèmes d'autorisation.

Chaque service <service>/conf/dolphinscheduler_env.sha dolphinscheduler_env.shdes fichiers dans le chemin pour répondre aux besoins des microservices. Cela signifie que vous pouvez le configurer dans le service correspondant <service>/conf/dolphinscheduler_env.sh, puis utiliser <service>/bin/start.shdes commandes pour démarrer chaque service en fonction de différentes variables d'environnement. Mais si vous utilisez la commande /bin/dolphinscheduler-daemon.sh start <service>pour démarrer le serveur, elle bin/env/dolphinscheduler_env.shécrasera le fichier <service>/conf/dolphinscheduler_env.shpuis démarrera le service. Ceci est fait pour réduire le coût pour les utilisateurs de modifier la configuration.

10. Extension

10.1. Approche standard

Reportez-vous aux étapes ci-dessus et procédez comme suit :

  1. nouveau nœud
    1. Installez et configurez JDK.
    2. Créez un nouvel utilisateur Dolphin (utilisateur Linux), puis configurez la connexion, les autorisations, etc. sans mot de passe.
  2. Sur la machine sur laquelle le package d'installation binaire a été extrait avant d'installer le planificateur Dolphin.
    1. Connectez-vous en tant qu'utilisateur qui a installé Dolphin.
    2. Lors du passage à l'installation précédente de Dolphin Scheduler, décompressez le package d'installation binaire et modifiez le fichier de configuration : bin/env/install_env.sh. Dans le fichier de configuration, modifiez les rôles qui doivent être déployés sur le nouveau nœud.
    3. Exécutez /bin/install.shle fichier à installer. Le script déplacera bin/env/install_env.shl'intégralité du répertoire sur toutes les machines en fonction de la configuration du fichier, scppuis arrêtera les rôles sur toutes les machines, puis redémarrera tous les rôles.

Inconvénients de cette méthode : s'il existe de nombreuses tâches de niveau minute sur le planificateur Dolphin, ou des tâches en temps réel telles que flink et spark, cette opération arrêtera tous les rôles puis les démarrera, ce qui prendra un certain temps. Pendant cette période, ces tâches peuvent s'arrêter anormalement en raison du redémarrage de l'ensemble du cluster, ou ne pas être planifiées normalement. Cependant, le planificateur Dolphin lui-même implémente des fonctions telles que la tolérance automatique aux pannes et la récupération après sinistre, vous pouvez donc le faire et enfin observer si toutes les tâches sont exécutées normalement.

10.2. La méthode simple

Reportez-vous aux étapes ci-dessus et procédez comme suit :

  1. nouveau nœud
    1. Installez et configurez JDK.
    2. Créez un nouvel utilisateur Dolphin (utilisateur Linux), puis configurez la connexion, les autorisations, etc. sans mot de passe.
  2. Sur la machine sur laquelle le package d'installation binaire a été extrait avant d'installer le planificateur Dolphin.
    1. Connectez-vous en tant qu'utilisateur qui a installé Dolphin.
    2. Compressez directement l'intégralité du répertoire où la configuration a été modifiée auparavant, puis transférez-le vers le nouveau nœud.
  3. nouveau nœud
    1. Décompressez le fichier sur le nouveau nœud et renommez-le dans bin/env/install_env.shle répertoire d'installation configuré dans le fichier de configuration précédent.
    2. Connectez-vous en tant qu'utilisateur qui a installé Dolphin.
    3. Démarrez les rôles qui doivent être déployés sur le nouveau nœud. L'emplacement spécifique du script est : /bin/dolphinscheduler-daemon.shet la commande de démarrage est :
./dolphinscheduler-daemon.sh start master-server
./dolphinscheduler-daemon.sh start worker-server
  1. Connectez-vous à l'interface Dolphin Scheduler, puis observez dans le « Centre de surveillance » si le rôle correspondant est démarré sur le nouveau nœud.

11.Rétrécir

  1. Sur la machine qui doit être hors ligne, /bin/dolphinscheduler-daemon.sharrêtez tous les rôles sur la machine via le script. La commande stop est :
./dolphinscheduler-daemon.sh stop worker-server
  1. Connectez-vous à l'interface Dolphin Scheduler, puis observez dans le "Centre de surveillance" si le personnage arrêté sur la machine a disparu.
  2. Sur la machine sur laquelle le package d'installation binaire a été décompressé lors de l'installation précédente de Dolphin Scheduler
  3. Connectez-vous en tant qu'utilisateur qui a installé Dolphin.
  4. Modifier le fichier de configuration : bin/env/install_env.shDans ce fichier de configuration, supprimez la machine correspondant au rôle hors ligne.

12. Mise à niveau

Suivez les étapes ci-dessus et procédez étape par étape. Pour les opérations déjà effectuées, il n'est pas nécessaire d'effectuer une deuxième opération. Voici quelques étapes spécifiques :

  1. Téléchargez le nouveau package binaire.
  2. Décompressez-le dans un répertoire différent de celui d'installation de l'ancienne version ou renommez-le.
  3. Un moyen relativement simple de modifier le fichier de configuration consiste à copier tous les fichiers de configuration impliqués dans les étapes ci-dessus du répertoire précédemment installé vers le répertoire de la nouvelle version et à les remplacer.
  4. Emballez tous les composants déployés sur d'autres nœuds, puis décompressez-les et placez-les à l'emplacement correspondant du nouveau nœud. Pour les composants spécifiques qui doivent être copiés, vous pouvez afficher la configuration dans le fichier Dolphinscheduler_env.sh.
  5. Pour configurer le pilote, reportez-vous aux étapes de « Initialisation de la base de données ».
  6. Arrêtez le cluster précédent.
  7. Sauvegardez toute la base de données.
  8. Exécutez le script de mise à niveau de la base de données et reportez-vous aux étapes de « Initialisation de la base de données ».
  9. Pour exécuter le script d'installation, reportez-vous à « Installation ».
  10. Une fois la mise à niveau terminée, connectez-vous à l'interface et vérifiez le « Centre de surveillance » pour voir si tous les rôles ont été démarrés avec succès.

Lors de la réimpression du document, veuillez indiquer la source. Tout le monde est invité à discuter de technologie ensemble. Si quelque chose ne va pas, veuillez en discuter ensemble.

Lien d'origine : https://blog.csdn.net/u012443641/article/details/131419391

Cet article est publié par Beluga Open Source Technology !

Linus a pris les choses en main pour empêcher les développeurs du noyau de remplacer les tabulations par des espaces. Son père est l'un des rares dirigeants capables d'écrire du code, son deuxième fils est directeur du département de technologie open source et son plus jeune fils est un noyau. contributeur à l'open source. Huawei : Il a fallu 1 an pour convertir 5 000 applications mobiles couramment utilisées Migration complète vers Hongmeng Java est le langage le plus sujet aux vulnérabilités tierces Wang Chenglu, le père de Hongmeng : l'open source Hongmeng est la seule innovation architecturale. dans le domaine des logiciels de base en Chine, Ma Huateng et Zhou Hongyi se serrent la main pour « éliminer les rancunes ». Ancien développeur de Microsoft : les performances de Windows 11 sont « ridiculement mauvaises » " Bien que ce que Laoxiangji est open source, ce ne soit pas le code, les raisons qui le sous-tendent. sont très réconfortants. Meta Llama 3 est officiellement publié. Google annonce une restructuration à grande échelle.
{{o.name}}
{{m.nom}}

Je suppose que tu aimes

Origine my.oschina.net/dailidong/blog/11054375
conseillé
Classement
du quotidien
Plus
2024-05-18(31)
2024-05-17(4)
2024-05-16(25)
2024-05-15(5)
2024-05-14(11)
2024-05-13(7)
2024-05-12(22)
2024-05-11(31)
2024-05-10(33)
2024-05-09(31)

Code World

© 2018 codetd.com