설치 및 배포 과정은 공식 웹사이트 문서를 참조하세요.
이 기사를 시작하기 전에 먼저 Apache DolphinScheduler 업그레이드에 대한 몇 가지 핵심 사항을 추가하겠습니다.
메타데이터 백업
기존 메타데이터를 백업합니다 (MySQL을 예로 들면 메타데이터는 Mysql의 Dolphinscheduler 데이터베이스에 저장됩니다 ).
의사코드
mysqldump -u root -p dolphinscheduler > dolphinscheduler_backup_XXX.sql
apache-dolphinscheduler-3.1.8-bin/bin/env/ install_env.sh
아파치-돌핀스케줄러-3.1.8-bin/bin/env/ dolphinscheduler_env.sh
이 두 파일의 구성 항목은 이전 버전의 해당 파일에서 직접 복사하여 붙여넣을 수 있습니다.
사용되는 데이터베이스(예: MySQL)의 커넥터는 해당 libs 라이브러리에 배치되어야 합니다. (적용 가능한 mysql-connector-java-8.0.30.jar을 개인적으로 테스트했으며 다른 커넥터 버전은 테스트하지 않았습니다.)
API 서버/libs
경고 서버/libs
마스터 서버/libs
작업자 서버/libs
도구/라이브러리
의사 코드는 다음과 같습니다
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/api-server/libs/
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/alert-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/master-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/worker-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/tools/libs
common.properties 파일에서 해당 매개변수를 수정해야 합니다.
경고 서버/conf/common.properties
api-server/conf/common.properties
마스터 서버/conf/common.properties
작업자 서버/conf/common.properties
업그레이드할 때 수정만 했습니다.
API-서버/conf/common.properties
작업자 서버/conf/common.properties
이 두 파일의 세 가지 매개변수
（
자원.저장소.유형
리소스.스토리지.업로드.베이스.경로
리소스.hdfs.fs.defaultFS
)
3.1.8의 이 파일에 있는 일부 매개변수 이름은 3.0.0의 이 파일에 있는 이름에서 변경되었습니다.
3.0.0 매개변수 리소스 .업로드.경로
대응하다
3.1.8 매개변수 자원.storage.upload.base.path
3.0.0 매개변수 fs.defaultFS
대응하다
3.1.8 매개변수 리소스.hdfs.fs.defaultFS
CDH 클러스터 업그레이드
CDH 클러스터(예: CDH 6.2.1)인 경우 Apache DolphinScheduler 3.1.8을 사용하여 업그레이드하세요.
또한 해당 Zookeeper jar 패키지를 교체해야 합니다. 그렇지 않으면 Zookeeper가 레지스트리 키를 삭제하지 못했습니다라는 오류 메시지가 표시됩니다.
참고 기사
Dolphin3.0은 항상 Zookeeper가 의사 클러스터 모드에서 레지스트리 키를 삭제하지 못했다고 보고합니다. 이 문제를 해결하려면 어떻게 해야 합니까?: https://github.com/apache/dolphinscheduler/discussions/11948
Zookeeper 버전이 호환되지 않는지 확인하세요 DolphinScheduler3.1.8 버전의 Zookeeper 및 큐레이터는 다음과 같습니다.
큐레이터-클라이언트-5.3.0.jar
큐레이터-레시피-5.3.0.jar
큐레이터-프레임워크-5.3.0.jar
사육사-3.8.0.jar
/api-server/libs, master-server/libs, Worker-server/libs, /tools/libs 아래의 Zookeeper 및 큐레이터 버전을 Zookeeper 서비스 버전으로 바꿉니다 .
참고: Zookeeper-3.4.x에 해당하는 curator-* 버전은 4.2.0이어야 합니다.
CDH6.2.1 사용
동물원지기
3.4.5+cdh6.2.1
Zookeeper-3.4.5 버전입니다. 해당 jar 패키지 Zookeeper-3.4.5.jar을 다운로드해야 합니다. 다음 웹사이트에서 jar 패키지를 검색하고 다운로드할 수 있습니다: https://nowjava.com/jar/
또한 다음 세 가지 jar 패키지를 다운로드해야 합니다.
- 큐레이터-클라이언트-4.2.0.jar
- 큐레이터-레시피-4.2.0.jar
- 큐레이터-프레임워크-4.2.0.jar
지금 바로:
- 사육사-3.4.5.jar
- 큐레이터-클라이언트-4.2.0.jar
- 큐레이터-레시피-4.2.0.jar
- 큐레이터-프레임워크-4.2.0.jar
다음과 같이 4개의 jar 패키지를 배치하세요.
- API 서버/libs
- 마스터 서버/libs
- 작업자 서버/libs
- 도구/라이브러리
이 네 개의 디렉토리는 원래 버전의 jar 패키지를 대체하며 의사 코드는 다음과 같습니다.
#######################
cd XXX/apache-dolphinscheduler-3.1.8-bin/api-server/libs/
rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar .
rm -f curator-*
cp XXXX/curator-*4.2* .
#######################
cd XXX/apache-dolphinscheduler-3.1.8-bin/master-server/libs
rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar .
rm -f curator-*
cp XXXX/curator-*4.2* .
#######################
cd XXX/apache-dolphinscheduler-3.1.8-bin/worker-server/libs
rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar .
rm -f curator-*
cp XXXX/curator-*4.2* .
#######################
cd XXX/apache-dolphinscheduler-3.1.8-bin/tools/libs
rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar .
rm -f curator-*
cp XXXX/curator-*4.2* .
#######################
위 5가지 사항을 수정한 후 Apache DolphinScheduler 3.0.0을 중지합니다.
의사코드
su - dolphinschedulercd XXXX/apache-dolphinscheduler-3.0.0-bin# 一键停止集群所有服务bash ./bin/stop-all.sh
DolphinScheduler 3.1.8 초기화
cd XXXX/apache-dolphinscheduler-3.1.8-bin
sh ./tools/bin/upgrade-schema.sh
cd XXXX/apache-dolphinscheduler-3.1.8-bin
sh ./bin/install.sh
여기서 업그레이드가 완료되었습니다
마이크로소프트, 새로운 '윈도우 앱' 출시 샤오미, 샤오미 벨라가 완전 오픈소스, 기반 커널은 NuttX Vite 5 라고 공식 발표 알리바바 클라우드 11.12 정식 출시 실패 원인 밝혀져 : 액세스 키(Access Key) 서비스 이상 GitHub 보고서: TypeScript가 Java를 대체하고 세 번째로 인기를 얻음 언어 운영자의 기적적인 작업: 백그라운드에서 네트워크 연결 끊기, 광대역 계정 비활성화, 사용자에게 광 모뎀 변경 강제 ByteDance: AI 를 사용하여 Linux 커널 매개변수 자동 조정 Microsoft 오픈 소스 터미널 채팅 Spring Framework 6.1 공식적으로 GA OpenAI 전 CEO 겸 사장 Sam Altman & Greg Brockman이 Microsoft에 합류이 기사는 Beluga Open Source Technology 에서 출판되었습니다 !