大数据集群某节点彻底损毁后重装系统恢复(持续更新中)

如果某个节点彻底损毁，重装系统，那么需要的步骤如下:

目的	操作步骤	节点之间配置文件是否完全一致	需要各个节点分别启动
Hadoop修复	mkdir -p ~/dfs/name hadoop namenode -format start   /home/appleyuchi/dfs/data/current/VERSION中的cluster-ID改成$HADOOP_HOME/logs/hadoop-appleyuchi-datanode-Laptop.out 中提示的cluster-ID字符串 然后再次输入 start,从机的datapnode就起来了。	是	否
TEZ恢复	[3][4]照做 yarn timelineserver 打开 desktop:8880/tez-ui	-	-
Hive修复	mysql> create database hive; [0][1][2]做一遍 $ schematool -dbType mysql -initSchema hive --service metastore hive	否	是(hive只是个hdfs的转化引擎)
Zookeeper恢复	/home/appleyuchi/dfs/zookeeper/data /home/appleyuchi/dfs/zookeeper2/data /home/appleyuchi/dfs/zookeeper3/data 上述各个节点的对应目录下各自新建一个myid文件 文件中各自写1,2,3即可	否	是
Spark恢复	mkdir /home/appleyuchi/bigdata/spark-3.0.0-preview2-bin-hadoop3.2/logs/applicationHistory startspark	否	否
ClickHouse恢复	按照自己配置文件以及[6][7]配置	否	是(由于是开机启动服务，所以各个节点都要各自重启服务)
Flink恢复	按照自己配置文件来恢复	是	否
Hbase恢复	按照自己配置文件来恢复	否	否
Kafka恢复	按照自己配置文件来恢复	否	是

 

tez的yarn timelineserver启动后如果使用tez会有bug

 

 

 

Reference:

[0]mysql8安装后初始化密码

[1]org.apache.hadoop.hive.metastore.api.InvalidObjectException: Role public already exists.

[2]Underlying cause: com.mysql.cj.jdbc.exceptions.CommunicationsException : Communications link failure

[3]org.apache.maven.plugin.MojoExecutionException: protoc version is libprotoc 3.6.1, expected versio

[4]https://gitee.com/fastsource/apache-tez-0.9.2-src/blob/master/README.md

[5]Hive引擎改为Tez笔记

[6]ClickHouse安裝

[7]clickhouse分布式集群搭建