- すべてのデータが失われているように、エラー名前ノードではないフォーマットを開始するのHadoopクラスタのメタデータ、バージョンなどによる損失リードに防ぐためには、データサービスをバックアップする必要があります
- CDH主に使用されるデータハイブ、HBaseのテーブルは、それはハイブ、HBaseのデータをバックアップすることが必要なだけである(データは再フォーマットのHadoopはないように)
テストHDFS再フォーマット、データ復旧
- 説明1:HDFSを手動で再フォーマット/何のデータ、基本的なディレクトリを作成する必要性に関連した今回のカタログを作成しない:(/ hbaes、/ユーザー/歴史)
- 注2:この試験のみと仮定データMySQLデータベースCDHの使用を再フォーマットHDFSが正常である(SCMライブラリー)
、HDFSのディレクトリ構造は:グループの所有者であります
HDFSディレクトリ | 説明 |
---|---|
/ HBaseの/データ/ | HBaseの:HBaseの、データストレージのHBase |
/ユーザー/歴史 | mapred:Hadoopの、店舗のMapReduceタスクデータを、このディレクトリはJobHistoryを開始するために失敗しません |
[root@c6 ~]# hdfs dfs -ls /
Found 3 items
drwxr-xr-x - hbase hbase 0 2020-01-13 11:49 /hbase
drwx-wx-wx - hdfs supergroup 0 2020-01-13 11:49 /tmp
drwxr-xr-x - hdfs supergroup 0 2020-01-13 11:34 /user
[root@c6 ~]# hdfs dfs -ls /user
Found 3 items
drwx------ - hdfs supergroup 0 2020-01-13 11:48 /user/hdfs
drwxr-xr-x - mapred hadoop 0 2020-01-13 11:28 /user/history
drwxr-xr-x - hdfs supergroup 0 2020-01-13 11:34 /user/hive
B、先にバックアップハイブの、HBaseのデータ
## 1,备份hive数据
[root@c6 ~]# hdfs dfs -ls /user/hive/warehouse
Found 2 items
drwxr-xr-x - hdfs supergroup 0 2020-01-13 11:37 /user/hive/warehouse/t1
drwxr-xr-x - hdfs supergroup 0 2020-01-13 11:35 /user/hive/warehouse/test
[root@c6 ~]# hdfs dfs -get /user/hive/warehouse /hive.warehouse
## 2,备份hbase数据: 只需备份有表的namespace( default)
[root@c6 ~]# hdfs dfs -ls /hbase/data
Found 2 items
drwxr-xr-x - hbase hbase 0 2020-01-13 11:39 /hbase/data/default
drwxr-xr-x - hbase hbase 0 2020-01-13 11:49 /hbase/data/hbase
[root@c6 ~]# hdfs dfs -ls /hbase/data/default
Found 1 items
drwxr-xr-x - hbase hbase 0 2020-01-13 11:39 /hbase/data/default/t1
[root@c6 ~]# hdfs dfs -get /hbase/data/default /hbase.data.default
C、HDFSを再フォーマット、回復ハイブ、HBaseのデータ
注:データ状態がないことを確実にするために、ハイブ、HBaseの通常のサービスが開始
## 1,恢复hive数据
[root@c6 ~]# hdfs dfs -ls /user/hive/warehouse
Found 0 items
[root@c6 ~]# su hdfs
[hdfs@c6 ~]# hdfs dfs -put /hive.warehouse/t1 /user/hive/warehouse/
## 2,恢复hbase数据
[root@c6 ~]# ls /hdfs/hbase.data/default/t1 -R
/hdfs/hbase.data/default/t1:
6172eae317480a6645bc88ba24e66f88
/hdfs/hbase.data/default/t1/6172eae317480a6645bc88ba24e66f88:
f recovered.edits
/hdfs/hbase.data/default/t1/6172eae317480a6645bc88ba24e66f88/f:
360bbc97c6214a81b323c7ed18b759b6
/hdfs/hbase.data/default/t1/6172eae317480a6645bc88ba24e66f88/recovered.edits:
2.seqid
[root@c6 ~]# su hdfs
[hdfs@c6 ~]# hdfs dfs -put /hbase.data/default/t1 /hbase/data/default/
[hdfs@c6 ~]# hdfs dfs -chown -R hbase:hbase /hbase
#修复Hbase数据
[hbase@c6 ~]# hbase hbck -repair #自动修复meta元数据表,使得hbase业务表数据正常访问