CDHクラスタ:データ復旧/バックアップ

テストHDFS再フォーマット、データ復旧

  • 説明1:HDFSを手動で再フォーマット/何のデータ、基本的なディレクトリを作成する必要性に関連した今回のカタログを作成しない:(/ hbaes、/ユーザー/歴史)
  • 注2:この試験のみと仮定データMySQLデータベースCDHの使用を再フォーマットHDFSが正常である(SCMライブラリー)

、HDFSのディレクトリ構造は:グループの所有者であります

HDFSディレクトリ 説明
/ HBaseの/データ/ HBaseの:HBaseの、データストレージのHBase
/ユーザー/歴史 mapred:Hadoopの、店舗のMapReduceタスクデータを、このディレクトリはJobHistoryを開始するために失敗しません
[root@c6 ~]# hdfs dfs -ls /
Found 3 items
drwxr-xr-x   - hbase hbase               0 2020-01-13 11:49 /hbase
drwx-wx-wx   - hdfs  supergroup          0 2020-01-13 11:49 /tmp
drwxr-xr-x   - hdfs  supergroup          0 2020-01-13 11:34 /user
[root@c6 ~]# hdfs dfs -ls /user
Found 3 items
drwx------   - hdfs   supergroup          0 2020-01-13 11:48 /user/hdfs 
drwxr-xr-x   - mapred hadoop              0 2020-01-13 11:28 /user/history
drwxr-xr-x   - hdfs   supergroup          0 2020-01-13 11:34 /user/hive

B、先にバックアップハイブの、HBaseのデータ

## 1,备份hive数据
[root@c6 ~]# hdfs dfs -ls /user/hive/warehouse
Found 2 items
drwxr-xr-x   - hdfs supergroup          0 2020-01-13 11:37 /user/hive/warehouse/t1
drwxr-xr-x   - hdfs supergroup          0 2020-01-13 11:35 /user/hive/warehouse/test
[root@c6 ~]# hdfs dfs -get /user/hive/warehouse /hive.warehouse

## 2,备份hbase数据: 只需备份有表的namespace( default)
[root@c6 ~]# hdfs dfs -ls /hbase/data
Found 2 items
drwxr-xr-x   - hbase hbase          0 2020-01-13 11:39 /hbase/data/default
drwxr-xr-x   - hbase hbase          0 2020-01-13 11:49 /hbase/data/hbase
[root@c6 ~]# hdfs dfs -ls /hbase/data/default
Found 1 items
drwxr-xr-x   - hbase hbase          0 2020-01-13 11:39 /hbase/data/default/t1

[root@c6 ~]# hdfs dfs -get /hbase/data/default /hbase.data.default

C、HDFSを再フォーマット、回復ハイブ、HBaseのデータ

注:データ状態がないことを確実にするために、ハイブ、HBaseの通常のサービスが開始

## 1,恢复hive数据
[root@c6 ~]# hdfs dfs -ls /user/hive/warehouse
Found 0 items
[root@c6 ~]# su hdfs
[hdfs@c6 ~]# hdfs dfs -put /hive.warehouse/t1 /user/hive/warehouse/

## 2,恢复hbase数据
[root@c6 ~]# ls /hdfs/hbase.data/default/t1 -R
/hdfs/hbase.data/default/t1:
6172eae317480a6645bc88ba24e66f88

/hdfs/hbase.data/default/t1/6172eae317480a6645bc88ba24e66f88:
f  recovered.edits

/hdfs/hbase.data/default/t1/6172eae317480a6645bc88ba24e66f88/f:
360bbc97c6214a81b323c7ed18b759b6

/hdfs/hbase.data/default/t1/6172eae317480a6645bc88ba24e66f88/recovered.edits:
2.seqid
[root@c6 ~]# su hdfs
[hdfs@c6 ~]# hdfs dfs -put /hbase.data/default/t1  /hbase/data/default/
[hdfs@c6 ~]# hdfs dfs -chown -R hbase:hbase /hbase
#修复Hbase数据
[hbase@c6 ~]# hbase hbck -repair #自动修复meta元数据表,使得hbase业务表数据正常访问
公開された269元の記事 ウォン称賛33 ビュー90000 +

おすすめ

転載: blog.csdn.net/eyeofeagle/article/details/103955656