HDFSファイルシステムのマウント

簡単な説明:

ファイルシステムHDFSます使用ヒューズは、このような使用のNFS共有ストレージをマウントできるglusterfsとして、リモート・サーバに搭載されています

ヒューズのインストール

fuse可以编译安装或者通过CDH或ambari源yum安装
此处使用ambari
配置ambari官方源,然后就可以yum安装了
sudoの wgetの -nvます。http:// public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.1.5/ambari.repo -O /etc/yum.repos.d/ambari.repo 

sudoを wgetの -nvます。http:// public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.4.0/hdp.repo -O /etc/yum.repos.d/hdp.repo 

のsudo  wgetの -nvます。http:// public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.4.0/hdp.gpl.repo -O /etc/yum.repos.d/hdp。 gpl.repo 
yumを インストール HadoopのHDFS-ヒューズ-y

 

注意:インストールヒューズのみ(つまり、HDFSがサーバーにインストールマウントする必要があります)クライアントを必要とするHadoopクラスタにインストールする必要はありません。 

hadoop下载地址
HTTPS:// archive.apache.org/dist/hadoop/common/hadoop-2.7.3/
部署hadoop集群
わずか。
ここでは、インストールの独自の方法を選択することができます。以下のような:CDH、HDP、またはApacheのHadoop
この記事の目的:Hadoopのクラスタアドレス:
HDFS:9000://192.168.103.220

 

 配置环境变量 
export LD_LIBRARY_PATH=/usr/hdp/2.6.4.0-91/usr/lib/:/usr/local/lib:/usr/lib:$LD_LIBRARY_PATH:$HADOOP_HOME/build/c++/Linux-amd64-64/lib:${JAVA_HOME}/jre/lib/amd64/server echo "user_allow_other" >> /etc/fuse.conf 

 HDFSはファイルシステムをマウント

切り替えるHDFSユーザー
CDの/ usr / HDP / 2.64.0の - 91はある / Hadoopのは /ビン/ Hadoopの-FUSE-DFSのHDFS:// 192.168.103.220:9000を/ mntの
 
 説明:HDFS:// 192.168.103.220:9000必要HDFSは、ルートを表すかどうか、デフォルトまたはカスタムポートに注意を払うディレクトリをマウント。その変形に注意してください

 [ルートノード1のHadoop @]#DF - HTの
ファイルシステムタイプが使用可能な容量と使用されてきたポイントのマウント
。の/ dev / sda3とXFS 18G 15Gを   3 .2G    83%/ 
devtmpfs devtmpfs        1。 .4G      0   1。 .4G     0%/ DEV
TMPFS TMPFS           1 .4G      0   1 .4G     0%/ DEV / SHM 
TMPFS TMPFS           1 .4G   9.7M   1 .4G     1%/ 実行
TMPFS TMPFS           1 .4G      0   1 .4G     0%/ SYS / FS / cgroup内
の/ dev / SDA1 XFSの97M 97M 96K   100%/ ブート
tmpfsのtmpfsの283M      0   283M     0%/実行/ユーザー/ 0 
fuse_dfs fuse.fuse_dfs 36G 0 36G 0%/MNT 
[ルート@のノード1のHadoopの]#


 

 注意权限 使用用户要和hdfs集群用户一致 这时候 在本地读写,在hdfs集群就可以看到数据来 本地:
[Hadoopの@のノード1〜] $のCDを/ mnt / 
$ [ノード1 MNT @のHadoop] のls 
テスト
$ [ノード1 MNT @ Hadoopの] エコー " AAA " >>テスト/ A.TXT 
[Hadoopの@のノード1のMNT] $

 

 集群:
[K8S-node2でhadoop- @ Hadoopの2.73 ] $ ./bin/hadoop FS -  /試験/ A.TXT
 11 
111 
111 
111 
222 
111 
AAA

 

 

 

 

おすすめ

転載: www.cnblogs.com/xuliang666/p/11112713.html