簡単な説明:
ファイルシステムHDFSます使用ヒューズは、このような使用のNFS共有ストレージをマウントできるglusterfsとして、リモート・サーバに搭載されています
ヒューズのインストール
fuse可以编译安装或者通过CDH或ambari源yum安装
此处使用ambari
配置ambari官方源,然后就可以yum安装了
sudoの wgetの -nvます。http:// public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.1.5/ambari.repo -O /etc/yum.repos.d/ambari.repo sudoを wgetの -nvます。http:// public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.4.0/hdp.repo -O /etc/yum.repos.d/hdp.repo のsudo wgetの -nvます。http:// public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.4.0/hdp.gpl.repo -O /etc/yum.repos.d/hdp。 gpl.repo yumを インストール HadoopのHDFS-ヒューズ-y
注意:インストールヒューズのみ(つまり、HDFSがサーバーにインストールマウントする必要があります)クライアントを必要とするHadoopクラスタにインストールする必要はありません。
hadoop下载地址
HTTPS:// archive.apache.org/dist/hadoop/common/hadoop-2.7.3/
部署hadoop集群
わずか。。。。
ここでは、インストールの独自の方法を選択することができます。以下のような:CDH、HDP、またはApacheのHadoop
この記事の目的:Hadoopのクラスタアドレス:
HDFS:9000://192.168.103.220
配置环境变量
export LD_LIBRARY_PATH=/usr/hdp/2.6.4.0-91/usr/lib/:/usr/local/lib:/usr/lib:$LD_LIBRARY_PATH:$HADOOP_HOME/build/c++/Linux-amd64-64/lib:${JAVA_HOME}/jre/lib/amd64/server echo "user_allow_other" >> /etc/fuse.conf
HDFSはファイルシステムをマウント
切り替えるHDFSユーザー CDの/ usr / HDP / 2.6。4.0の - 91はある / Hadoopのは 。 /ビン/ Hadoopの-FUSE-DFSのHDFS:// 192.168.103.220:9000を/ mntの 説明:HDFS:// 192.168.103.220:9000必要HDFSは、ルートを表すかどうか、デフォルトまたはカスタムポートに注意を払うディレクトリをマウント。その変形に注意してください [ルートノード1のHadoop @]#DF - HTの ファイルシステムタイプが使用可能な容量と使用されてきた%ポイントのマウント 。の/ dev / sda3とXFS 18G 15Gを 3 .2G 83%/ devtmpfs devtmpfs 1。 .4G 0 1。 .4G 0%/ DEV TMPFS TMPFS 1 .4G 0 1 .4G 0%/ DEV / SHM TMPFS TMPFS 1 .4G 9.7M 1 .4G 1%/ 実行 TMPFS TMPFS 1 .4G 0 1 .4G 0%/ SYS / FS / cgroup内 の/ dev / SDA1 XFSの97M 97M 96K 100%/ ブート tmpfsのtmpfsの283M 0 283M 0%/実行/ユーザー/ 0 fuse_dfs fuse.fuse_dfs 36G 0 36G 0%/MNT [ルート@のノード1のHadoopの]#
注意权限 使用用户要和hdfs集群用户一致 这时候 在本地读写,在hdfs集群就可以看到数据来 本地:
[Hadoopの@のノード1〜] $のCDを/ mnt / $ [ノード1 MNT @のHadoop] のls テスト $ [ノード1 MNT @ Hadoopの] エコー " AAA " >>テスト/ A.TXT [Hadoopの@のノード1のMNT] $
集群:
[K8S-node2でhadoop- @ Hadoopの2.7。3 ] $ ./bin/hadoop FS - 猫 /試験/ A.TXT 11 111 111 111 222 111 AAA