HDFS安装
1.下载Hadoop安装包
hadoop-2.6.0-cdh5.10.0.tar.gz上传至app目录
解压
软连接
2.修改配置文件
vi hdfs-site.xml vi hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>3</value> <!--数据块副本为3--> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.permissions.enabled</name> <value>false</value> </property> <!--权限默认值为false--> <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <!--命名空间，它的值与fs.defaultFS的值对应，namenode高可用之后由两个namenode，mycluster是对外提供的统一入口--> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> </property> <!--指定nameserver是mycluster时的nameNode有哪些，这里的值也是逻辑名称，名字随便，不重复即可--> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>hadoop01:9000</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn1</name> <value>hadoop01:50070</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>hadoop02:9000</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn2</name> <value>hadoop02:50070</value> </property> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <!--启动故障自动恢复--> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/mycluster</value> </property> <!--指定NameNode的元数据在JournalNode上的存放位置--> <property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!--指定mycluster 出故障时，哪个实现类负责执行故障切换--> <property> <name>dfs.journalnode.edits.dir</name> <value>/home/root1/data/journaldata/jn</value> </property> <!--指定journalnode在本地磁盘存放数据的位置--> <property> <name>dfs.ha.fencing.methods</name> <value>shell(/bin/true)</value> </property> <!--配置隔离机制，shell通过ssh连接active namenode节点，杀掉进程--> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/root1/.ssh/id_rsa</value> </property> <!--为了实现ssh登录杀掉进程，还需要配置免密码登录的SSH密钥信息--> <property> <name>dfs.ha.fencing.ssh.connect-timeout</name> <value>10000</value> </property> <property> <name>dfs.namenode.handler.count</name> <value>100</value> </property> </configuration>
vi core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <!--默认的路径--> <property> <name>hadoop.tmp.dir</name> <value>/home/root1/data/tmp</value> </property> <!--hadoop的临时目录，如果需要配置多个目录，需要用逗号隔开--> <property> <name>ha.zookeeper.quorum</name> <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value> </property> <!--配置zookeeper 管理HDFS--> </configuration>
vi slaves
hadoop01
hadoop02
hadoop03
vi hadoop-env.sh
# The java implementation to use. export JAVA_HOME=/home/root1/app/jdk export HADOOP_HOME=/home/root1/app/hadoop
3.测试
启动所有zookeeper节点
启动所有journalnode节点
/home/root1/app/hadoop/sbin/hadoop-daemon.sh start journalnode
jps查看journalnode是否存在在进程里
nn1节点格式化 namenode
bin/hdfs namenode -format
nn1节点格式化zkfc
bin/hdfs zkfc -formatZK
nn1节点启动namenode
bin/hdfs namenode
nn2节点同步nn1节点元数据信息
bin/hdfs namenode -bootstrapStandby
nn2同步完nn1节点信息后ctrl+c关闭nn1节点namenode进程
关闭所有节点
/sbin/hadoop-daemon.sh stop journalnode
一键启动HDFS
sbin/start-dfs.sh
hdfs启动后可以使用如下命令查看namenoe状态
bin/hdfs haadmin -getServiceState.nn1
bin/hdfs haadmin -getServiceState.nn2
Web界面查看hdfs
http：//ip：50070
测试hdfs
本地目录新建文件wd.txt
HDFS文件系统新建test目录
bin/hdfs mkdir /test
bin/hdfs dfs -ls /
将wd，txt文件上传至test目录
bin/hdfs dfs -put wd.txt /test/
bin/hdfs dfs -ls/test