【大数据微职位笔记】模块04-分布式存储系统--HDFS

安装HDFS

（1）下载Hadoop  ，选择版本hadoop-2.7.5.tar

（2）master slave1 slave2，使用hadoop-twq用户，家目录下创建目录~/bigdata

mkdir -p ~/bigdata

（3）master，使用hadoop-twq用户，上传安装包到目录~/bigdata，并解压。

cd ~/bigdata
tar -zxvf ~/bigdata/hadoop-2.7.5.tar.gz

（4）master，使用hadoop-twq用户，创建nameNode和dataNode需要的文件目录

mkdir -p ~/bigdata/dfs/name
mkdir -p ~/bigdata/dfs/data

（5）master，使用hadoop-twq用户，修改配置文件【core-site.xml】【hdfs-site.xml】

cd ~/bigdata/hadoop-2.7.5/etc/hadoop

vi core-site.xml
<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9999</value>
    <description>默认的HDFS路径</description>
</property>
</configuration>

vi hdfs-site.xml
<configuration>
<property>
     <name>dfs.replication</name> 
     <value>1</value>
     <description>数据块的副本数量，需小于DataNode数量</description>
 </property>
<property>
     <name>dfs.namenode.name.dir</name>
     <value>/home/hadoop-twq/bigdata/dfs/name</value>
     <description>NameNode存放数据的位置</description>
 </property> 
 <property>
      <name>dfs.datanode.data.dir</name>
      <value>/home/hadoop-twq/bigdata/dfs/data</value>
      <description>DataNode存放数据的位置</description>
 </property>
</configuration>

 （6）master，使用hadoop-twq用户，配置JAVA_HOME，修改【hadoop-env.sh】

cd ~/bigdata/hadoop-2.7.5/etc/hadoop

vi hadoop-env.sh
export JAVA_HOME=/usr/local/lib/jdk1.8.0_161

（7）master，使用hadoop-twq用户，配置集群里所有DataNode的主机名，修改【slaves】

cd ~/bigdata/hadoop-2.7.5/etc/hadoop

vi slaves
slave1
slave2

 （8）master，使用hadoop-twq用户，配置环境变量

vi ~/.bash_profile
export HADOOP_HOME=~/bigdata/hadoop-2.7.5
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source ~/.bash_profile
which hdfs

 （9）