大数据学习笔记01-HDFS-集群安装

安装

下载 Hadoop，以2.7.5版本为例
在虚拟机上创建目录bigdata，即执行mkdir bigdata
上传到master机器节点的目录~/bigdata下(可以用FileZilla等ftp工具上传)
解压：tar -zxvf ~/bigdata/hadoop-2.7.5.tar.gz

修改配置文件

修改core-site.xml

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9999</value>
    <description>表示HDFS的基本路径</description>
</property>
</configuration>

修改hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name> 
                <value>1</value>
          <description>表示数据块的备份数量，不能大于DataNode的数量</description>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/home/hadoop-twq/bigdata/dfs/name</value>
                <description>表示NameNode需要存储数据的地方</description>
        </property>
 
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/home/hadoop-twq/bigdata/dfs/data</value>
                <description>DataNode存放数据的地方</description>
        </property>
</configuration>

在master上创建创建nameNode和dataNode需要的文件目录

mkdir -p ~/bigdata/dfs/name
mkdir -p ~/bigdata/dfs/data

修改hadoop-env.sh

在hadoop-env.sh中添加JAVA_HOME： export JAVA_HOME=/usr/local/lib/jdk1.8.0_161

配置slaves

修改~/bigdata/hadoop-2.7.5/etc/hadoop/slaves,在slaves文件中写入如下内容:

slave1
slave2

在slave1和slave2节点中的hadoop-twq用户下的主目录下创建bigdata目录:
即执行mkdir bigdata

将master上配置好的hadoop分发到每一个slave上

scp -r ~/bigdata/dfs hadoop-twq@slave1:~/bigdata
scp -r ~/bigdata/dfs hadoop-twq@slave2:~/bigdata

scp -r ~/bigdata/hadoop-2.7.5 hadoop-twq@slave1:~/bigdata
scp -r ~/bigdata/hadoop-2.7.5 hadoop-twq@slave2:~/bigdata

配置环境变量

vi ~/.bash_profile：

export HADOOP_HOME=~/bigdata/hadoop-2.7.5
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source ~/.bash_profile

which hdfs
看看输出是否是：~/bigdata/hadoop-2.7.5/bin/hdfs
如果不是可能需要退出xshell，重新登录

运行hdfs

格式化： hdfs namenode -format
启动hdfs: 运行start-dfs.sh
http://master:50070看下是否部署成功
停止hdfs: 运行stop-dfs.sh