Hadoop入门第一天

hadoop简介：

1.Hadoop是开源的，可靠的，可扩展的分布式的软件框架。
分布式：
GFS（存储）和MapReduce（计算）
2.Hadoop的组成：
1.commom
2.mapreduce
3.hdfs（dfs）
4.yarn
Hadoop的安装部署
1.搭建环境
centOS6.8+hadoop2.7.3+jdk1.8
注意：采用自建用户(hadoop/123456),安装目录为：/home/hadoop/soft
2.hadoop集群搭建三种模式
Local (Standalone) Mode：本地模式[Hadoop被配置为作为单个Java进程以非分布式模式运行。主要用于debug]
Pseudo-Distributed Mode：伪分布模式[Hadoop伪分布模式运行在单节点上，每个hadoop守护进程占用单独的java进程]
Fully-Distributed Mode：完全分布式模式[]
3.搭建伪分布模式
1.安装jdk

cp jdk-8u121-linux-x64.tar.gz  ~/soft
将文件拷贝到~/soft目录下
tar -zxvf ~/soft/jdk-8u-linux-x64.tar.gz
解压
ln -s jdk1.8.0_121 jdk
创建软连接

修改配置文件

vi ~/.bash_profille

追加：#java
export JAVA_HOME=/home/hadoop/soft/jdk
export PATH= $JAVA_HOME/bin:$PATH

source ~/.bash_profile
echo $JAVA_HOME

2**.下载hadoop二进制包**

cp /mnt/hgfs/aaa/bbb/hadoop-2.7.3.tar.gz ~/soft
在共享文件夹中将hadoop-2.7.3拷贝到soft文件夹下
tar -zxvf hadoop-2.7.3.tar.gz
ln -s hadoop-2.7.3 hadoop
vi ~/.bash_profile

追加
#hadoop install
export HADOOP_HOME=/home/hadoop/soft/hadoop
export PATH= $HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source ~/.bash_profile`
echo $HADOOP_HOME`

3.修改配置文件

修改【$HADOOP_HOME/etc/hadoop】文件夹下的core-site.xml
$>cd $HADOOP_HOME/etc/hadoop
$>vi core-site.xml 在<configuration>标签下添加以下属性： <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> 修改【$HADOOP_HOME/etc/hadoop】文件夹下的hdfs-site.xml
$>vi hdfs-site.xml
在标签下添加以下属性：

dfs.replication
1