hadoop3.03伪分布式

参考资料
 jdk安装
注意安装时要找到对应版本的安装参考资料。
每个版本hadoop配置端口号不一致,web访问地址因此也不一致，这里安装3.0.3 安装参考
3x不支持root启动，需要另外添加一个普通用户。
环境依耐：
ssh,jdk,相关配置java_home,ssh免密登陆；时间同步hosts,hostname修改。
hadoop：
准本安装目录,配置文件修改，角色启动

安装

1./etc/profile 配置hadoop安装目录

##java
export JAVA_HOME=/usr/programfile/jdk
export PATH=$PATH:$JAVA_HOME/bin

##hadoop
export HADOOP_HOME=/usr/programfile/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

2.hadoop-env.sh环境配置
/usr/hadoop/hadoop-3.0.3/etc/hadoop所在目录
export JAVA_HOME=/usr/java/jdk1.8.0_121/
修改为绝对路径才能读取到。
3.修改配置文件
这里写图片描述
localhost修改为本机ip，此为fdfs文件系统目录，为nameNode角色

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.1.4:9000</value>
    </property>
     <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/local/hadoop/</value>
    </property>

配置项含义在官网中有具体说明：
这里写图片描述

  <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

还差dataNode和snn角色.
4.配置dataNode
/usr/hadoop/hadoop-3.0.3/etc/hadoop,在该目录中新建slaves输入本机ip，标识从节点。
5.那么dataNode和nameNode存储的数据是哪个目录呢
在hdfs-default.xml文件中搜索结果如下：
这里写图片描述

这里写图片描述
可以看到都引用了hadoop.tmp.dir变量指向的地址，该变量在core-default.xml中可以看到具体描述。
由于该目录是一个临时目录，随时会被删除，故此需要进行修改。
6.配置snn
hdfs-default.xml
dfs.namenode.secondary.http-address 0.0.0.0:9868 The secondary namenode http server address and port.

  <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.1.4:9868</value>
    </property>

7.格式化nn，启动dfs
hdfs namenode -format

/start-dfs.sh
jps查看
这里写图片描述

这里写图片描述

8.文件上传
hdfs dfs回车可查看命令使用说明。
[hadoop@192 hadoop] $hdfs dfs -mkdir -p /var/local/hadoop/uploadfile [hadoop@192 hadoop]$ hdfs dfs -put /usr/software/hadoop-3.0.3.tar.gz /var/local/hadoop/uploadfile

这里写图片描述
默认block 128M
上传文件指定block大小
该命令在 hdfs-default.xml
hdfs dfs -D dfs.blocksize=1048576 -put /usr/software/redis-4.0.11.tar.gz /var/local/hadoop/uploadfile

查看上传文件
cd /var/local/hadoop/dfs/data/current/BP-1431377796-192.168.1.4-1536639602244/current/finalized/subdir0/subdir0/
这里写图片描述

-rw-rw-r–. 1 hadoop hadoop 134217728 9月 11 12:29 blk_1073741825
blk_1073741825 下划线后面的数字对应blockid 1073741825
月份前面的134217728表示block大小
这里写图片描述

安装

猜你喜欢