Hadoopのローカルモード（乳母レベルのチュートリアル）

ハドゥープのローカルモード（乳母レベルのチュートリアル）

環境紹介

仮想マシンバージョン→ VMwareWorkstation16 PRO

ミラーバージョン→ CentOS-7-x86_64-最小-2003

リモート接続ツール→ FinalShell3.6.3

準備オーケー

①ファイアウォール＆selinux

#--> ①关闭防火墙
[root@localhost ~]# systemctl stop firewalld.service

#--> ②设置防火墙开机不自启
[root@localhost ~]# systemctl disable firewalld.service

#--> ③查看防火墙状态
[root@localhost ~]# firewall-cmd --state

#--> ④查看防火墙是否为开机不自启
[root@localhost ~]# systemctl list-unit-files|grep firewalld.service

#--> ①关闭selinux
[root@localhost ~]# vi /etc/selinux/config
** 在打开的文件中添加这段记录↓
			     SELINUX=disabled

②ネットワーク構成

#--> ①找到网卡的配置文件
[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost ~]# ls
#②一般来说第一个文件就是你的网卡的配置文件, 因设备不同可能会有所差异, 你的是多少就多少, 这里不要直接照搬我的

#--> ③打开网卡的配置文件
[root@localhost ~]# vi /ifcfg-ens33

#--> ①在打开的文件中确认以下配置↓, 若有不符请手动更改
BOOTPROTO="static"
ONBOOT="yes"

#--> ②在打开的文件中添加这段记录↓
IPADDR=192.168.8.101
NETMASK=255.255.255.0
GATEWAY=192.168.8.2
DNS1=8.8.8.8

#--> ①刷新网络
[root@localhost ~]# service network restart

#--> ②查看网络配置情况
[root@localhost ~]# ip addr

#--> ③测试网络连通性
[root@localhost ~]# ping www.baidu.com

③ドメインマッピング

#--> ①设置你的主机名#--> 主机名与IP地址映射
[root@localhost ~]# vi /etc/sysconfig/network
** ②在打开的文件添加这段记录↓
				 HOSTNAME=master

#--> ①主机名与IP地址建立映射关系
[root@localhost ~]# vi /etc/hosts
** ②在打开的文件添加这段记录↓
				 192.168.8.101 master

#--> ①在物理机建立虚拟机IP与虚拟机主机名映射关系
C:/windows/System32/drivers/etc/hosts
** ②在打开的文件添加这段记录↓
				 192.168.8.101 master

jdk＆hadooopをインストールします

①リモート接続ツール-fianlshell

②各種ツールキットをインストールする

[root@master ~]# yum install lrzsz tree net-tools nmap vim bash-completion lsof dos2unix nc telnet ntp wget rng-tools psmisc -y

③インストールパッケージをインポートする

#--> ①导入之前先看看有没有系统自带的jdk
[root@master ~]# rpm -qa | grep jdk

#--> ②若有就删除(将xxxxxx替换成检测出来的jdk包名)
[root@master ~]# rpm -e xxxxxx --nodeps

#我这里由于使用的最小安装系统, 所以是没有的, 大家按实际情况来处理

#--> 创建两个文件夹用来存储jdk&hadoop的安装包和本体
[root@master ~]# mkdir /opt/soft /opt/apps

把准备好的jdk和hadoop拖到/opt/soft下面

④インストールパッケージを解凍します

#--> ①解压jdk到/opt/apps
[root@master ~]# tar -zxvf /opt/soft/jdk-8u261-linux-x64.tar.gz -C /opt/apps

#--> ②解hadoop到/opt/apps
[root@master ~]# tar -zxvf /opt/soft/hadoop-2.7.6.tar.gz -C /opt/apps

#--> ①移动到/opt/apps
[root@master ~]# cd /opt/apps

#--> ②重命名为jdk
[root@master ~]# mv jdk1.8.0_261 jdk
#--> ③重命名为hadoop
[root@master ~]# mv hadoop-2.7.6 hadoop

⑤環境変数を設定する

#--> ①新建一个文件用来加载jdk和hadoop的环境变量
[root@master ~]# vim /etc/profile.d/jh-env.sh
** ②在打开的文件添加这段记录↓
export JAVA_HOME=/opt/apps/jdk
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

export HADOOP_HOMR=/opt/apps/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

#--> ①刷新环境变量
[root@master ~]# source /etc/profile.d/jh-env.sh

#--> ②测试环境变量是否生效
[root@master ~]# java -version
[root@master ~]# hadoop version

テスト

公式ケース：grep

#--> ①进入hadoop的根目录
[root@master ~]# cd $HADOOP_HOME

#--> ②创建一个目录input
[root@master hadoop]# mkdir input

#--> ③把$HADOOP_HOME/etc/hadoop下的所有xml文件复制到input目录下
[root@master hadoop]# cp ./etc/hadoop/*.xml ./input

#--> ④使用hadoop自带的grep程序查找input目录下的文件是否有符合正则表达式'dfs[a-z.]'的字符串

[root@master hadoop]# hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar grep input ./output 'dfs[a-z.]'

#--> ⑤查看part-r-00000文件
[root@master hadoop]# cat ./output/part-r-00000

例：ワードカウント

#--> ①统计input目录下的文件里每个单词的出现次数, 结构存储到out1
[root@master hadoop]# hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount input ./out1

#--> ②查看结果
[root@master hadoop]# cat ./out1/part-r-00000

#--> ①统计input目录下的文件里每个单词的出现次数, 结构存储到out1
[root@master hadoop]# hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount input ./out1

#--> ②查看结果
[root@master hadoop]# cat ./out1/part-r-00000