Ubuntu中Hadoop环境搭建
JDK安装
方法一：通过命令行直接安装（不建议）
有两种java可以安装oracle-java8-installer以及openjdk
(1)安装oracle-java8-installer
apt install software-properties-common
add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer
(2)安装openJDK
sudo apt-get update
sudo apt-get install openjdk-8-jdk
卸载openJDK
sudo apt-get remove oepnjdk*
方法二：自己配置安装
1.下载jdk-7u67-linux-x64.tar.gz
2.用ftp客户端工具filezilla上传到ubuntu的合适文件夹。如果如果不能上传到指定文件夹可能是文件夹权限不足，修改文件夹可执行权限，最简单的方法是赋予权限，即：
- chmod 777 文件夹
- （777）为最高权限
3.自解压安装jdk，我解压在了/usr/cpy下
- tar -xzvf jdk-7u67-linux-x64.tar.gz
安装完后，会生成jdk1.7.0_67文件夹
4.设置环境变量，对于对vi不熟悉的用户使用gedit命令启动文本编辑器比起vi命令更方便
- sudo gedit /etc/profile
添加以下内容并保存退出
原本内容：
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"
新添加内容：
export JAVA_HOME="/usr/cpy/jdk1.7.0_67"
CLASSPATH=$CLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
在PATH=的最前面加上 $PATH
执行以下命令，使配置生效
source /etc/profile
注意：PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"必须保留，否则会导致系统登录不了。还可以使用另外两条配置代替该行配置：
5.卸载自带的openjdk的方法：
- sudo apt-get remove openjdk*
6.设置默认jdk（假如有openjdk的话）
由于Ubuntu中可能会有默认的jdk，如openjdk。假如有openjdk的话，所以，为了使默认使用的是我们安装的jdk，还要进行如下工作（可以使用该命令安装其他命令，例如eclipse）。
执行代码:
- sudo update-alternatives --install /usr/bin/java java /opt/jdk1.7.0_25/bin/java 300
- sudo update-alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_25/bin/javac 300
通过这一步将我们安装的jdk加入java选择单。
然后执行代码:
- sudo update-alternatives --config java
- sudo update-alternatives --config javac
通过这一步选择系统默认的jdk
7.查看java版本，显示为我们自己设置的jdk
jack@jack$ java -version
java version "1.7.0_25"
Java(TM) SE Runtime Environment (build 1.7.0_25-b15)
Java HotSpot(TM) Server VM (build 23.25-b01, mixed mode)
注：还可以利用此方法配置多jdk版本，只需要修改/etc/environment内容，然后按照下边的步骤依次执行。
Hadoop单机版本安装：
sudo apt-get install ssh
sudo apt-get install rsync
Unpack the downloaded Hadoop distribution. In the distribution, edit the file etc/hadoop/hadoop-env.sh to define some parameters as follows:
# set to the root of your Java installation
export JAVA_HOME=/usr/java/latest
配置YARN
Configure parameters as follows:etc/hadoop/mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
etc/hadoop/yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
Start ResourceManager daemon and NodeManager daemon:
$ sbin/start-yarn.sh
Browse the web interface for the ResourceManager; by default it is available at:
- ResourceManager - http://localhost:8088/
Run a MapReduce job.
When you're done, stop the daemons with:
$ sbin/stop-yarn.sh
linux找不到主机名解决办法
报错：java.net.UnknownHostException: 主机名: 主机名
修改/etc/hosts文件
127.0.0.1 主机名 localhost.localdomain localhost
或是再添加一条
127.0.0.1 主机名
主机名是新加的，原来没有，保存，问题解决。
==========================================
/etc/sysconfig/network
/etc/hosts hostname命令读这个配置文件
记住一定要启动yarm再运行