解压hadoop
tar -zxvf h -C app/
hadoop文件目录结构解析:
bin:可执行脚本
sbin:系统脚本,启动停止hadoop的脚本
etc:hadoop的配置文件
lib:hadoop的本地库
include:本地库包含文件
share:包含了hadoop的jar包和一些说明文档,我们可以删除说明文档,精简hadoop
进入hadoop的配置文件去更改设置
1.hadoop-env.sh(写死一个jkd的目录进去,因为有的时候找不见)
2.echo $JAVA_HOME
/home/hadoop/app/jdk1.7.0_65
2.本机的javahome为 /home/hadoop/app/jdk1.7.0_65
3.export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
伪分布式:就是所有的程序都在一台主机上跑,完全是分布式的工作模式,但是不是真正的分布式
先上传hadoop的安装包到服务器上去/home/hadoop/
注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
本人对于大数据学习创建了一个小小的学习圈子，为各位提供了一个平台，大家一起来讨论学习大数据。欢迎各位到来大数据学习群：868847735 一起讨论视频分享学习。大数据是未来的发展方向，正在挑战我们的分析能力及对世界的认知方式，因此，我们与时俱进，迎接变化，并不断的成长，掌握大数据核心技术，才是掌握真正的价值所在。
3.1配置hadoop
第一个：hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
第二个：core-site.xml
!-- 指定HADOOP所使用的文件系统schema(URI)，HDFS的老大(NameNode)的地址 --
vim core-site.xml
property
namefs.defaultFS/name
valuehdfs://weekend110:9000//value
/property
!-- 指定hadoop运行时产生文件的存储目录 --
property
namehadoop.tmp.dir/name
value/home/hadoop/hadoop-2.4.1/data//value
/property
vi hdfs-site.xml
第三个：hdfs-site.xml
vim hdfs-site.xml
property
!-- 指定HDFS副本的数量 --
namedfs.replication/name
!-- 因为只有一台机器,所以配置为1 --
value1/value
/property
yaant运行必须的配置文件
首先修改文件呢的名字,不然hadoop不会读取的
第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
!-- 指定mr运行在yarn上 --
property
namemapreduce.framework.name/name
valueyarn/value
/property
第五个：yarn-site.xml
vim yarn-site.xml
!-- 指定YARN的老大(ResourceManager)的地址 --
property
nameyarn.resourcemanager.hostname/name
valueweekend110/value
/property
!-- reducer获取数据的方式 --
property
nameyarn.nodemanager.aux-services/name
valuemapreduce_shuffle/value
/property
现在关闭Hadoop服务器的防火墙:
sudo service iptables stop
查看状态
sudo service iptables status
查看Liunx防火墙的自启动服务设置
sudo chkconfig iptables --list
关掉Liunx防火墙的自启动服务设置
sudo chkconfig iptables off
第一次启动注意要格式化文件系统
方便执行bin下的指令
3.2将hadoop添加到环境变量
sudo vi /etc/profile
export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
hadoop namenode -format
3.3格式化namenode(是对namenode进行初始化)
hdfs namenode -format (hadoop namenode -format)
修改主机名称
vi sla
3.4启动hadoop
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
3.5验证是否启动成功
jps
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
http://192.168.2.100:50070 (HDFS管理界面)
http://192.168.2.100:8088 (MR管理界面)
4.配置ssh免登陆
#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh
ssh-keygen -t rsa (四个回车)
执行完这个命令后，会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免登陆的机器上
ssh-copy-id localhost
hadoop