Hadoop 集群中运行MapReduce的一些必要知识

版权声明：个人原创，转载请标注！ https://blog.csdn.net/Z_Date/article/details/83861121

目录

 

1、 hadoop集群各主机时间要一致

2、 yarn的聚合日志

3、 awk（sed） 和 mr

---

1、 hadoop集群各主机时间要一致

时间同步：
1、date -s ""
2、基于ntp服务的时间同步  (c/s)
3、将配置好的ntp用脚本做定时任务

rpm -q ntp  查询是否安装
ntp配置：
选择作为ntpserver的服务器进行配置
vi /etc/ntp.conf


启动停止命令：
service ntpd status/start/stop/restart

在client端执行：
ntpdate hadoop01

注意：
ntpserver需要启动，而client不能启动
配置文件中/etc/ntp.conf   server 127.127.1.0
不要在ntpserver服务器上来同步时间
*/1 * * * * /usr/sbin/ntpdate hadoop01 >> /dev/null

2、 yarn的聚合日志

yarn的聚合日志：job运行的详细记录。

​ 需要启动jobhistoryserver

​ 需要配置yarn-site.xml

3、 awk（sed） 和 mr