Hadoop入门常见面试题与集群时间同步操作

目录

一,常用端口号

Hadoop3.x :

Hadoop2.x:

二,常用配置文件:

Hadoop3.x:

Hadoop2.x:

集群时间同步:

时间服务器配置(必须root用户):

(1)查看所有节点ntpd服务状态和开机自启动状态

(2)修改hadoop102的ntp.conf配置文件

 (3)修改hadoop102的/etc/sysconfig/ntpd 文件

(4)重新启动ntpd服务

关闭所有节点上ntp服务和自启动

在其他机器配置1分钟与时间服务器同步一次

添加定时任务:


一,常用端口号

Hadoop3.x :

HDFS  NameNode内部通信端口:8020 / 9000/9820

HDFS  NameNode对用户查询端口:9870

Yarn  MapReduce查看执行任务端口:8088

历史服务器端口:19888

Hadoop2.x:

HDFS  NameNode内部通信端口:8020 / 9000

HDFS  NameNode对用户查询端口:50070

Yarn  MapReduce查看执行任务端口:8088

历史服务器端口:19888

二,常用配置文件:

Hadoop3.x:

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

workers

Hadoop2.x:

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

slaves

集群时间同步:

如果服务器在公网环境(能连接外网),可以不采用集群时间同步,因为服务器会定期和公网时间进行校准;

如果服务器在内网环境,必须要配置集群时间同步,否则时间久了,会产生时间偏差,导致集群执行任务时间不同步。

找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果,采用1分钟同步一次。

时间服务器配置(必须root用户):

(1)查看所有节点ntpd服务状态和开机自启动状态

systemctl status ntpd     ------检查时间服务器是否打开

         systemctl start ntpd  ------开启时间服务器

      systemctl is-enabled ntpd  ----设置开机是否启动ntpd服务

(2)修改hadoop102的ntp.conf配置文件

修改配置文件,设置那些服务器与这台服务器同步:

vim /etc/ntp.conf

末尾添加:

server 127.127.1.0
fudge 127.127.1.0 stratum 10

 下图去掉了注释,改了自己的IP区间:

restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

下边几行注释了起来 

 (3)修改hadoop102的/etc/sysconfig/ntpd 文件

vim /etc/sysconfig/ntpd

增加内容如下(让硬件时间与系统时间一起同步---硬件时间更准确)

SYNC_HWCLOCK=yes

(4)重新启动ntpd服务

systemctl start ntpd

关闭所有节点上ntp服务和自启动

systemctl stop ntpd
systemctl disable ntpd

在其他机器配置1分钟与时间服务器同步一次

crontab -e

添加定时任务:

*/1 * * * * /usr/sbin/ntpdate hadoop102

Hadoop入门就此终结,下面跟我一起更新学习HDFS吧! 

猜你喜欢

转载自blog.csdn.net/m0_61469860/article/details/129463711