iServer集成Hadoop YARN集群进行分布式分析操作说明

版权声明：本文为博主原创文章，欢迎转载，SuperMap技术问答社区 http://ask.supermap.com https://blog.csdn.net/supermapsupport/article/details/83056528

       Hadoop YARN集群是一个通用的资源管理平台，可为各类计算框架提供资源的管理和调度。其核心是通过一个全局的资源管理器来实现分离资源管理与作业调度/监控。Hadoop YARN具有更高的可靠性，通过结合Zookeeper技术，可以实现分布式计算集群的高可用。同时，Hadoop YARN支持动态的资源调度，当没有新的分析作业时，会自动释放占用的计算资源，更节省计算资源。
       本操作说明将带领您实现在iServer中集成Hadoop YARN集群并进行分布式分析。本操作说明包括以下两部分：
       第一部分为搭建开启认证的YARN集群和开启认证的Hadoop集群，文中将为您介绍如何启动YARN集群和Hadoop集群，以及kerberos配置
       第二部分为iServer使用YARN集群和Hadoop集群前所需配置。包括在iServer所在的服务器中配置Kerberos客户端，启动iServer内置的Spark集群，配置UGO等。

1 搭建Hadoop YARN集群

1.1.准备

1.1.1.软件准备

本说明以虚拟机centos7系统为例，您需要准备以下安装包:
Hadoop安装包：Hadoop-2.7.3.tar.gz，下载后的存放路径：/home/iserver
JDK安装包：jdk-8u131-linux-x64.tar.gz：
Jsvc安装包：commons-daemon-1.0.15-src.tar.gz
Kerberos客户端安装包（windows）: kfw-4.1-amd64.msi

1.1.2.主机准备

1.2.创建用户和用户组

在Master与各个节点分别创建以下用户组和用户，具体步骤如下：

1. 新建用户组，命令如下：
   groupadd Hadoop
2. 新建用户hdfs、yarn，其中需设定userID<1000，命令如下：
   useradd -u 501 hdfs -g hadoop
   useradd -u 502 yarn -g Hadoop
   并使用passwd命令为新建用户设置密码：
   passwd hdfs 输入新密码
   passwd yarn 输入新密码
3. 用户建好后，用id user命令查看用户信息如图1-1所示：
   
4. 配置DNS和网关。如果是虚拟机，DNS和网关需与实体机相同。
5. 将Master节点对应的IP添加到DNS服务中，并设置域名。如master162.ispeco.com

1.3.配置免密登录

为各节点间root、HDFS、YARN用户配置免密登录，具体步骤如下：

1. 以HDFS用户为例，配置免密登录：
   1). 分别在Master和Worker上执行ssh-keygen -t rsa -P’’(-P表示密码，可以忽略，默认需要三次回车)执行完命令后，在/home/hdfs/.ssh目录下生成如下两个文件，如图1-2所示：
   
   其中id_rsa为私钥文件，id_rsa.pub为公钥文件。
   2). 分别在Master和worker上执行以下命令：
   ssh-copy-id -i /home/hdfs/.ssh/id_rsa.pub ip
   当在Master上执行时，写Worker节点对应的IP。
   3). 在Master和Worker上执行ssh worker/master，验证是否配置成功。
2. root、YARN用户配置免密登录的操作同上。

1.4.安装jdk

解压jdk-8u131-linux-x64.tar.gz，并将其路径设置到环境变量中。

1.5.安装jsvc

安装jsvc的步骤如下：

1. 解压文件commons-daemon-1.0.15-src.tar.gz
2. 在commons-daemon-1.0.15-src/src/native/unix目录下依次执行：
   support/buildconf.sh
   ./configure
   make
3. 开始编译，成功后可在commons-daemon-1.0.15-src/src/native/unix目录下看到jsvc文件，并将其复制到【Hadoop-2.7.3安装包】/libexec目录下。
   注意：
   如果commons-daemon-1.0.15-src.tar.gz中已自带jsvc，则无需执行1、2，直接执行3即可。

1.6.Kerberos服务安装与配置

1. Master节点需安装Kerberos的客户端及服务、Worker仅安装Kerberos的客户端即可。
   yum install krb5-server （服务）
   yum install krb5-workstation krb5-libs krb5-auth-dialog(客户端)
2. 配置Kerberos服务相关文件
   配置etc/krb5.conf。修改其中的realm，把默认的EXAMPLE.COM修改为自己要定义的值，如：SUPERMP.COM。其中，需要修改以下参数：
   default_realm：默认的realm。设置为realm。如SUERMAP.COM
   kdc：代表要kdc的位置。添加格式是机器名
   admin_server:代表admin的位置。格式是机器名
   default_domain：代表默认的域名。（设置Master主机所对应的域名，如master162.ispeco.com）
   注意：
   /etc/krb5.conf (Master、Worker节点均需配置，且文件内容必须相同)
   修改后的文件如图1-3所示：
   
   1). vi /var/kerberos/krb5kdc/kdc.conf (仅配置Master节点，如果没有，需自建)，如图1-4所示。
   
                                                        图 1-4 配置vi /var/kerberos/krb5kdc/kdc.conf
   2). 配置vi /var/kerberos/krb5kdc/kadm5.acl (仅配置Master节点，如果没有，需自建)，如图1-5。
   
3. 创建 Kerberos数据库
   创建Kerberos数据库，需要设置管理员密码，创建成功后会在/var/Kerberos/krb5kdc/下生成一系列文件，如果重新创建，需要先删除/var/kerberos/krb5kdc下面principal相关文件。
   需在Master节点的root用户下执行以下命令：
   kdb5_util create -s -r SUPERMAP.COM
   执行成功后如图1-6所示：
   
   注意：
   数据库创建成功后，需重启krb5服务：
   krb5kdc restart
4. 创建 kerberos的管理员
   在Master节点的root用户下分别执行以下命令：
   kadmin.local
   addprinc admin/[email protected]
   如图1-7所示：
   
5. 创建 kerberos的普通用户及密钥文件，为配置 时，各节点可以相互访问用。
   1). 在Master节点的root用户下分别执行以下命令：
   kadmin.local
   #创建用户
   addprinc -randkey yarn/[email protected]
   addprinc -randkey yarn/[email protected]
   addprinc -randkey hdfs/[email protected]
   addprinc -randkey hdfs/[email protected]
   #生成密钥文件（生成到当前路径下）
   xst -k yarn.keytab yarn/[email protected]
   xst -k yarn.keytab yarn/[email protected]
   xst -k hdfs.keytab hdfs/[email protected]
   xst -k hdfs.keytab hdfs/[email protected]
   2). 将yarn.keytab （yarn:hadoop 400）和 hdfs.keytab (hdfs:hadoop 400)文件到Master和Worker节点的/var/kerberos/krb5kdc/ 目录，并设置相应的组，并将权限为400。如图1-8所示：
   

1.7.修改Hadoop集群配置

进入{HADOOP_HOME}/etc/hadoop目录，进行如下配置。

1. core-site.xml文件内容如下：
   
2. yarn-site.xml文件内容如下：
   
   
3. Hdfs-site.xml文件内容如下：
   
   
   
   
4. container-executor.cfg文件内容如下：
   
5. hadoop-env.sh文件添加：
   export JAVA_HOME=/home/supermap/java/jdk1.8.0_131
   export JSVC_HOME=/home/supermap/hadoop/hadoop-2.7.3/libexec
   如果需要调试，则添加：
   export HADOOP_OPTS="$HADOOP_OPTS -Dsun.security.krb5.debug=true"
6. yarn-env.sh文件添加：
   export JAVA_HOME=/home/supermap/java/jdk1.8.0_131
7. masters文件添加：
   master（Master所在主机名）
8. slaves文件添加：
   worker（Worker所在主机名）
9. 将已配置的Hadoop安装包复制到Worker节点，放于与Master节点相同路径下。
10. 权限设置（Master、Worker节点都需设置）
    Hadoop安装包放于所属root并且是权限是755的目录下。
    以下文件需要单独配置相应的权限与用户组：
    

1.8.启动集群

启动开启Kerberos认证的YARN 集群和开启Kerberos认证的Hadoop集群的步骤如下。
在Master节点下的HADOOP安装目录下执行以下命令：

1. 使用root用户启动Kerberos服务
   krb5kdc start
2. 在用户HDFS下的格式化集群（仅第一次安装时或者修改了Hadoop相关设置后需要执行该步骤）
   [hdfs@master bin]$ ./hadoop namenode –format
3. 启动集群
   [hdfs@master sbin]$ ./start-dfs.sh
   [root@master sbin]# ./start-secure-dns.sh
   [yarn@master sbin]$ ./start-yarn.sh
4. 如需停止集群
   [yarn@master sbin]$ ./stop-yarn.sh
   [root@master sbin]# ./stop-secure-dns.sh
   [hdfs@master sbin]$ ./stop-dfs.sh

1.9.验证集群是否可用

通过以下操作来验证YARN 集群和Hadoop集群是否成功启动：
YARN 集群：访问Master节点IP:8088
Hadoop集群: 访问Master节点IP:50070

扫描二维码关注公众号，回复： 3673282 查看本文章

2 iServer所在服务器的相关配置

2.1.安装Kerberos客户端

安装时，请确认客户端所在机器时间与服务器系统时间差不能超过5分钟。

2.2.配置Kerberos客户端

iServer安装在Windows系统上时，需修改C:\ProgramData\MIT\Kerberos5\krb5.ini文件，所设定Kerberos信息必须与Kerberos服务配置（krb5.conf）相同。具体内容如下所示：
[libdefaults]
default_realm = SUPERMAP.COM
[realms]
SUPERMAP.COM = {
kdc = 192.168.112.162
admin_server = 192.168.112.162
}
iServer服务在Linux 上，则需修改etc/krb5.conf。内容与Kerberos服务配置（krb5.conf）相同。

2.3.启动iServer内置的Spark

在【iServer安装路径】\support\ spark下的spark-default.conf中增加如下参数：
spark.yarn.am.memory 4g
此参数代表application master的内存大小，如果不设置，默认是512M。为了确保iServer分布式分析服务能够正常使用，修改为4G。用户可以根据自己的机器的内存合理分配。
使用Windows版本的iServer，需要另外增加如下配置：
spark.hadoop.yarn.resourcemanager.hostname hostname
更多的配置参见：http://spark.apache.org/docs/latest/running-on-yarn.html

2.4.配置UGO

在YARN集群的各个子节点下需要配置UGO，910及其以后版本的组件支持以下两种方式进行配置：

1. 可直接将UGO的包解压将Bin目录放在固定目录/opt/SuperMap/iobjects/910/下
2. 可以在/etc/profile文件中增加UGO_HOME，如下所示：
   export LD_LIBRARY_PATH=/home/supermap/
   【iServer安装包】 /support/objectsjava/bin:$LD_LIBRARY_PATH

2.5.在iServer中配置YARN集群

在iServer设置前需进行以下操作：

1. 从YARN集群主节点上复制{HADOOP_HOME}/etc/hadoop目录到iServer服务所在计算机上的位置（随意）
2. 在YARN集群Master节点的root用户下分别执行以下命令：
   kadmin.local
   #创建用户
   addprinc -randkey iserver @SUPERMAP.COM
   #生成密钥文件（生成到当前路径下）
   xst -k yarn.keytab [email protected]
3. 在iServer服务的配置集群页面进行配置。具体如图2-1所示：
   
   YARN集群配置目录：从YARN集群主节点上复制{HADOOP_HOME}/etc/hadoop目录到iServer服务所在计算机，目录位置可任意指定。
   选择YARN集群是否已开启Kerberos认证：
   主体名称：用户名@域。例如：[email protected]
   用户名：必须是YARN集群Mater节点的一个系统用户
   域：Kerberos服务设定的域。（必须与YARN集群所在的域相同）
   密钥文件路径：第2步生的密钥文件拷贝到iServer服务所在机器的文件位置
   配置文件位置：iServer服务所在机器的Kerberos客户端配置文件所在文件位置
4. 在iServer服务进行数据注册。具体配置如图2-2所示：
   
   勾选HDFS集群是否已开启Kerberos认证：
   主体名称：用户名@域。例如：[email protected]
   用户名：必须是YARN集群Mater节点的一个系统用户
   域：Kerberos服务设定的域。（必须与YARN集群所在的域相同）
   密钥文件路径：第2步生的密钥文件拷贝到iServer服务所在机器的文件位置
   配置文件位置：iServer服务所在机器的Kerberos客户端配置文件所在文件位置