CDH集群添加Kerberos并使用Java代码调用HDFS和Spark on YARN

0x0 背景

由于CDH默认的权限管理机制过于简单，不能够保证HADOOP集群的安全性，因此，引入了Kerberos作为安全管理服务。

0x1 安装kerberos服务

CDH提供了关于整合kerberos服务的向导，在整合kerberos之前，必须要有kerberos服务。下面，介绍一下如何安装kerberos服务。
1. 安装kerberos server和kdc（Key Distribution Center）

$ sudo apt-get install krb5-kdc krb5-admin-server
$ sudo dpkg-reconfigure krb5-kdc

安装过程中会问你设置默认realm，一般设置域名大写，例如：

EXAMPL.COM

2. 安装完成后，会生成一些配置文件，常用的如下：

默认的KDC配置文件路径： /etc/krb5kdc/kdc.conf
用户权限控制列表(ACL)路径：/etc/krb5kdc/kadm5.acl 
还有krb配置：/etc/krb5.conf

修改krb5.conf，添加刚才设置的realm对应的kdc和server的ip：

[realms]
        HDSC.COM = {
                kdc = 192.168.0.1
                admin_server = 192.168.0.1
        }

然后修改kadm5.acl 文件，将acl列表设置如下：

# This file Is the access control list for krb5 administration.
# When this file is edited run /etc/init.d/krb5-admin-server restart to activate
# One common way to set up Kerberos administration is to allow any principal 
# ending in /admin  is given full administrative rights.
# To enable this, uncomment the following line:
*/admin *

然后重启kerberos服务：

/etc/init.d/krb5-admin-server restart

3. 接下来创建kerberos数据库：

sudo krb5_newrealm

期间会让你输入密码，这个密码要记住。
当Kerberos database创建好后，可以看到目录 /var/kerberos/krb5kdc 下生成了许多新文件。如果想要删除重建，执行以下命令：

rm -rf /var/lib/krb5kdc/principal*
sudo krb5_newrealm

4. 在maste服务器上创建admin/admin用户：

kadmin.local -q "addprinc admin/admin"

然后就可以登录了：

kadmin -p admin/admin

刚才在acl中设置了所有*/admin用户有管理员权限，该用户将来可以给CDH使用，Cloudera Manager将使用该管理员用户来创建其他相关的principal。

5. 常用的命令

#Add a user: 
kadmin: addprinc user
#The default realm name is appended to the principal's name by default

#Delete a user:
kadmin: delprinc user

#List principals:
kadmin: listprincs

#Add a service: 
kadmin: addprinc service/server.fqdn
#The default realm name is appended to the principal's name by default

#Delete a user:
kadmin: delprinc service/server.fqdn

至此，Kerberos安装完毕。

0x2 CDH整合Kerberos

1. 首先，集群中各个节点还是需要一些必备的软件，官网给出下图：

笔者在ubuntu16.04下进行安装，执行以下命令：
在Cloudera Manager Server节点上：

sudo apt-get install ldap-utils 
sudo apt-get install krb5-user

在Agent节点上：

sudo apt-get install krb5-user

记得要修改/etc/krb5.conf，添加kerberos服务器的realm地址，例如：

[realms]
        HDSC.COM = {
                kdc = 192.168.0.1
                admin_server = 192.168.0.1
        }

然后测试是否成功：

$ kinit admin/admin
Password for admin/admin@HDSC.COM: 

$ klist
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: admin/admin@HDSC.COM

Valid starting       Expires              Service principal
04/12/2018 21:57:08  04/13/2018 07:57:08  krbtgt/HDSC.COM@HDSC.COM
        renew until 04/13/2018 21:57:06

2. 关于AES-256加密
由于jdk8_161以下版本不支持aes-256加密，所以需要安装拓展包，或者干脆把aes-256加密给关闭掉。
关于安装扩展包，参看官方文档：
https://www.cloudera.com/documentation/enterprise/5-12-x/topics/cm_sg_s2_jce_policy.html
笔者采用另一种方式：关闭kerberos的aes-256加密。
打开kdc.conf配置文件：

vim /etc/krb5kdc/kdc.conf

看到以下内容，修改其中的supported_enctypes，将aes256-cts:normal删除掉：

[kdcdefaults]
    kdc_ports = 750,88
[realms]
    HDSC.COM = {
        database_name = /var/lib/krb5kdc/principal
        admin_keytab = FILE:/etc/krb5kdc/kadm5.keytab
        acl_file = /etc/krb5kdc/kadm5.acl
        key_stash_file = /etc/krb5kdc/stash
        kdc_ports = 750,88
        max_life = 10h 0m 0s
        max_renewable_life = 7d 0h 0m 0s
        master_key_type = des3-hmac-sha1
        supported_enctypes = aes256-cts:normal arcfour-hmac:normal des3-hmac-sha1:normal des-cbc-crc:normal des:normal des:v4 des:norealm des:onlyrealm des:afs3
        default_principal_flags = +preauth
    }

然后重启kdc可kerberos-admin-server

/etc/init.d/krb5-kdc restart
/etc/init.d/krb5-admin-server restart

但是，这时候出现了一些问题，客户端连不上了…
按照官方文档，需要重建kerberos数据库（参照上文所述），然后重启kdc和kerberos-admin-server，问题解决！
检查一下加密方式是否改变，可以在客户端主机上重新kinit以下，然后klist -e查看信息：

$ kinit admin/admin
$ klist -e

如果输出如下，则说明aes-256关闭了：

Ticket cache: FILE:/tmp/krb5cc_800
Default principal: admin/admin@HDSC.COM

Valid starting       Expires              Service principal
04/13/2018 09:31:53  04/13/2018 19:31:53  krbtgt/HDSC.COM@HDSC.COM
        renew until 04/14/2018 09:31:52, Etype (skey, tkt): des3-cbc-sha1, arcfour-hmac 

如果没有关闭，输出类似下面，可见Etype中报刊AES-256：

Ticket cache: FILE:/tmp/krb5cc_0
Default principal: test@Cloudera Manager
Valid starting     Expires            Service principal
05/19/11 13:25:04  05/20/11 13:25:04  krbtgt/Cloudera Manager@Cloudera Manager
    Etype (skey, tkt): AES-256 CTS mode with 96-bit SHA-1 HMAC, AES-256 CTS mode with 96-bit SHA-1 HMAC 

3. 可以登录cloudera manager进行配置了
按下图顺序进行配置：
1.启用Kerberos

2.都打对勾

3.设置kdc相关属性

4.搞不懂，不点

5.填写用户名密码

点击继续，就开始安装了。

0x3 开始使用

首先验证一下，我们的kerberos是否起作用。
最简单的方式就是登陆hdfs的web页面查看文件夹，你会发现无法访问了：

然后，我们在hadoop集群上，执行如下hadoop命令：

#先登陆Kerberos服务器，添加一个hdfs用户：
$  kadmin
Authenticating as principal admin/admin@HDSC.COM with password.
Password for admin/admin@HDSC.COM: 
#添加一个叫做hdfs的用户（principal应该是hdfs@HDSC.COM）
kadmin:  addprinc hdfs
#列出所有
kadmin:  listprincs
#会看到，hdfs用户已经添加：
admin/admin@HDSC.COM
cloudera-scm/admin@HDSC.COM
hdfs/csut2hdfs115vl@HDSC.COM
hdfs/csut2hdfs116vl@HDSC.COM
hdfs/csut2hdfs117vl@HDSC.COM
hdfs/csut2hdfs118vl@HDSC.COM
hdfs@HDSC.COM
hive/csut2hdfs115vl@HDSC.COM
hue/csut2hdfs115vl@HDSC.COM
kadmin/admin@HDSC.COM
kadmin/changepw@HDSC.COM
kadmin/csut2hdfs115vl@HDSC.COM
kiprop/csut2hdfs115vl@HDSC.COM
krbtgt/HDSC.COM@HDSC.COM
mapred/csut2hdfs115vl@HDSC.COM
...
#退出kadmin
kadmin:  exit

#然后设置hdfs为默认principal
$ kinit hdfs
Ticket cache: FILE:/tmp/krb5cc_800
Default principal: hdfs@HDSC.COM

Valid starting       Expires              Service principal
04/13/2018 15:50:31  04/14/2018 01:50:31  krbtgt/HDSC.COM@HDSC.COM
        renew until 04/14/2018 15:50:29

#接下来我们就可以以hdfs用户来操作hadoop了
$ hadoop fs -ls /
Found 3 items
drwxr-xr-x   - hdfs supergroup          0 2018-03-09 08:46 /opt
drwxrwxrwt   - hdfs supergroup          0 2018-04-13 11:25 /tmp
drwxr-xr-x   - hdfs supergroup          0 2018-04-13 15:15 /user

$ hadoop fs -mkdir /tmp/test01
$ hadoop fs -ls /tmp
Found 5 items
drwxrwxrwx   - hdfs   supergroup          0 2018-04-13 15:51 /tmp/.cloudera_health_monitoring_canary_files
drwxr-xr-x   - yarn   supergroup          0 2018-04-13 11:25 /tmp/hadoop-yarn
drwx-wx-wx   - hive   supergroup          0 2018-03-09 10:20 /tmp/hive
drwxrwxrwt   - mapred hadoop              0 2018-04-13 11:25 /tmp/logs
drwxr-xr-x   - hdfs   supergroup          0 2018-04-13 15:52 /tmp/test01

#看来读写权限都有了

0x4 JAVA代码调用HDFS

接下来看下在java中如何使用hdfs：
经过一番折腾，总结如下：
1. 要有keytab文件，也就类似于证书，下载到你本地。
生成方式是在kdc-server上执行命令：

kadmin:  ktadd -k /opt/hdfs.keytab hdfs

其中-k指定生成的keytab路径，hdfs是principal用户名。执行完成后，/opt目录会产生一个hdfs.keytab文件。值得注意的是，经测试，生成keytab文件后，hdfs就无法用密码登陆了！在客户端如果想登录，需要用以下命令：

$ kinit -kt /opt/hdfs.keytab hdfs

2. 要有kerberos配置文件：/etc/krb5.conf，下载到你本地。
3. 要把hdfs-site.xml和core-site.xml下载到本地（/etc/hadoop/conf目录下）。
4. 我将以上四个文件放在D盘下，添加如下java代码：
(PS:其实，最好把hive-site、yarn-site、mapred-site…全放到本地resource目录下，最保险，而且代码也不用写太多)

        //设置krb的配置文件路径到环境变量
        System. setProperty("java.security.krb5.conf", "D:/krb5.conf" );
        Configuration conf = new Configuration();
        //添加hdfs-site.xml到conf
        conf.addResource(new Path("D:/hdfs-site.xml"));
        //添加core-site.xml到conf
        conf.addResource(new Path("D:/core-site.xml"));
        //设置hdfs的url
        conf.set("fs.defaultFS", "hdfs://192.168.0.115:8020");

        //登录
        UserGroupInformation.setConfiguration(conf);
        UserGroupInformation.loginUserFromKeytab("[email protected]", "D:/krb5.keytab");
        //获取FileSystem
        FileSystem fs = FileSystem.get(conf);

0x5 JAVA代码使用Spark访问HDFS

1. 同上一节所示，需要各种配置文件：
kerberos的证书文件和配置文件：keytab、krb5.conf
hadoop的全套配置：hive-site.xml、yarn-site.xml、mapred-site.xml、core-site.xml
2. maven依赖一定要和你的hadoop版本以及spark版本一致！
因为这个bug，找了3天没找到：
我是用的spark-yarn 2.1.0中依赖的hadoop-yarn-api版本为2.2.0，而我使用的hadoop版本是2.6.0，结果调用spark on yarn时总是出错，还没有相关日志输出，烦。
3. 上代码吧
记得要把spark目录下的/jars文件放到hdfs上，然后添加配置：
.config("spark.yarn.archive", "hdfs://hdfs-host:port/user/spark/jars")
省的每次提交job都要把spark依赖的jar包上传到hdfs，可以提升效率。

        //登录kerberos
        System. setProperty("java.security.krb5.conf", "D:/krb5.conf");
        UserGroupInformation.loginUserFromKeytab("[email protected]", "D:/hdfs.keytab");
        System.out.println(UserGroupInformation.getLoginUser());

        //启动spark on yarn client模式
        SparkSession spark = SparkSession.builder()
                .master("yarn")
                .config("spark.yarn.archive", "hdfs://192.168.0.115:8020/user/spark/jars")
//                .master("local")
                .appName("CarbonData")
                .getOrCreate();

        System.out.println("------------------------启动spark on yarn---------------------");
        spark.read()
                .textFile("hdfs://192.168.0.115:8020/opt/guoxiang/event_log_01.csv")
                .show();

0x6 Trouble Shoting

1. 用户id小于1000
异常信息：

main : run as user is hdfs
main : requested yarn user is hdfs
Requested user hdfs is not whitelisted and has id 986,which is below the minimum allowed 1000

解决方法：
打开Cloudera Manager，选择Yarn->配置->min.user.id，将1000改为0。

2. Requested user hdfs is banned

main : run as user is hdfs
main : requested yarn user is hdfs
Requested user hdfs is banned

解决方法：
打开Cloudera Manager，选择Yarn->配置->banned.users，将hdfs从黑名单删除。

3. 找不到文件/etc/hadoop/conf.cloudera.yarn/topology.py
错误信息：

WARN net.ScriptBasedMapping: Exception running /etc/hadoop/conf.cloudera.yarn/topology.py csut2hdfs117vl 
java.io.IOException: Cannot run program "/etc/hadoop/conf.cloudera.yarn/topology.py" (in directory "D:\workspace\sparkapi"): CreateProcess error=2, 系统找不到指定的文件。
    at java.lang.ProcessBuilder.start(ProcessBuilder.java:1048)
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:482)
    at org.apache.hadoop.util.Shell.run(Shell.java:455)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)
    at org.apache.hadoop.net.ScriptBasedMapping$RawScriptBasedMapping.runResolveCommand(ScriptBasedMapping.java:251)
    at org.apache.hadoop.net.ScriptBasedMapping$RawScriptBasedMapping.resolve(ScriptBasedMapping.java:188)
    at org.apache.hadoop.net.CachedDNSToSwitchMapping.resolve(CachedDNSToSwitchMapping.java:119)

解决方法：
将core-site.xml中的

  <property>
    <name>net.topology.script.file.name</name>
    <value>/etc/hadoop/conf.cloudera.yarn/topology.py</value>
  </property>

注释掉。
4. 无法实例化hive
错误信息：

Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveExternalCatalog':
    at org.apache.spark.sql.internal.SharedState$.org$apache$spark$sql$internal$SharedState$$reflect(SharedState.scala:169)
	at org.apache.spark.sql.internal.SharedState.<init>(SharedState.scala:86)
	at org.apache.spark.sql.CarbonSession$$anonfun$sharedState$1.apply(CarbonSession.scala:54)
    at org.apache.spark.sql.CarbonSession$$anonfun$sharedState$1.apply(CarbonSession.scala:54)
    ......
Caused by: java.io.IOException: 拒绝访问。
    at java.io.WinNTFileSystem.createFileExclusively(Native Method)
    at java.io.File.createTempFile(File.java:2024)
    at org.apache.hadoop.hive.ql.session.SessionState.createTempFile(SessionState.java:818)
    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:513)
    ... 35 more

解决方法：

#执行本地hadoop下bin目录(window客户端)：
winutil chmod -R 777 /tmp
#然后java代码中添加：
System.setProperty("HADOOP_USER_NAME", "hdfs");
System.setProperty("user.name", "hdfs");

5. 集成carbondata注意事项
要把carbondata的jar包上传到hdfs://hdfs-host:port/user/spark/jars，这里路径自己设置，然后注意实例化spark-session的时候要配置：

.config("spark.yarn.archive", "hdfs://hdfs-host:port/user/spark/jars")

6. 服务器端有无效的principal
异常信息

Server has invalid Kerberos principal: hdfs/cdevhdfs181vl@HDSC.COM

其实这个异常是由于本地的dns解析导致的错误，把hosts文件中主机名和ip一一对应就好了。
7.
异常信息：
先报Netty连接异常：

Error sending result RpcResponse{requestId=5249573718471368854, body=NioManagedBuffer{buf=java.nio.HeapByteBuffer[pos=0 lim=47 cap=64]}} to /192.168.0.184:23386; closing connection

java.lang.AbstractMethodError: null
    at io.netty.util.ReferenceCountUtil.touch(ReferenceCountUtil.java:77) ~[netty-all-4.1.23.Final.jar:4.1.23.Final]
    at io.netty.channel.DefaultChannelPipeline.touch(DefaultChannelPipeline.java:116) ~[netty-all-4.1.23.Final.jar:4.1.23.Final]
    at io.netty.channel.AbstractChannelHandlerContext.write(AbstractChannelHandlerContext.java:810) [netty-all-4.1.23.Final.jar:4.1.23.Final]
    at io.netty.channel.AbstractChannelHandlerContext.write(AbstractChannelHandlerContext.java:723) [netty-all-4.1.23.Final.jar:4.1.23.Final]

然后又报以下异常：

Diagnostics: Exception from container-launch.
Container id: container_1524019039260_0028_02_000001
Exit code: 10
Stack trace: ExitCodeException exitCode=10: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:601)
    at org.apache.hadoop.util.Shell.run(Shell.java:504)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:786)
    at org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor.launchContainer(LinuxContainerExecutor.java:373)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)

进测试，发现是由于springboot项目中的netty-all和hadoop的netty-all版本有冲突导致的，在maven中锁定netty-all版本，使其同hadoop自带的netty-all版本一致即可。

找到一个很好的博文，推荐看这篇：
https://blog.csdn.net/u011026329/article/details/79167884
CDH安装kerberos官方文档：
https://www.cloudera.com/documentation/enterprise/5-12-x/topics/cm_sg_intro_kerb.html
Ubuntu安装kerberos官方文档：
https://help.ubuntu.com/community/Kerberos