对Elastic集群内部配置TLS加密通信及身份验证

1、介绍

官方宣布从6.8和7.1开始，免费提供多项安全功能。其中包括tls加密通信，基于角色访问控制等功能。
可以使用企业CA证书来完成这一步骤，但是一般情况下，我们可以通过elasticsearch自带的elasticsearch-certutil的命令生成证书。然后各节点通过该证书可以进行安全通信。
为节点创建证书
TLS：TLS协议要求Trusted Certificate Authority(CA)签发的X.509的证书

证书认证的不同级别

• Certificate:节点加入集群需要使用想用CA签发的证书
• Full Verfication:节点加入集群需要使用想用CA签发的证书,还需要验证Hostname或IP地址
• No Verfication:任何节点都可以加入，开发环境用于诊断目的

先签发CA证书，然后基于这个CA证书，签发每一个节点的证书

2. 步骤

2.1 生成证书

搭建好了es集群，先拿第一个节点来操作，进入elasticsearch目录，然后执行以下命令。

cd /usr/share/elasticsearch  # 使用yum方式安装的可执行文件路径

# 生成CA证书
bin/elasticsearch-certutil ca （CA证书：elastic-stack-ca.p12）

# 生成节点证书 bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 (节点证书：elastic-certificates.p12) `# bin/elasticsearch-certutil cert -out /etc/elasticsearch/elastic-certificates.p12 -pass`# 生成证书到配置文件目录 (这一步暂不操作) 上面命令执行成功后，会在`/etc/elasticsearch/`文件夹下生成elastic-certificates.p12证书 注意：在本机生成的证书需要更改证书权限：`chmod 644 elastic-certificates.p12` (若是使用运行es程序的用户创建证书，则不用更改证书权限) 默认证书权限是600，运行elasticsearch程序的用户没有权限读取，会造成elasticsearch启动失败 ## 2.2 编辑配置文件，开启证书访问 编辑配置文件/etc/elasticsearch/elasticsearch.yml，取消掉下面几行的注释(注意证书路径) ```yml xpack.security.enabled: true xpack.security.transport.ssl.enabled: true xpack.security.transport.ssl.verification_mode: certificate # 证书认证级别 xpack.security.transport.ssl.keystore.path: elastic-certificates.p12 xpack.security.transport.ssl.truststore.path: elastic-certificates.p12 

将上面步骤生成的elastic-certificates.p12证书复制到另外两个es节点上对应的/etc/elasticsearch/文件夹中，同时将上面
xpack.security.*配置选项也都复制到对应节点的elasticsearch.yml文件里

2.3 设置密码

启动三个节点，待节点启动完毕之后，进入第一个节点elasticsearch目录，执行以下命令，进行密码设置：

cd /usr/share/elasticsearch
bin/elasticsearch-setup-passwords interactive

# 输出结果
Initiating the setup of passwords for reserved users elastic,apm_system,kibana,logstash_system,beats_system,remote_monitoring_user.
You will be prompted to enter passwords as the process progresses.
Please confirm that you would like to continue [y/N]y # 输入y # 直接输入密码，然后再重复一遍密码，中括号里是账号 Enter password for [elastic]: Reenter password for [elastic]: Enter password for [apm_system]: Reenter password for [apm_system]: Enter password for [kibana]: Reenter password for [kibana]: Enter password for [logstash_system]: Reenter password for [logstash_system]: Enter password for [beats_system]: Reenter password for [beats_system]: Enter password for [remote_monitoring_user]: Reenter password for [remote_monitoring_user]: Changed password for user [apm_system] Changed password for user [kibana] Changed password for user [logstash_system] Changed password for user [beats_system] Changed password for user [remote_monitoring_user] Changed password for user [elastic] 

为了方便后续使用，这里可以都设置成一样
password: elkstack123456

验证集群设置的账号和密码
打开浏览器访问这个地址，出现需要输入账号密码的界面证明设置成功,集群的一个节点
http://192.168.80.105:9200/_security/_authenticate?pretty

2.4 logstash增加访问es集群的用户及密码

logstash过滤数据之后往es中推送的时候，需要添加权限认证。增加访问es集群的用户及密码：

output {

  if [fields][log_source] == 'messages' { elasticsearch { hosts => ["http://192.168.80.104:9200", "http://192.168.80.105:9200","http://192.168.80.106:9200"] index => "messages-%{+YYYY.MM.dd}" user => "elastic" # 注意：这里演示使用超级账号，安全起见最好是使用自定义的账号，并授予该用户创建索引的权限，具体看下方地址 password => "elkstack123456" # 密码是上面步骤设置的 } }  if [fields][log_source] == "secure" { elasticsearch { hosts => ["http://192.168.80.104:9200", "http://192.168.80.105:9200","http://192.168.80.106:9200"] index => "secure-%{+YYYY.MM.dd}" user => "elastic" # 注意：这里演示使用超级账号，安全起见最好是使用自定义的账号，并授予该用户创建索引的权限，具体看下方地址 password => "elkstack123456" } } } 

使用自定义的账号官方地址：https://www.elastic.co/cn/blog/configuring-ssl-tls-and-https-to-secure-elasticsearch-kibana-beats-and-logstash

2.5 elasticsearch-head访问es集群的用户及密码

elasticsearch-head插件此时再去访问有安全认证的es集群时，会发现无法进行查看，打开控制台可以看到报错:401 unauthorized
解决办法是修改elasticsearch.yml文件，增加以下配置。

http.cors.allow-headers: Authorization,content-type

修改三台es节点，然后重新启动，再次url+认证信息方式可以正常访问es集群。

http://192.168.80.104:9100/?auth_user=elkstack&auth_password=elkstack123456

2.6 Kibana组件访问带有安全认证的Elasticsearch集群

配置文件kibana.yml中需要加入以下配置

elasticsearch.username: "kibana"  # 注意：此处不用超级账号elastic，而是使用kibana跟es连接的账号kibana
elasticsearch.password: "elkstack123456" 

然后重启kibana，再次访问的话就就需要输入上述账号密码才能登陆访问了

不一样的地方：
在Management下面的Kibana最后出现一个Security，有User和Role
方便kibana多用户创建及角色权限控制

1、介绍

官方宣布从6.8和7.1开始，免费提供多项安全功能。其中包括tls加密通信，基于角色访问控制等功能。
可以使用企业CA证书来完成这一步骤，但是一般情况下，我们可以通过elasticsearch自带的elasticsearch-certutil的命令生成证书。然后各节点通过该证书可以进行安全通信。
为节点创建证书
TLS：TLS协议要求Trusted Certificate Authority(CA)签发的X.509的证书

证书认证的不同级别

• Certificate:节点加入集群需要使用想用CA签发的证书
• Full Verfication:节点加入集群需要使用想用CA签发的证书,还需要验证Hostname或IP地址
• No Verfication:任何节点都可以加入，开发环境用于诊断目的

先签发CA证书，然后基于这个CA证书，签发每一个节点的证书

2. 步骤

2.1 生成证书

搭建好了es集群，先拿第一个节点来操作，进入elasticsearch目录，然后执行以下命令。

cd /usr/share/elasticsearch  # 使用yum方式安装的可执行文件路径

# 生成CA证书
bin/elasticsearch-certutil ca （CA证书：elastic-stack-ca.p12）

# 生成节点证书 bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 (节点证书：elastic-certificates.p12) `# bin/elasticsearch-certutil cert -out /etc/elasticsearch/elastic-certificates.p12 -pass`# 生成证书到配置文件目录 (这一步暂不操作) 上面命令执行成功后，会在`/etc/elasticsearch/`文件夹下生成elastic-certificates.p12证书 注意：在本机生成的证书需要更改证书权限：`chmod 644 elastic-certificates.p12` (若是使用运行es程序的用户创建证书，则不用更改证书权限) 默认证书权限是600，运行elasticsearch程序的用户没有权限读取，会造成elasticsearch启动失败 ## 2.2 编辑配置文件，开启证书访问 编辑配置文件/etc/elasticsearch/elasticsearch.yml，取消掉下面几行的注释(注意证书路径) ```yml xpack.security.enabled: true xpack.security.transport.ssl.enabled: true xpack.security.transport.ssl.verification_mode: certificate # 证书认证级别 xpack.security.transport.ssl.keystore.path: elastic-certificates.p12 xpack.security.transport.ssl.truststore.path: elastic-certificates.p12 

将上面步骤生成的elastic-certificates.p12证书复制到另外两个es节点上对应的/etc/elasticsearch/文件夹中，同时将上面
xpack.security.*配置选项也都复制到对应节点的elasticsearch.yml文件里

2.3 设置密码

启动三个节点，待节点启动完毕之后，进入第一个节点elasticsearch目录，执行以下命令，进行密码设置：

cd /usr/share/elasticsearch
bin/elasticsearch-setup-passwords interactive

# 输出结果
Initiating the setup of passwords for reserved users elastic,apm_system,kibana,logstash_system,beats_system,remote_monitoring_user.
You will be prompted to enter passwords as the process progresses.
Please confirm that you would like to continue [y/N]y # 输入y # 直接输入密码，然后再重复一遍密码，中括号里是账号 Enter password for [elastic]: Reenter password for [elastic]: Enter password for [apm_system]: Reenter password for [apm_system]: Enter password for [kibana]: Reenter password for [kibana]: Enter password for [logstash_system]: Reenter password for [logstash_system]: Enter password for [beats_system]: Reenter password for [beats_system]: Enter password for [remote_monitoring_user]: Reenter password for [remote_monitoring_user]: Changed password for user [apm_system] Changed password for user [kibana] Changed password for user [logstash_system] Changed password for user [beats_system] Changed password for user [remote_monitoring_user] Changed password for user [elastic] 

为了方便后续使用，这里可以都设置成一样
password: elkstack123456

验证集群设置的账号和密码
打开浏览器访问这个地址，出现需要输入账号密码的界面证明设置成功,集群的一个节点
http://192.168.80.105:9200/_security/_authenticate?pretty

2.4 logstash增加访问es集群的用户及密码

logstash过滤数据之后往es中推送的时候，需要添加权限认证。增加访问es集群的用户及密码：

output {

  if [fields][log_source] == 'messages' { elasticsearch { hosts => ["http://192.168.80.104:9200", "http://192.168.80.105:9200","http://192.168.80.106:9200"] index => "messages-%{+YYYY.MM.dd}" user => "elastic" # 注意：这里演示使用超级账号，安全起见最好是使用自定义的账号，并授予该用户创建索引的权限，具体看下方地址 password => "elkstack123456" # 密码是上面步骤设置的 } }  if [fields][log_source] == "secure" { elasticsearch { hosts => ["http://192.168.80.104:9200", "http://192.168.80.105:9200","http://192.168.80.106:9200"] index => "secure-%{+YYYY.MM.dd}" user => "elastic" # 注意：这里演示使用超级账号，安全起见最好是使用自定义的账号，并授予该用户创建索引的权限，具体看下方地址 password => "elkstack123456" } } } 

使用自定义的账号官方地址：https://www.elastic.co/cn/blog/configuring-ssl-tls-and-https-to-secure-elasticsearch-kibana-beats-and-logstash

2.5 elasticsearch-head访问es集群的用户及密码

elasticsearch-head插件此时再去访问有安全认证的es集群时，会发现无法进行查看，打开控制台可以看到报错:401 unauthorized
解决办法是修改elasticsearch.yml文件，增加以下配置。

http.cors.allow-headers: Authorization,content-type

修改三台es节点，然后重新启动，再次url+认证信息方式可以正常访问es集群。

http://192.168.80.104:9100/?auth_user=elkstack&auth_password=elkstack123456

2.6 Kibana组件访问带有安全认证的Elasticsearch集群

配置文件kibana.yml中需要加入以下配置

elasticsearch.username: "kibana"  # 注意：此处不用超级账号elastic，而是使用kibana跟es连接的账号kibana
elasticsearch.password: "elkstack123456" 

然后重启kibana，再次访问的话就就需要输入上述账号密码才能登陆访问了

不一样的地方：
在Management下面的Kibana最后出现一个Security，有User和Role
方便kibana多用户创建及角色权限控制