ELK retrying failed action with response code: 403错误解决

Logstash中报错：retrying failed action with response code:403.

报错信息如下图所示。

 这是由于 ES中的索引设置成了只读模式，可能造成这样的原因是因为磁盘满了，或使用率超过95%时，Elasticsearch为了防止节点耗尽磁盘空间，保护集群不至于完全宕机，自动将索引设置为只读模式，

        此时，只能查询不能入库新数据。并且ES日志中也会报错：nexpected error while indexing monitoring document org.elasticsearch.xpack.monitoring.exporter.ExportException: ClusterBlockException.

 这个时候，即便扩了硬盘，磁盘空间可用空间增加后，es仍然报错，问题依然存在，索引依然不能入库，是由于ES集群为了保护集群不至于完全宕机，对索引设定了只读。此时需要手动设定索引的只读状态去掉。

 此时有两种解决方式，但作用是一样的，都是为了解除索引的只读状态。

1、在kibana中的开发者工具执行下面这条命令，将索引设置成允许写入。运行完这个命令后。我们可以查询logstash的日志看是否恢复正常。

PUT _all/_settings
{
  "index.blocks.read_only_allow_delete": null
}

2、在ES所在服务器执行api：

curl -XPUT -H "Content-Type: application/json" http://localhost:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete": null}'

这个时候我们查看Logstash的日志，发现已经不会再报 retrying failed action with response code:403.  这个错误了。 问题也就解决了。