Elasticsearch率増分の統計情報と電子メールの実現のタイミング

0、需要

アプリケーションシステムにおけるデータサイズELKStackの急速な成長と、毎日のレベルのデータボリュームを行う(ストアサイズ:10000000 * 10K / 1024分の1024 = 95.37ギガバイト、 10キロバイトよりも実際にははるかに大きい単一のデータを10kBは、と仮定して)毎日のニーズの蓄積になります。
どのように比較的単純なグラフィック効果増分データがそれを示して?
この記事では、アイデアと実装を提供します。

1、問題の分解

統計データ1.1 ESクラスタの量

ESは、例えば、コマンドラインの統計情報が付属しています:

 curl 'localhost:9200/_cat/indices?v'

インクリメンタル達成するためにどのように1.2?

アイデアを簡素化:
1)一定の時間を毎日、そのような朝と午後12時一回同じ日の統計データでは、ログファイルの生成は次のように格納されます。20180228から00:00.log
インクリメント2)20180228は、以下のとおりです。20180229から00:00.logデータ値-20180228-00:データの00.log量。(次の日-前日)

1.3統計的な方法を達成するために

アイデアを簡素化:
1)シェルスクリプトは、統計日の量得るために、
簡単な増分を計算する2)Excelの数式を

通常のメールの統計を達成するためにどのように1.4

アイデアを簡素化:
1)スクリプトを読み込むためのJava + +メールプログラムが実現。
2)crontabのタイミングタスク処理を実現します。

図2に示すように、特定の実施

2.1単一日のボリューム統計

次の結果が返されました:

2.2 Javaはシェルスクリプトを読み込みます

2.3インクリメンタル統計

ステップ1:単一日の統計情報を表示します。ステップ2:インクリメンタル統計。ステップ1、ステップ2 Excelの統計データを得ることができます。

次のように前記シェルスクリプトの毎日のコピーデータは以下のとおりです。

ステップ3:Excelは図を生成しました。

3、困難

ノー

4.まとめ

通过shell脚本+Excel数据统计,简单实现了数据增量可视化。
通过java+邮件处理+定时任务,实现了数据的定时统计以及定时邮件预警功能。
可以,在此基础上,做更多的扩展应用,比如:

  • 1)集群监控状态监控;
  • 2)集群堆内存使用监控;
  • 3)开发中其他相关物理机器内存、CPU、磁盘读写性能等指标的监控等。

推荐阅读:

《深入理解 Java 内存模型》读书笔记

面试-基础篇

Spring Boot 2.0 迁移指南

SpringBoot使用Docker快速部署项目

为什么选择 Spring 作为 Java 框架?

SpringBoot RocketMQ 整合使用和监控

Spring Boot 面试的十个问题

使用 Spring Framework 时常犯的十大错误

SpringBoot Admin 使用指南

SpringBoot Kafka 整合使用

SpringBoot RabbitMQ 整合使用

上篇好文:

使用Arthas 获取Spring ApplicationContext还原问题现场

おすすめ

転載: www.cnblogs.com/springforall/p/11334519.html