0、需要
アプリケーションシステムにおけるデータサイズELKStackの急速な成長と、毎日のレベルのデータボリュームを行う(ストアサイズ:10000000 * 10K / 1024分の1024 = 95.37ギガバイト、 10キロバイトよりも実際にははるかに大きい単一のデータを10kBは、と仮定して)毎日のニーズの蓄積になります。
どのように比較的単純なグラフィック効果増分データがそれを示して?
この記事では、アイデアと実装を提供します。
1、問題の分解
統計データ1.1 ESクラスタの量
ESは、例えば、コマンドラインの統計情報が付属しています:
curl 'localhost:9200/_cat/indices?v'
インクリメンタル達成するためにどのように1.2?
アイデアを簡素化:
1)一定の時間を毎日、そのような朝と午後12時一回同じ日の統計データでは、ログファイルの生成は次のように格納されます。20180228から00:00.log
インクリメント2)20180228は、以下のとおりです。20180229から00:00.logデータ値-20180228-00:データの00.log量。(次の日-前日)
1.3統計的な方法を達成するために
アイデアを簡素化:
1)シェルスクリプトは、統計日の量得るために、
簡単な増分を計算する2)Excelの数式を
通常のメールの統計を達成するためにどのように1.4
アイデアを簡素化:
1)スクリプトを読み込むためのJava + +メールプログラムが実現。
2)crontabのタイミングタスク処理を実現します。
図2に示すように、特定の実施
2.1単一日のボリューム統計
次の結果が返されました:
2.2 Javaはシェルスクリプトを読み込みます
2.3インクリメンタル統計
ステップ1:単一日の統計情報を表示します。ステップ2:インクリメンタル統計。ステップ1、ステップ2 Excelの統計データを得ることができます。
次のように前記シェルスクリプトの毎日のコピーデータは以下のとおりです。
ステップ3:Excelは図を生成しました。
3、困難
ノー
4.まとめ
通过shell脚本+Excel数据统计,简单实现了数据增量可视化。
通过java+邮件处理+定时任务,实现了数据的定时统计以及定时邮件预警功能。
可以,在此基础上,做更多的扩展应用,比如:
- 1)集群监控状态监控;
- 2)集群堆内存使用监控;
- 3)开发中其他相关物理机器内存、CPU、磁盘读写性能等指标的监控等。
推荐阅读:
为什么选择 Spring 作为 Java 框架?
SpringBoot RocketMQ 整合使用和监控
上篇好文: