最近在写一个日志管理平台的系统,底层借鉴了graylog,今天我们领导告诉我splunk是业界的顶端,希望我们向splunk看齐。所以下午整个时间研究一下splunk。本次研究方向是splunk产品的功能特点,代码的东西就不再做分析了。
splunk简单定义:
单点、实时搜索并分析所有IT系统所产生的数据,还能确保快速的故障排除和事件审查。提供了强大的统计分析和关联功能。除此之外,它还提供了用于告警、监测、报告和分析的交互式用户界面。
Splunk 软件可在单点实时搜索、报告、监测并分析企业IT设施中所有运行中的数据流或历史数据。Splunk 提供了独一无二的,包括用户交易、客户行为、设备状态、安全威胁和欺诈活动等各种IT数据的可视化。过去需要花费数小时或数天的时间做应用问题的故障排除和安全事件审计,使用Splunk 只需要几分钟就可完成,这就避免了服务性能的下降或中断,用最小的代价就可遵从规范,并可以洞察到新业务的无限商机。
splunk架构:
Splunk基于MapReduce的架构意味着其可以完美地运行企业所有的IT数据。目前还没有哪种类似产品可以表现出如此快速的运行速度和卓越的灵活性。
Splunk关键的组成部分包括:Search Head、Indexer、Forwarder。
Search Head: 提供对于监测数据的查询功能,并且提供Web访问服务;
Indexer: 用于对收集的日志数据进行索引;
Forwarder:用于收集本地的日志信息,发送给Indexer和Search Head。
splunk安装:
splunk安装很简单,下载rpm包,直接运行rpm -ivh xxxx.rpm即可。安装的时候要设置管理员及密码。
splunk数据流程:
数据输入 - 数据分析 - 建立索引 - 用户查询