java -> kafka -> logstash -> elasticsearch + kibana
①java把日志写入kafka
②logstash从kafka获取数据
③logstash将数据写入elasticsearch
④kibana用于展示elasticsearch的数据
整套日志架构软件版本使用
kafka : kafka_2.10-0.10.0.0.tgz
logstash:logstash-2.3.0.tar.gz
elasticsearch: elasticsearch-2.3.0.tar.gz
kibana : kibana-4.3.0-linux-x64.tar.gz
使用log4j将程序日志实时写入kafka
http://www.cnblogs.com/gaopeng527/p/5266351.html
Kafka与logstash数据交互
http://blog.csdn.net/xiaoyu_bd/article/details/52454951
logstash
Logstash安装和使用
http://blog.csdn.net/u012373815/article/details/51029826
logstash+elasticsearch配置文件创建规则
https://www.elastic.co/guide/en/logstash/current/configuration.html
Elasticsearch+kibana
kibana和Elasticsearch集成只需要简单的配置Kibana的配置文件
Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的
kibana4的安装和使用
http://blog.csdn.net/u012373815/article/details/51029855
这边博客写的比较详细：http://blog.csdn.net/ming_311/article/details/50619859
kibana官方示例：https://my.oschina.net/clgo/blog/671861
Kafka 生产者消费情况监控，输入输送到 Elasticsearch 并利用 Kibana 进行前台展示。
安装elasticsearch插件elasticsearch-head
elasticsearch-2.2.0 如何安装插件elasticsearch-head?
Head插件是Elasticsearch的图形化界面，方便 用户对数据进行增删改查，基于REST的四种方式进行数据交互
1.安装和使用kafka
参考：http://colobu.com/2014/08/06/kafka-quickstart/
2.安装和使用elasticsearch
参考：http://shensuqiao.iteye.com/blog/2251674
3.安装elasticsearch插件elasticsearch-head
①https://github.com/mobz/elasticsearch-head下载zip 解压
②建立elasticsearch-2.3.1\plugins\head文件
③将解压后的elasticsearch-head-master文件夹下所有的文件copy到head（注意：这里说的是elasticsearch-head-master文件夹下面的文件）
④运行es
⑤打开http://localhost:9200/_plugin/head/
启动报错：
Exception in thread "main" java.lang.RuntimeException: don't run elasticsearch as root.
解决：http://blog.csdn.net/u010317005/article/details/52205825
参考：
1.kafka入门教程
http://colobu.com/2014/08/06/kafka-quickstart/
创建只有一个备份一个分区的主题test
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看主题
bin/kafka-topics.sh --list --zookeeper localhost:2181
发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
消费消息
./kafka-console-consumer.sh --zookeeper 10.10.28.111:2181 --topic test --from-beginning
查看主题信息
bin/kafka-topics.sh --describe --zookeeper 10.10.28.111:2181 --topic test
kafka+log4j
http://www.cnblogs.com/dreammyle/p/6598935.html
http://stackoverflow.com/questions/35628706/kafka-log4j-appender-0-9-does-not-work
2.认识kibana
http://blog.csdn.net/ming_311/article/details/50619804
3.Elasticsearch教程
http://www.sojson.com/blog/85.html
4.跨域问题处理
5.网关编写