logstash使用之输入阶段和过滤阶段处理数据的区别
概述阅读此文之前,先阅读logstash入门之工作流程,了解下codec和filter.codec相当于一个编码解码的工具.对输入和输出的数据进行处理,而filter中也有好多类似于这个功能的插件.比如:
* codec中有json codec plugin,filter中有json filter plugincodec作用于输入阶段可以对输入的内容比如json进行解析,而filter中同样也有可
logstash使用之json输入输出
概述如果发送给logstash的数据内容为json格式,那么可以通过解析json内容,根据具体内容生成字段.方便分析和储存,比如:有一个json内容为: {"name":"nihao"},我们需要获取这个记录然后通过logstash分析后,放到mysql数据库中.一个简单的logstash输出内容为:{
"@version" => "1",
"host" => "lo
logstash配置之自动重载配置文件
自动重新加载配置为了可以自动检测配置文件的变动和自动重新加载配置文件,需要在启动的时候使用以下命令:./bin/lagstash -f configfile.conf --config.reload.automatic默认,检测配置文件的间隔时间是3秒,可以通过以下命令改变--config.reload.interval <second>如果已经运行了没有提供自动重启的logstash,可以发送一个
logstash使用之简单使用
概述logstash作为日志消息的中间件,获取数据后经过过滤再发送到别的地方.简单实用比如,获取数据从控制台,然后输出到控制台.编写配置文件log_std.confinput{
stdin{}
}
output{
stdout{}
}
stdin/stdout: 为控制台的输入和输出
测试配置文件通过命令测试配置文件是否正确:bin/logstash -f first
logstash使用之日期处理
概述日期插件Date filter plugin用于对logstash接收到的字段中的日期进行处理,可以使用处理后的日期作为logstash的timestamp.日期进行处理后,可以在kibana中用于统计和分析.参考logstash帮助文档简单使用input{
stdin{
}
}
filter{
date{
match => ["messa
log4net之syslog和logstash结合
概述使用log4net通过网络传输syslog日志配置<?xml version="1.0" encoding="utf-8" ?>
<configuration>
<configSections>
<section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler, log4net"/>
<
kafka的go版本api使用
概述go语言版本的kafakaAPI准备
golang
sarama
简单使用生产和消费的过程都是通过一个配置开始的.生产者//设置配置
config := sarama.NewConfig()
//等待服务器所有副本都保存成功后的响应
config.Producer.RequiredAcks = sarama.WaitForAll
//随机的分区类型
con
golang-context使用
context
golang 中的创建一个新的 goroutine , 并不会返回像c语言类似的pid，所有我们不能从外部杀死某个goroutine，所有我就得让它自己结束，之前我们用 channel ＋ select 的方式，来解决这个问题，但是有些场景实现起来比较麻烦，例如由一个请求衍生出的各个 goroutine 之间需要满足一定的约束关系，以实现一些诸如有效期，中止routine树，传递请...
RBMQ发布和订阅消息
RBMQ发布和订阅消息
exchange
参考翻译自: RabbitMQ官网
生产者并非将消息直接发送到queue,而是发送到exchange中,具体将消息发送到特定的队列还是多个队列,或者是丢弃,取决于exchange的类型
exchange的类型
direct
topic
headers
fanout
bindings(绑定队列)
当生产/消费exchange时,可以绑定队列到excha...
RBMQ消息的消费,确认,防丢失
RBMQ消息的消费,确认,防丢失
参考翻译自: RabbitMQ官网
向多消费者分发消息
当有多个消费者时:
使用Round-robin方法,也就是循环发送,一个消息发送给一个消费者,下一条消息发送给下一个消费者,依次循环.
每个消息只发送给一个消费者
消息确认机制
每个消费者消费后,需要反馈给MQ,确认消息已经被消费,MQ可以删除掉
如果一个消费者挂掉(channel关闭,connect...
Comparator如何进行排序的
Comparator c = new Comparator&lt;Department&gt;() {
@Override
public int compare(Department d1,Department d2){
List&lt;School&gt; list1 = schoolDao.findById(d1.getSchool_id());
List&lt;...
Android中常用的图片控件
图片显示框ImageView
图片显示框的作用与TextView类似，TextView用于显示文字，ImageView则用于显示图片，ImageView中有一个src属性用于指定图片的来源。可是显示图片还存在一个问题，当我们的图片比ImageView的区域大的时候如何显示呢？在ImageView中有一个常用并且重要的属性scaleType，用于设置图片的缩放类型。该属性值常用的有...
Android autoLink的注意点
转自：http://clareshao.iteye.com/blog/795578
&lt;TextView
android:layout_width="fill_parent"
android:layout_height="wrap_content"
android:text="请访问： www.baidu.com"
android:autoLink=...
Android中如何设置一个控件在另外一个控件的左上方
在介绍这个话题前，首先介绍一下有关相对布局的概念：
相对布局，顾名思义就是相对于某个参照物的位置来摆放新的控件，由RelativeLayout类表示，这种布局的关键是找到一个合适的参照物，参照物主要分为两类：直接父容器和兄弟控件。由于每个控件只有一个父容器，当以父容器为参照物时，属性值只有true或false两种。兄弟控件可以有很多，通过控件id来唯一区分，当以兄弟控件为参照物时，属性值...
SQL Server 2008导入数据
今天趁着老师讲完了导入数据，因此特意在这里做一份笔记，以免以后忘记了。
选择程序-&gt;Mircosoft SQL Server 2008 R2下的导入和导出数据（32位）
点击下一步
在这里注意选择数据源，由于我采取的方式是从txt从导入数据，所以选择平面文件源，然后选择下一步
数据导入成功，如下图。
...
今日推荐
周排行