业务系统日志采集:logstash+kafka

     业务系统,可以是一个APP,也可以是一个应用网站。通常业务系统所使用的服务器有很多台,业务系统服务器即有可能是Linux服务器,也可能是windows服务器,比如一些游戏开发所选用的服务器是window服务器。

      通常业务系统产生的日志会非常多,日志文件会分布在不同的文件夹下。logstash的配置文件中,可以使用通配符的方式,来读取同一层级下多个文件夹里面的文件内容。而且,logstash能够监控单个文件中内容的变化,并将变化的内容读取出来,配置如下(serverKafka.txt):

input{
	file{
		codec=>plain{
			charset=>"GB2312"
		}
		path=>"F:/studyRepository/logs/ngixGame/BaseDir01/*/*.txt"
		discover_interval=>5
		start_position=>"beginning"
	}
}
output{
	kafka{
		topic_id=>"gsTopic03"
		codec=>plain{
			format=>"%{message}"
			charset=>"UTF-16BE"
		}
		bootstrap_servers=>"mini02:9092,mini03:9092,mini04:9092"
	}
}

猜你喜欢

转载自blog.csdn.net/hefrankeleyn/article/details/79953837