解析埋点日志中的JSON的文件

解析埋点日志中的JSON的文件

埋点日志格式化后的json数据

{
	"eventid": "viewConentDetailEvent",
	"event": {
		"pgId": "405",
		"contentType": "",
		"contentID": "00824",
		"contentTile": "",
		"contentChannel": "",
		"contentTag": ""
	},
	"user": {
		"uid": "416687",
		"account": "",
		"email": "",
		"phoneNbr": "15608642823",
		"birthday": "",
		"isRegistered": "",
		"isLogin": "",
		"addr": "",
		"gender": "",
		"phone": {
			"imei": "4914733564681748",
			"mac": "2a-53-14-00-2d-05-0c",
			"imsi": "5182110896884591",
			"osName": "android",
			"osVer": "8.2",
			"androidId": "9bcac6961103ed62",
			"resolution": "1356*768",
			"deviceType": "HUAWEI_MATE2",
			"deviceId": "",
			"uuid": "tDyOPpuuiUjiCt1v"
		},
}

在解析Json的时候(前提)
1.安装插件
要在你的Notepad++上面加载一个解析json的插件"NPPJSONViewer_64"安装在你的Notepad++安装目录的plugins文件夹内,
重启Notepad++然后再目录中找到 插件->插件管理->可用->输入NPPJSONViewer_64->安装即可
2.安装依赖
然后选中其中一行复制到新的页面中进行json格式化,然后就可以清晰明了的看着你的数据解析json数据的
再解析json前首先在你的idea上安装fastjson的依赖

<dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>${fastjson.version}</version>
</dependency>

然后直接可以进行抽取各个字段解析了
注意事项:
1.如果是第一层的json直接

val jsonobj=JSON.parseObject(line)
json.getString("列名")

2.如果我们的json每一个字段内容是不规范的,我们可以将他封装为map类型的数据我们直接.map[String,String]生成的是一个java的map[String,String],所以我们将要写一个scala.collection.JavaConversions._的隐式转化将map的集合转换为scala的格式

import scala.collection.JavaConversions._
val event: Map[String, String] = jsonobj.getJSONObject("event").getInnerMap.asInstanceOf[util.Map[String, String]].toMap
val userobj =jsonobj.getJSONObject("user")
userobj.getString("uid")

3.如果是被嵌套的第三层数据就沿用的二层的方法.(例如以上数据)

val phoneobj: JSONObject = userobj.getJSONObject("phone")
val imei = phoneobj.getString("imei")

这样就可以将埋点日志中的json数据解析成一个规范化的一个表格中了

+------+----------------+--------------------+----------------+-------+
|uid   |imei            |mac                 |imsi            |osName |
+------+----------------+--------------------+----------------+-------+
|416687|4914733564681748|2a-53-14-00-2d-05-0c|5182110896884591|android|
|416687|4914733564681748|2a-53-14-00-2d-05-0c|5182110896884591|android|
|416687|4914733564681748|2a-53-14-00-2d-05-0c|5182110896884591|android|
|416687|4914733564681748|2a-53-14-00-2d-05-0c|5182110896884591|android|
|416687|4914733564681748|2a-53-14-00-2d-05-0c|5182110896884591|android|
|416687|4914733564681748|2a-53-14-00-2d-05-0c|5182110896884591|android|
|416687|4914733564681748|2a-53-14-00-2d-05-0c|5182110896884591|android|
|416687|4914733564681748|2a-53-14-00-2d-05-0c|5182110896884591|android|
|416687|4914733564681748|2a-53-14-00-2d-05-0c|5182110896884591|android|
|416687|4914733564681748|2a-53-14-00-2d-05-0c|5182110896884591|android|
+------+----------------+--------------------+----------------+-------+