这里先说一下需求,我们想把数据从不同的数据源取出来以后,当然这里是一个数据源,取出来以后,
可以看到,数据经过GenerateTableFetch处理器,获取分页sql,然后通过ExecuteSql处理器执行,获取数据以后,然后把数据从Avro格式转换成Json格式,使用ConvertAvroToJSON处理器,然后再把分页的多条数据,进行拆分SplitJson处理器,然后拆分后的一条条数据,可以走可以看到,往右走一条线是:把数据直接存入Hbase数据库中,使用PutHbaseJSON
处理器.
然后另一条往EvaluateJsonPath处理器走,用来提取Json中的具体字段数据,然后把数据再经过ReplaceText,进行组合成insert的sql,然后再通过PutSQL把数据导入到其他数据库中去.
思路是这样,这样就实现了,多个数据源来的数据,我们导入到多个数据源中去.而且还可以加上简单分析功能.