概述介绍
大数据平台数据服务框架。实现了Kafka实时数据过滤、清洗、转换、消费，实现了Spark SQL对Redis、MongoDB等非关系型数据库的数据的读写。
为什么推荐这个框架？
基于大数据平台的数据处理服务框架。
结合大数据项目实际使用场景，提取出的一些通用的功能，形成大数据平台数据处理框架。
目前主要实现的功能有：
1、参数信息配置模块，可实现采用数据库进行配置和Properties文件进行配置
2、集成Kafka，实现了Kafka的生产者和消费者相关的功能
3、集成MongoDB，实现了MongoDB的数据读取、写入等，实现了SparkSQL通过DataFrame与MongoDB的数据进行交互，并且实现了分页读取、流式读取等特殊读取方式
4、集成Redis，实现了Redis的读取、写入等，实现了SparkSQL通过DataFrame与Redis的数据进行交互
5、SparkStreaming流式处理Kafka、MongoDB的数据
6、手动记录Kafka的偏移量，实现了基于数据库进行记录和基于Zookeeper进行记录
源码下载
源码下载地址，复制下载即可
https://gitee.com/hy-wux/DataService-Framework.git
扫码关注
（公众号）
(微信)
免责声明
【写作说明】以上内容分享给喜欢编程，有梦想的程序员，希望能帮助到你们。以上文章属于此公众号原创所有，如需转载请注明出处。
【免责申明】本公众平台不是广告商，也没有为其他三方网站或者个人做广告宣传。此分享的源代码和文章是小编在项目中、学习中整理的一些认为不错的项目。用户产生的一些自愿下载或者付费行为。与平台没有直接关系
【投稿邮箱】[email protected]
欢迎投稿分享你的优质源码或文章