大数据平台数据服务框架

1. 概述介绍

大数据平台数据服务框架。实现了Kafka实时数据过滤、清洗、转换、消费，实现了Spark SQL对Redis、MongoDB等非关系型数据库的数据的读写。

为何推荐这个框架？

基于大数据平台的数据处理服务框架。
结合大数据项目实际使用场景，提取出的一些通用的功能，造成大数据平台数据处理框架。
目前主要实现的功能有：
一、参数信息配置模块，可实现采用数据库进行配置和Properties文件进行配置
二、集成Kafka，实现了Kafka的生产者和消费者相关的功能
三、集成MongoDB，实现了MongoDB的数据读取、写入等，实现了SparkSQL经过DataFrame与MongoDB的数据进行交互，而且实现了分页读取、流式读取等特殊读取方式
四、集成Redis，实现了Redis的读取、写入等，实现了SparkSQL经过DataFrame与Redis的数据进行交互
五、SparkStreaming流式处理Kafka、MongoDB的数据
六、手动记录Kafka的偏移量，实现了基于数据库进行记录和基于Zookeeper进行记录

1. 源码下载

源码下载地址，复制下载便可

https://gitee.com/hy-wux/DataService-Framework.git

1. 扫码关注

（公众号）

(微信)

1. 免责声明

【写做说明】以上内容分享给喜欢编程，有梦想的程序员，但愿能帮助到大家。以上文章属于此公众号原创全部，如需转载请注明出处。

【免责申明】本公众平台不是广告商，也没有为其余三方网站或者我的作广告宣传。此分享的源代码和文章是小编在项目中、学习中整理的一些认为不错的项目。用户产生的一些自愿下载或者付费行为。与平台没有直接关系

【投稿邮箱】315997972@qq.com

 欢迎投稿分享你的优质源码或文章