使用Flume-KafkaSource实时采集avro格式数据

业务描述:java 最近项目中须要实时采集业务数据库CDC数据(这里数据已被序列化为avro格式数据),这里技术架构咱们采用了Flume+Hdfs。数据库 了解Flume的朋友都知道它的组件分为三部分:source,channel,sink。具体原理部分这里就再也不赘述,可查看官网或flume技术博客,这里具体讲一下实现流程及添坑之路。apache 业务过来的数据放在在kafka里,因此sourc
相关文章
相关标签/搜索