Canal + Kafka经验

时间 2020-06-11

标签 canal kafka 经验栏目 Kafka 繁體版

原文原文链接

canal中写入kafka的BUG kafka的默认最大消息大小是1M, canal做者也知道这个事, 因此往canal扔消息的时候, 会先作一个判断, 若是消息大小>1M, 会报错但关键是他报错说的要把kafka的配置改大, 其实是本身作了阉割, 怨不得kafka, 我横来竖去改了n遍kafka的配置也没用目前我作的是修改了canal的源码:(GITHUB上最新版源码已经加上了这个配置)ja

>>阅读原文<<

1. kafka经验
2. canal发送数据到kafka
3. canal+kafka实践——实时etl
4. canal配合kafka使用
5. canal与kafka的配置
6. kafka的使用经验
7. 项目经验（WebSocket、RabbitMQ、Kafka）
8. canal学习二：canal消息推送到kafka
9. canal+kafka+mysql+canal-admin联合部署+最新版
10. 经过canal实现把MySQL数据实时增量到kafka
更多相关文章...
• XML 验证 - XML 教程
• DTD 验证 - DTD 教程
• 为了进字节跳动，我精选了29道Java经典算法题，带详细讲解
• Flink 数据传输及反压详解

最新文章

1. 外部其他进程嵌入到qt FindWindow获得窗口句柄报错无法链接的外部符号 [email protected] 无法被([email protected]@[email protected]@@引用
2. UVa 11524 - InCircle
3. The Monocycle（bfs）
4. VEC-C滑窗
5. 堆排序的应用-TOPK问题
6. 实例演示ElasticSearch索引查询term,match,match_phase,query_string之间的区别
7. 数学基础知识集合
8. amazeUI 复择框问题解决
9. 背包问题理解
10. 算数平均-几何平均不等式的证明,从麦克劳林到柯西

本站公众号

欢迎关注本站公众号,获取更多信息

1. kafka经验
2. canal发送数据到kafka
3. canal+kafka实践——实时etl
4. canal配合kafka使用
5. canal与kafka的配置
6. kafka的使用经验
7. 项目经验（WebSocket、RabbitMQ、Kafka）
8. canal学习二：canal消息推送到kafka
9. canal+kafka+mysql+canal-admin联合部署+最新版
10. 经过canal实现把MySQL数据实时增量到kafka

>>更多相关文章<<