推送kafka消息失败

晚上变动 怎么都推不过去,蛋疼,睡饱后加了个hosts没想到好了,而后搜了一下,大概是以下的缘由
转自 https://www.cnblogs.com/linlianhuan/p/9258061.html
问题反馈: xx现场测试环境下,整个平台的数据,除了原始数据模块,其余模块正常运行。相同版本的包,在线上环境上原始数据的订阅是正常的,可是测试环境没有,查看全部相关的日志,均没有报异常,且日志中有正常显示已经把数据发送到kafka。可是从kafka的日志里查,没有收到转发过来的数据。
 
这里梳理一下这个 原始数据 的整个流程:
upload 转发 原始数据到 kafka,用的topic为 OREGINAL_DATA ,   storm计算启动一个叫realtime的拓扑,消费 OREGINAL_DATA 上的数据,再把处理后的数据转发到 kafka, 用的topic为  OREGINAL_DATA_FORWARD。
 
排查过程:
1. 查看 upload日志,肯定日志中有正常发数据到kafka ,且显示成功了   -- 这个日志有一个很大的误导做用
2. 经过 kafka 的消息积压命令查看(以下),肯定是没有新的信息生产(logSize没有变化,经过kafka的 log.dirs 也肯定该topic没有 生产到数据)
          kafka-consumer-offset-checker.sh   --topic OREGINAL_DATA --zookeeper zkIP:2181 --group GROUP_OREGINAL_DATA
3. 经过第2步的排除,怀疑 upload机器与kafka集群不通,用ping命令,肯定机器是通的,查看 iptables ,没有信息, 用 telnet   kafkaIP   9092 ,不通,提供没有路由(no route to host),怀疑是hosts文件配置问题,确认有正常配置。 把 kafka上的防火墙关了,telnet 通了(这里还要恶补一下防火墙的知识,另外,这个是测试环境,因此能够直接关)。
4. 发数据,重复2,问题仍是没有解决。经过修改程序中 topic为 OREGINAL_DATA_NEW 肯定 程序是否与 kafka集群通。发现topic有正常建立,可是就是没有消息生产出来。
5. 在upload机器上安装 kafka,经过运行kafka自带的producer 行(命令以下),给新建的topic发数据,发现有报错:
         kafka-console-producer.sh --broker-list kafkaIP:9092 --topic  OREGINAL_DATA_NEW
    报错信息为:  org.apache.kafka.common.errors.TimeoutException,经过网上搜索,定位缘由是发布到zookeeper的advertised.host.name若是没有设置,默认取 java.net.InetAddress.getCanonicalHostName().值,被用于生产端和消费端。所以外部网络或者未配置hostname映射的机器访问kafka集群时就会有网络问题了。
 
6. 配置 kafka 集群的主机名到 upload 机器的hosts 文件中, 发数据,问题解决。
 
这里注明一下,upload表原本是有配置 kafka集群的,可是用的是别名,且 公共配置文件上相关集群机器的配置信息也是用的别名,当时测试用的命令,也是别名。
 
 
关于测试这边的疏漏问题总结:
之前测试都是直接在公共配置文件用的主机名测试(这里用的主机别名的方式还没遇到过),另外,在kafka集群不通的状况下,upload日志竟然没有报一点异常,还显示成功,这里对于 异常 状况的测试用例设置有些欠缺,后期要专门整理对程序的异常处理状况作测试,来验证程序的健壮性及自我恢复能力。
一: 经过控制防火墙来模拟网络异常的状况
    1.  在环境正常状况下,把 防火墙打开,肯定程序是否正常,日志有没有对应的异常信息协助定位问题
    2.  关闭防火墙,肯定程序可否自恢复,日志是否正常
二:要把各类基础服务分开部署,这个涉及到机器的申请,否则测试环境全部服务都部署在一台机器 或者几台机器上,全部网络都是通的,彻底没法模拟这种测试环境
相关文章
相关标签/搜索