经验总结1—数据核对

一、作数据核对的时候,要具体状况具体分析,不要思惟固化,不要一看到少数据,就各类查上游表

二、先动脑再动手,深度思考,抽丝剥茧,一步步到位,最终定位问题

三、若是数据对不上,看上游表的跑很多天期的任务是否跑成功了(看任务日志是否有报错),或者是否有重跑数据

四、从SVN上取生产脚本时,要肯定是否与生产环境日志中的一致,有可能开发同事修改过脚本,而后直接替换了生产脚本,可是没有更新到SVN,这样你从SVN拿到的就不是最新的

五、若是hive跑任务失败了,能够在hadoop日志页面点击不一样的看不一样的日志,有3个click here,能够查看不一样的内容

六、写hql脚本时,严禁全选代码转大、小写,一行一行来转,最好的方式是将sql关键字所有转大、小写,再将业务字段转大、小写,这样就不会改动传入的参数及其余信息,好比part='STU’这样转会出问题

七、复制、粘贴要谨慎,作复制、粘贴前必需要保证代码一致

八、跑sc或其余须要配置的工具时,若是须要配置的内容较多,那每次跑以前都要走下完整流程,别只认为改一处就能够了,不然失败了再改浪费时间

九、若是脚本中须要用union all 从同一张表中屡次查询数据,可使用create temporary table as select * from sour_table建临时表,而后下面的sql从临时表中取数据

十、若是是作新模块需求,那在发版时,必须多遇上几个测试版本,不然问题会不少
web