批量替换目录中的文件内容

grep -rlv 'crc' /var/lib/hadoop-hdfs/20160711/ | xargs sed -i "s/,/,/g"
grep -rlv 'crc' /var/lib/hadoop-hdfs/20160711/ | xargs sed -i "s/\\$/,/g"

将目录下全部以0开头的文件中的英文逗号替换为中文逗号,再将$替换为英文逗号,注意这里要将.000开头,.crc结尾的文件排除在外,由于这些是校验文件,修改后,再次往hive中导入文件的时候,会出现如下错误apache

Failed with exception Checksum error: file:/var/lib/hadoop-hdfs/000000_0 at 0 exp: 264275974 got: 1334332137
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.CopyTask

发现一个问题,一旦修改了hive改出文件的分割符再想将修改后的文件导入到hive中的时候,必定会报错,因此要想导入成功,最好方法就是不修改分析后的数据,直接导入到hive中。oop

相关文章
相关标签/搜索