grep -rlv 'crc' /var/lib/hadoop-hdfs/20160711/ | xargs sed -i "s/,/,/g" grep -rlv 'crc' /var/lib/hadoop-hdfs/20160711/ | xargs sed -i "s/\\$/,/g"
将目录下全部以0开头的文件中的英文逗号替换为中文逗号,再将$替换为英文逗号,注意这里要将.000开头,.crc结尾的文件排除在外,由于这些是校验文件,修改后,再次往hive中导入文件的时候,会出现如下错误apache
Failed with exception Checksum error: file:/var/lib/hadoop-hdfs/000000_0 at 0 exp: 264275974 got: 1334332137 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.CopyTask
发现一个问题,一旦修改了hive改出文件的分割符再想将修改后的文件导入到hive中的时候,必定会报错,因此要想导入成功,最好方法就是不修改分析后的数据,直接导入到hive中。oop