如何快速将Linux 大文件处理小

1.背景 工做中使用MapReduce任务导出一批含有路径的文件，共计行数300W+，须要检测文件是否在对应的服务器中存在，而文件所在的服务器并不是hadoop集群的服务器，所以打算采用bash脚本进行。具体的方法以下(可直接看方法2,方法1效率较低)：

2. 采用的方法

a. 方法1

本来打算使用以下脚本，进行简单验证：

!/bin/bashcount=0cat oriTest.txt | while read datadocount=$(( $count+1 ))echo $countdir=echo "$data" | awk -F "\t" '{print $5}'if [ -e $dir ];thenecho "$data" >> exist.txtelseecho "$data" >> noexist.txtfidone

原始数据格式以下：

name mark id dir

运行时发现处理5000行须要将近四、5分钟的时间(机器为8核)，果断不行啊，随后打算采用多进程的方法来执行，见方法2

b. 方法2

主要是经过将大文件分为小文件，而后对小文件进行后台遍历读取，脚本以下：

!/bin/bashsource ~/.bashrc

判断路径是否存在

readdata(){cat $1 | while read datadodir=echo "$data" | awk -F "\t" '{print $5}'if [ -e $dir ];thenecho "$data" >> "exist_$1.txt"elseecho "$data" >> "noexist_$1.txt"fidone}

大文件切分为小文件，生成文件名为xaa,axb等(能够本身命名文件)

split -l 10000 oriTest.txt

declare -a files # 声明数组

files=($(ls x*)) # 分割后的小文件名保存数组

遍历，并后台执行

for i in ${files[@]};doecho $ireaddata $i &done

以上就是良许教程网为各位朋友分享的如何快速将Linux 大文件处理小。 以上就是良许教程网为各位朋友分享的Linux相关知识。