Linux运维实战|大文件切割

平常工做中须要对日志文件进行分析,当日志文件过大时,Linux中使用vim、cat、vim、grep、awk等这些工具对大文件日志进行分析将会成为梦魇,具体表如今:
vim

  • 执行速度缓慢,文件内容须要加载到内存中,涉及大量的磁盘读;centos

  • 耗费资源过多,一个4G空间的日志文件须要至少4G的内存,更大的呢?app

  • 内容难以复用,分析过滤文件时会用管道对输出文件进行处理,大文件下难以复用;框架

  • 文件传输困难,大文件须要传输给其余人进行分析,文件太大,全量传输带宽耗费大。ide

图片

1 查阅大文件之痛工具

大数据离线处理框架hadoop能够处理这些场景,然而hadoop也须要耗费较长的时间进行计算,并且还须要去编写MapReduce任务,诚然这种方法带来更大的难度和挑战。hadoop中是经过将大文件切割成多个小文件,经过多个mapreduce任务作并行处理,Linux提供了一个简单易用的split工具,能够实现将文件切割成多个小文件。oop

图片

split提供两种方式对文件进行切割:性能

  • 根据行数切割,经过-l参数指定须要切割的行数大数据

  • 根据大小切割,经过-b参数指定须要切割的大小spa


2.1 根据行数切割

以下以一个3.4G大小的日志文件作切割演示,每个文件按照50000行作切割,指定文件名为split-line,-d参数以数字的方式显示

 右边滑动查看完整命令

#源文件大小[root@VM_3_50_centos split]# ls -l 2020011702-www.happylauliu.cn.gz -h-rw-r--r-- 1 root root 3.4G 1月  17 09:42 2020011702-www.happylauliu.cn.gz
#按行切割[root@~]# split -l 50000 -d --verbose 2020011702-www.happylauliu.cn.gz split-line正在建立文件"split-line00"正在建立文件"split-line01"正在建立文件"split-line02"正在建立文件"split-line03"正在建立文件"split-line04"正在建立文件"split-line05"正在建立文件"split-line06"正在建立文件"split-line07"正在建立文件"split-line08"正在建立文件"split-line09"正在建立文件"split-line10"...正在建立文件"split-line9168"正在建立文件"split-line9169"正在建立文件"split-line9170"正在建立文件"split-line9171"
#查看切割文件行数确认[root@VM_3_50_centos split]# wc -l split-line0050000 split-line00[root@VM_3_50_centos split]# wc -l split-line0150000 split-line01[root@VM_3_50_centos split]# wc -l split-line917050000 split-line9170[root@VM_3_50_centos split]# wc -l split-line91711020 split-line9171
#查看文件大小[root@VM_3_50_centos split]# ls -lh split-line0[0-9]-rw-r--r-- 1 root root 14M 1月  17 16:54 split-line00-rw-r--r-- 1 root root 14M 1月  17 16:54 split-line01-rw-r--r-- 1 root root 14M 1月  17 16:54 split-line02-rw-r--r-- 1 root root 14M 1月  17 16:54 split-line03-rw-r--r-- 1 root root 14M 1月  17 16:54 split-line04-rw-r--r-- 1 root root 14M 1月  17 16:54 split-line05-rw-r--r-- 1 root root 14M 1月  17 16:54 split-line06-rw-r--r-- 1 root root 14M 1月  17 16:54 split-line07-rw-r--r-- 1 root root 14M 1月  17 16:54 split-line08-rw-r--r-- 1 root root 14M 1月  17 16:54 split-line09
指定行数后会自动作切割,即达到5000行以后自动切割,经过-d参数文件名会自动以数字的方式命名,切割后,每一个文件大小为14M,此时再对文件进行分析将会方便边界不少,同时文件数量也会不少,能够增长行数的方式进行切割,方便分析。


2.2 根据大小切割

除了按照行数切割以外,split还支持经过文件大小进行切割,经过指定-b参数指定文件大小进行切割,文件大小单位支持K, M, G, T, P, E, Z,以下以切割为500M演示文件切割过程

 右边滑动查看完整命令

[root@~]# split -b 500M -d --verbose 2020011702-www.happylauliu.cn.gz split-size正在建立文件"split-size00"正在建立文件"split-size01"正在建立文件"split-size02"正在建立文件"split-size03"正在建立文件"split-size04"正在建立文件"split-size05"正在建立文件"split-size06"
[root@VM_3_50_centos split]# ls -lh split-size0*-rw-r--r-- 1 root root 500M 1月  17 17:03 split-size00-rw-r--r-- 1 root root 500M 1月  17 17:03 split-size01-rw-r--r-- 1 root root 500M 1月  17 17:04 split-size02-rw-r--r-- 1 root root 500M 1月  17 17:04 split-size03-rw-r--r-- 1 root root 500M 1月  17 17:04 split-size04-rw-r--r-- 1 root root 500M 1月  17 17:04 split-size05-rw-r--r-- 1 root root 444M 1月  17 17:04 split-size06

2.3 多文件合并

split是用户将大文件切割为多个小文件,若是须要将多个小文件合并为一个文件怎么处理呢?可使用文件重定向方式实现,以下演示两个小文件合并为一个文件

 右边滑动查看完整命令

[root@VM_3_50_centos split]# cat split-size01 split-size02 >two-file-merge
[root@VM_3_50_centos split]# ls -lh two-file-merge-rw-r--r-- 1 root root 1000M 1月  17 17:20 two-file-merge

合并方式经过读取文件的方式+输出重定向,对于大文件同样会存在性能的问题,建议根据须要使用。

相关文章
相关标签/搜索