【shell】数据文件分割

有时候咱们必须把数据文件分割为更小的文件，这样方便咱们邮件发送或者查看文件内容。split命令则能够用来分割文件。

1、根据大小来分割文件

---

1.通常分割

例如：如今有文件tmp.log,大小为：3680k,咱们以1000k为单位分割该文件，在split命令中，除了k(KB)，咱们还可使用M(MB)、G(GB)、c(byte)、w(word)

Linux:/qinys/data # split -b 1000k tmp.log

2.分割时指定后缀

在分割时，默认使用字母后缀，咱们能够给文件名指定数字后缀，使用-d选项，此外，-a length能够指定后缀长度：

Linux:/qinys/data # split -b 1000k tmp.log -d -a 2

3.分割时候指定前缀

咱们分割文件的时候为了区分那些是原始文件，哪些是分割后的文件，咱们使用前缀来区分,如下在分割后的文件名以前添加fg_

Linux:/qinys/data # split -b 1000k tmp.log -d -a 2 fg_

2、根据行数来分割

---

如今存在数据文件tmp.log,数据总记录数为：31346

如下是根据文件记录数来拆分文件，以10000条记录为单位进行拆分

Linux:/qinys/data # split -l 10000 tmp.log -d -a 2 row_

3、根据内容拆分

---

如今存在文件tmp1.log，文件内容以下所示：

咱们如今想把每一个ping的结果分别存储到各个文件，以便查看；

命令以下：

Linux:/qinys/data # csplit tmp1.log /ping/ -n 2 -s {*} -f ping -b "%02d.log"

执行结果以下：

命令解释：

• /ping/ 用来匹配特定的行，分割今后处开始；它从当前行(第一行)一直复制到(但不包括)包含ping的行
• {*} 表示匹配重复执行分割操做，直到文件末尾为止。可使用{整数}的形式来指定分割的次数
• -s 是命令进入静默模式，不打印其余信息
• -n 指定分割后的文件名的数字个数，例如：01,02,03等
• -f 指定分割后的文件名前缀
• -b 指定后缀格式，%02d.log表示长度为2位，不足的使用0代替。例如：01,02,03等；能够参照c语言printf参数格式

4、分割带有扩展名的文件

---

上述咱们已经将大文件分隔为多个文件存在，可是分割后的文件都没有扩展名，如下是按照在分隔文件后添加扩展名

如今存在数据文件CUST_INFO.dat（大小为：112M）

咱们使用以下命令进行分割

split -b 30m CUST_INFO.dat -d -a 2 file_&&ls|grep file_|xargs -n1 -i{} mv {} {}.txt

命令解释：

split -b 30m CUST_INFO.dat -d -a 2 file_&&ls 将文件以30M大小进行分割，而且前缀为file_;

xargs -n1 -i{} mv {} {}.txt 将生成的文件重命名为扩展名为txt的

分割后结果以下：