Linux 数据分析经常使用 shell命令

.文件合并

  目录下有成千上万的小文件，需合并成大文件，直接cat 返回参数列表过长

  ls |xargs -t -I{} cat {} >> merge.txt

2.从文本中截取行特定内容

以“，”分隔，第二个field的内容

3.统计文件中单词出现个数

4.文件求交

 

5.文件求并

6.文件求差集(A-B)

7.文件求对称差(A-B)u(B-A)