linux数据处理命令的一些整理

1. 合并文件cat a.dat b.dat > c.dat

2. 文件截取数据并重定向  cut  -c  11-20 a.txt>>b.txt

3. 文件排序并去重  

   sort file |uniq

   注意：重复的多行记为一行，也就是说这些重复的行还在，只是所有省略为一行！
   sort file |uniq -u
   上面的命令能够把重复的行所有去掉，也就是文件中的非重复行！
   

4. 比较两个数据文件差别

       存在1.txt，不存在2.txt的内容
   

   　　comm -23 <(sort 1.txt) <(sort 2.txt)

   　　存在2.txt，不存在1.txt的内容

   　　comm -13 <(sort 1.txt) <(sort 2.txt)

   　　存在1.txt，也存在2.txt的内容

   　　comm -12 <(sort 1.txt) <(sort 2.txt)

   　　什么也不显示

   　　comm -123 <(sort 1.txt) <(sort 2.txt)