Linux 查询文件内容重复数 uniq

报告或删除文件中重复的行。

语法

uniq [ -c | -d | -u ] [ -f Fields ] [ -s Characters ] [ -Fields ] [ +Characters ] [ InFile [ OutFile ] ]

 

　  -c 在输出行前面加上每行在输入文件中出现的次数。

　　-d 仅显示重复行。

　　-f  忽略由 Fields 变量指定的字段数目。若是 Fields 变量的值超过输入行中的字段数目, uniq 命令用空字符串进行比较。这个标志和 -Fields 标志是等价的。

　　-u 仅显示不重复的行。

例子：查询一个文件重复最多的前10条记录：

   uniq -c file | sort -n -r |head -10

 

查询2个文件重复的数据

  cat file1 file2 |sort|uniq -d