uniq

删除连续的重复行，但如果相同的行在输入中稍后出现则还是会显示出来。 因此常用的组合是sort | uniq，可以用sort -u更高效实现。shell中uniq与sort -u 两种去重的对别 -w　　-w 32只会比较前32个字符 -s　　-s 32会忽略前32个字符 -f　　-f N会忽略前N个字段，字段试用空格或tab分开 -d　　只列出唯一项 -u　　只会输出唯一行 -i　　不区分大小写的

>>阅读原文<<