Linux系统操作中，文本的内容难免会出现重复行，如果手动删除的话，量多的时候又比较麻烦，那么有什么方法能够快速删除重复行呢？下面小编就给大家介绍下Linux中如何使用uniq命令删除重复行 。
一，uniq干什么用的
文本中的重复行，基本上不是我们所要的，所以就要去除掉 。linux下有其他命令可以去除重复行，但是我觉得uniq还是比较方便的一个 。使用uniq的时候要注意以下二点
1，对文本操作时，它一般会和sort命令进行组合使用，因为uniq 不会检查重复的行，除非它们是相邻的行 。如果您想先对输入排序，使用sort -u 。
2，对文本操作时，若域中为先空字符（通常包括空格以及制表符），然后非空字符，域中字符前的空字符将被跳过
二，uniq参数说明
代码如下：
［zhangy@BlackGhost ~］$ uniq --help
用法：uniq ［选项］ 。。。［文件］
从输入文件或者标准输入中筛选相邻的匹配行并写入到输出文件或标准输出 。《/p》 《p》不附加任何选项时匹配行将在首次出现处被合并 。《/p》 《p》长选项必须使用的参数对于短选项时也是必需使用的 。
-c， --count //在每行前加上表示相应行目出现次数的前缀编号
-d， --repeated //只输出重复的行
-D， --all-repeated //只输出重复的行，不过有几行输出几行
-f， --skip-fields=N //-f 忽略的段数，-f 1 忽略第一段
-i， --ignore-case //不区分大小写
-s， --skip-chars=N //根-f有点像，不过-s是忽略，后面多少个字符 -s 5就忽略后面5个字符
-u， --unique //去除重复的后，全部显示出来，根mysql的distinct功能上有点像
-z， --zero-terminated end lines with 0 byte， not newline
-w， --check-chars=N //对每行第N 个字符以后的内容不作对照
--help //显示此帮助信息并退出
--version //显示版本信息并退出
其中-z不知道有什么用
三，测试文本文件uniqtest
代码如下：
this is a test
this is a test
this is a test
i am tank
i love tank
i love tank
this is a test
whom have a try
【Linux系统中如何使用uniq命令删除文本重复行】 WhoM have a try
you have a try
i want to abroad
those are good men
we are good men
四，实例详解
代码如下：
［zhangy@BlackGhost mytest］$ uniq -c uniqtest
3 this is a test
1 i am tank
2 i love tank
1 this is a test //和第一行是重复的
1 whom have a try
1 WhoM have a try
1 you have a try
1 i want to abroad
1 those are good men
1 we are good men
从上例子中我们可以看出，uniq的一个特性，检查重复行的时候，只会检查相邻的行 。重复数据，肯定有很多不是相邻在一起的 。
代码如下：
［zhangy@BlackGhost mytest］$ sort uniqtest |uniq -c
1 WhoM have a try
1 i am tank
2 i love tank
1 i want to abroad
4 this is a test
1 those are good men
1 we are good men
1 whom have a try
1 you have a try
这样就可以解决上个例子中提到的问题
代码如下：
［zhangy@BlackGhost mytest］$ uniq -d -c uniqtest
3 this is a test
2 i love tank
uniq -d 只显示重复的行
代码如下：
［zhangy@BlackGhost mytest］$ uniq -D uniqtest
this is a test
this is a test
this is a test
i love tank
i love tank
uniq -D 只显示重复的行，并且把重复几行都显示出来 。他不能和-c一起使用
代码如下：
［zhangy@BlackGhost mytest］$ uniq -f 1 -c uniqtest
推荐阅读
- Linux crontab出现BAD FILE MODE错误该怎么办？
- 如何给Linux系统配置XFS文件系统
- Linux下使用xfs时提示没有磁盘空间的情况该如何处理
- Linux中如何使用和管理交换空间
- Linux下su命令的实例讲解
- 如何在Linux系统中查看和关闭SELinux
- Linux信号机制的简单介绍
- 世嘉公开Super Game计划详情 多款游戏制作中
- qq解除关系方法
- 新微信注册提示系统升级