时间:2021-05-24
文本处理时,经常要删除重复行,下面是三种方法
第一,用sort+uniq,注意,单纯uniq是不行的。
第二,用sort+awk命令,注意,单纯awk同样不行,原因同上。
sort -n $file | awk '{if($0!=line)print; line=$0}'
第三,用sort+sed命令,同样需要sort命令先排序。
sort -n $file | sed '$!N; /^.∗\n\1$/!P; D'
Shell脚本
测试文件:
yanggang@barry$ cat test.txt
aaa
bbbbb
ccccc
123
aaaaa
123
bbb
aaa
执行结果:
yanggang@barry$ ./diffRow.sh
aaa
aaaaa
bbb
bbbbb
ccccc
123
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
复制代码代码如下:--合并重复行select*fromAunionselect*fromB--不合并重复行select*fromAunionallselect*
一、去掉相邻重复的数据行复制代码代码如下:$catdata1.txt|uniq输出:beijingwuhanbeijingwuhan二、去掉所有重复的数据行复制
大家在使用Excel表格总汇大批量数据时,难免会发现一些重复行和重复数据,这时我们就应该将那些重复的数据删除,以免会影响我们的工作,在Excel中删除重复数
本文实例讲述了php删除文本文件中重复行的方法。分享给大家供大家参考。具体分析如下:这个php函数用来删除文件中的重复行,还可以指定是否忽略大小写,和指定换行符
最近写的一个数据采集程序生成了一个含有1千多万行数据的文件,数据由4个字段组成,按照要求需要删除第二个字段重复的行,找来找去linux下也没找到合适的工具,se