linux+文件排序去重,linux上文件内容去重的问题uniq/awk

小咪咪 2023-01-19 10:57 31阅读 0赞

1、uniq：只会对相邻的行进行判断是否重复，不能全文本进行搜索是否重复，所以往往跟sort结合使用。

例子1：

\[root@aaa01 ~\]\# cat a.txt

12

34

56

12

\[root@aaa01 ~\]\# cat a.txt|uniq >>au.txt

\[root@aaa01 ~\]\# cat au.txt

12

34

56

12

例子2：

\[root@aaa01 ~\]\# cat b.txt

10

46

32

10

\[root@aaa01 ~\]\# cat b.txt|sort |uniq >>bu.txt

\[root@aaa01 ~\]\# cat bu.txt

10

32

46

2、awk：可以全文本搜索去重然后进行显示

例子1：

如m.txt文本：

\[root@aaa01 ~\]\# cat m.txt

12

34

56

12

\[root@aaa01 ~\]\# awk '!x\[$0\]++' m.txt >ma1.txt

\[root@aaa01 ~\]\# cat ma1.txt

12

34

56

说明：获取第一行x\[12\]，因为这是第一行，数组m里从没见过12这个变量，那么自然他的值就是假(0)也就是说x\[12\]=0，这个时候！就有大作用了，他把x\[12\]假(0)变成了x\[12\]为真(!0)这个时候原本不改打印的第一行就变成了应该打印了，取逻辑反后对x\[12\]的值+1然后处理第二行

第二行x\[34\]这个情况跟刚才第一行的x\[12\]一样的情况，也应该打印他。

第三行x\[56\]和第一、二两行一样的处理逻辑。

到第四行的时候情况遍了，因为第一行已经出现过了x\[12\]并且已经++过了他的值已经是非0而不是前两行的0了，本应打印但这时候再由！取逻辑反就不必打印了

所以执行完就是这个结果。

例子2：

\[root@aaa01 ~\]\# awk 'x\[$0\]++' m.txt >ma2.txt

\[root@aaa01 ~\]\# cat ma2.txt

12

例子3：

\[root@aaa01 ~\]\# vi n.txt

78

12

01

01

78

\[root@aaa01 ~\]\# awk 'x\[$0\]++' n.txt >na.txt

\[root@aaa01 ~\]\# cat na.txt

01

78

发表评论取消回复

表情：

评论列表（有 0 条评论，31人围观）

还没有评论，来说两句吧...

相关阅读

相关 JAVA字符串排序去重

场景问题：在DB中我们可能会对数据的ID进行拼接，有时会存在部分ID相同的情况。此时需要对查询出来的这个拼接数据（type：String）进行去重。 > 实现：此处采...

左手的ㄟ右手/ 2024年04月17日 06:05/ 0 赞/ 158 阅读

相关 linux文件合并、去重、拆分

一、两个文件的交集、并集（前提条件：每个文件中不得有重复行） 1. 取出两个文件的并集（重复的行只保留一份） cat file1 file2 | sort | uniq >

悠悠/ 2023年10月18日 14:55/ 0 赞/ 230 阅读

相关 Oracle 去重后排序

　　因项目需求，需要将查询结果，去重后，在按照主键(自增列)排序，百度一番，记录下来 ![1504448-20190731161631187-1813889080.png

我会带着你远行/ 2023年06月02日 10:55/ 0 赞/ 119 阅读

相关去重问题

去重问题 <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <t

分手后的思念是犯贱/ 2023年02月24日 03:57/ 0 赞/ 56 阅读

相关 linux+文件排序去重,linux上文件内容去重的问题uniq/awk

1、uniq：只会对相邻的行进行判断是否重复，不能全文本进行搜索是否重复，所以往往跟sort结合使用。例子1： \[root@aaa01 ~\]\ cat a.txt

小咪咪/ 2023年01月19日 10:57/ 0 赞/ 32 阅读

相关 sql排序后去重

场景有一张得分表(score)，记录了用户每次的得分，同一个人可能有多个得分。 <table> <thead> <tr> <th>id</th>

逃离我推掉我的手/ 2022年10月09日 12:18/ 0 赞/ 274 阅读

相关数组去重，json数组去重

1.借助json对象对数组进行去重，并计算重复的次数 Array.prototype.unique = function (){ var key =

浅浅的花香味﹌/ 2022年06月13日 03:40/ 0 赞/ 508 阅读

相关冒泡排序，数组去重

好久没写博客了，![大哭][wail.gif]今天终于抽出时间来更新了![大笑][laugh.gif]，那就讲一下JS中的排序和去重吧。冒泡排序，数组去重

朴灿烈づ我的快乐病毒、/ 2022年06月01日 06:59/ 0 赞/ 295 阅读

相关 linux下文件去重

(1)两个文件的交集，并集 1. 取出两个文件的并集(重复的行只保留一份) cat file1 file2 | sort | uniq > file3 2. 取出两

矫情吗；*/ 2022年04月23日 18:24/ 0 赞/ 253 阅读

相关 set 排序和去重

import java.util.Iterator; import java.util.Scanner; import java.util.Set; import

た入场券/ 2022年04月05日 15:15/ 0 赞/ 364 阅读