linux命令之sed, awk, grep, cut篇

清疚 2022-07-14 00:15 311阅读 0赞

**linux命令之sed, awk, grep, cut篇**

用下来感觉这4个命令比较常用，功能也比较强大，等我有时间了要好好整理一下。

首先介绍一下cut，之前有文章已经讲过它的用法了，这次连带cut的死对头paste，一起拎出来讲讲。

***第一篇 cut***

常用参数：

> \-c 根据字符，用法：cut -cnum1-num2 filename 截取num1～num2之间的字符，字符从1开始记。  
> \-f 根据域，默认为tab分隔  
> \-d 定义域分隔符

范例：

shell> cat example
    test2
    this is test1
    shell> cut -c1-6 example ## print 开头算起前 6 个字元
    test2
    this i

\-c m-n 表示显示每一行的第m个字元到第n个字元。例如：

---------file-----------
    liubi 23 14000
    ---------file-----------
    
    # cut -c 1-5,10-14 file
    liubi 14000```

\-f m-n 表示显示第m栏到第n栏(使用tab分隔)。例如：

---------file-----------
    liubi 23 14000
    ---------file-----------
    # cut -f 1,3 file
    liubi 14000

\-c 和 －f 参数可以跟以下子参数：

> m 第m个字符或字段 m- 从第m个字符或字段到文件结束 m-n 从第m个到第n个字符或字段  
> \-n 从第1个到第n个字符或字段

我们经常会遇到需要取出分字段的文件的某些特定字段，例如 /etc/password就是通过”:”分隔各个字段的。可以通过cut命令来实现。例如，我们希望将系统账号名保存到

特定的文件，就可以：

cut -d: -f 1 /etc/passwd > /tmp/users

\-d用来定义分隔符，默认为tab键，-f表示需要取得哪个字段  
如：  
使用|分隔

cut -d'|' -f2 1.test>2.test

使用:分隔

cut -d':' -f2 1.test>2.test

这里使用单引号或双引号皆可。

对于特殊字符用\\来转义（以“-”为分隔符切割后，要第一个字段）：  
BGIOSGA005099-TA  
BGIOSGA005310-TA  
cut -d- -f 1 file >out  
或者：cut “-” -f 1 file >out

cut的死对头：paste

> `paste file1 file2 >file3`
> 
> 把文件1与文件2按列合并（有没有发现跟cut正好相反呢？） *l**e**s**s*111*a**b**c**d**d**d**e**e**e* less 222 123  
> 444 555

$ paste 111 222 >333
    $ less 333
    abc ddd eee     123 444 555
    用-d参数可以自定义分隔符
    $ paste -d: 111 222 >444
    $ less 444
    abc ddd eee:123 444 555

paste命令还有一个很有用的选项”-“。意即对每一个”-“，从标准输入中读一次数据。-d参数来定义分隔符。以一个3列格式显示目录列表。方法如下：

$ ls |paste -d: - - -     #注意，"-"和"-"之间有空格
    block_info_down_1000:block_info_down_3000:sv_test
    block_info_up1000:block_info_up3000:module_indel_sv
    module_test:old:regulation_region_down.pl
    sample.Q20.down1000:sample.Q20.down3000:sample.Q20.up1000
    sample.Q20.up3000:sample_to_9311.snp.Q20.filter.sort:sample_to_test

第二篇 awk

awk 用法：awk ' pattern {action} '

a w k语言的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息

变量名 含义
    ARGC 命令行变元个数
    ARGV 命令行变元数组
    FILENAME 当前输入文件名
    FNR 当前文件中的记录号
    FS 输入域分隔符，默认为一个空格
    RS 输入记录分隔符
    NF 当前记录里域个数
    NR 到目前为止记录数
    OFS 输出域分隔符
    ORS 输出记录分隔符

用法介绍：  
1,模式匹配

awk '/zqy/' fileA #寻找出fileA中含有zqy的行 等同于awk '$0~/zqy/' fileA
    awk '$1~/88/' fileA #找出第一个域里面包含88的行
    awk '$1~/88/{print $2}' fileA #找出第一个域里面包含88的行后，只打印该行的第二个域

2,对不同的域进行操作

awk '$2 >25 && $2<=55' fileA #找出第二个域里面满足条件的行，可以加上{print $n}来打印任意域
    ############### fileB #################
    884     46      1       8       5       944
    734     41      0       10      2       787
    647     29      1       8       1       686
    536     26      1       9       0       572
    ############### fileB #################
    $ less fileB
    884     46      1       8       5       944
    734     41      0       10      2       787
    647     29      1       8       1       686
    536     26      1       9       0       572

awk '\{print NR,NF,$NF\}' fileB \# NR:文件当前记录号(在这里可以理解为行数); NF:总的域的个数(可以理解为列数);NF:想一想是什么东西吧？再不知道就撞墙去吧。  
1 6 944  
2 6 787  
3 6 686  
4 6 572

3,通过-F参数来改变域分隔符，FS设置输入分隔符,OFS设置输出分隔符，awk所有操作都支持管道。如：

df | awk '$4>1000000 '          通过管道符获得输入，如：显示第4个域满足条件的行。
    awk -F "|" '{print $1}' file 按照新的分隔符“|”进行操作。
    awk 'BEGIN { FS="[: \t|]"}{print $1,$2,$3}' file 通过设置输入分隔符（FS="[: \t|]"）修改输入分隔符。BEGIN 表示在处理任意行之前进行的操作。
    awk 'BEGIN { OFS="%"} {print $1,$2,$3}' file 通过设置输出分隔符（OFS="%"）修改输出格式。
    Sep="|"
    awk -F $Sep '{print $1}' file 按照环境变量Sep的值做为分隔符。   
    awk -F '[ :\t|]' '{print $1}' file 按照正则表达式的值做为分隔符，这里代表空格、:、TAB、|同时做为分隔符。
    awk -F '[][]' '{print $1}' file 按照正则表达式的值做为分隔符，这里代表[、]

4、  
awk -f awkfile file 通过文件awkfile的内容依次进行控制。

> cat awkfile /101/\{print “\\047 Hello! \\047”\} –遇到匹配行以后打印 ’ Hello!  
> ‘.\\047代表单引号。 \{print 1,2\} –因为没有模式控制，打印每一行的前两个域。

5、

awk 'BEGIN { max=100 ;print "max=" max} {max=($1 >max ?$1:max); print $1,"Now max is "max}' file 取得文件第一个域的最大值。
    awk '{print ($1>4 ? "high "$1: "low "$1)}' file

6、

> awk ‘\{ 1 == 'Chi' \{ 3 = ‘China’; print\}’ file  
> 找到匹配行后先将第3个域替换后再显示该行（记录）。 awk ‘\{ 77\}’ file  
> 将第7域被3除，并将余数赋给第7域再打印。

7、

> awk ‘/tom/ \{wage=2\+3; printf wage\}’ file 找到匹配行后为变量wage赋值并打印该变量。

8、

awk '/tom/ {
       count++;} END {print "tom was found "count" times"}' file #END表示在所有输入行处理完后进行处理。

9、awk ‘gsub(/$/,”“);gsub(/,/,”“); cost+=4;*E**N**D**p**r**i**n**t*"*T**h**e**t**o**t**a**l**i**s*$"*c**o**s**t*>"*f**i**l**e**n**a**m**e*"′*f**i**l**e**g**s**u**b*函数用空串替换和,再将结果输出到filename中。  
1 2 3 1,200.001232,300.00  
1 2 3 $4,000.00

awk '{gsub(/\$/,"");gsub(/,/,"");
     if ($4>1000&&$4<2000) c1+=$4;
     else if ($4>2000&&$4<3000) c2+=$4;
     else if ($4>3000&&$4<4000) c3+=$4;
     else c4+=$4; }
     END {printf   "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file
     通过if和else if完成条件语句
    
     awk '{gsub(/\$/,"");gsub(/,/,"");
     if ($4>3000&&$4<4000) exit;
     else c4+=$4; }
     END {printf   "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file
     通过exit在某条件时退出，但是仍执行END操作。
     awk '{gsub(/\$/,"");gsub(/,/,"");
     if ($4>3000) next;
     else c4+=$4; }
     END {printf   "c4=[%d]\n",c4}"' file
     通过next在某条件时跳过该行，对下一行执行操作。

10、awk ‘\{ print FILENAME,$0 \}’ file1 file2 file3>fileall 把file1、file2、file3的文件内容全部写到fileall中，并前置文件名。

11、awk ’ 1!=previous \{ close(previous); previous=1 \} \{print substr(0,*i**n**d**e**x*(0," ") +1)>$1\}’ fileall 把合并后的文件重新分拆为3个文件。并与原文件一致。

12、awk ‘BEGIN \{“date”|getline d; print d\}’ 通过管道把date的执行结果送给getline，并赋给变量d，然后打印。

13、awk ‘BEGIN \{system(“echo \\”Input your name:\\c\\”“); getline d;print “\\nYour name is”,d,”\\b!\\n”\}’  
通过getline命令交互输入name，并显示出来。  
awk ‘BEGIN \{FS=”:”; while(getline< “/etc/passwd” >0) \{ if(1 "050\[0−9\]′′)*p**r**i**n**t*1\}\}’  
打印/etc/passwd文件中用户名包含050x\_的用户名。

14、awk ‘\{ i=1;while(i

sed '1 r sedex.txt' quote.txt

替换字符系列

如果变量x含有下列字符串：

x=”Department+payroll%Building G”

要实现以下转换：

*  to ‘of’

% to located

语句： echo $x | sed ‘s/”+/ of /g’ | sed ‘s/”%/ located /g’