SHELL的命令之awk

网友投稿 1009 2022-05-30

awk命令功能是将一行分为数个“字段列”来处理,对表格化的文本处理能力超强。其语法及常用参数格式:

awk [-参数 变量] 'BEGIN{初始化} 条件类型1{动作1} 条件类型2{动作2}。。。。END{后处理}'

其中参数有:

-F re:允许awk更改其字段分隔符

-v var=$v 把v值赋值给var,如果有多个变量要赋值,那么就写多个-v,每个变量赋值对应一个-v

e.g. 要打印文件a的第num行到num+num1行之间的行,

awk -v num=$num -v num1=$num1 'NR==num,NR==num+num1{print}' a

-f progfile:允许awk调用并执行progfile程序文件,当然progfile必须是一个符合awk语法的程序文件。

其中变量有:

(1)awk内置变量:

ARGC         命令行参数的个数

ARGV         命令行参数数组

ARGIND     当前被处理文件的ARGV标志符

e.g 有两个文件a 和b,文件处理的顺序是先扫描完a文件,再扫描b文件:

awk '{if(ARGIND==1){print "处理a文件"} if(ARGIND==2){print "处理b文件"}}' a b

NR      已经读出的记录数

FNR    当前文件的记录数

e.g 有两个文件a 和b,文件处理的顺序是先扫描完a文件,再扫描b文件:

awk 'NR==FNR{print "处理文件a"} NR > FNR{print "处理文件b"}' a b

说明:输入文件a和b,由于先扫描a,所以扫描a的时候必然有NR==FNR,然后扫描b的时候,FNR从1开始计数,而NR则接着a的行数继续计数,所以NR > FNR

e.g 要显示文件的第10行至第15行

awk 'NR==10,NR==15{print}' a

FS    输入字段分隔符(缺省为:space:),相当于-F选项

awk -F ':' '{print}' a    和   awk 'BEGIN{FS=":"}{print}' a 是一样的

OFS     输出字段分隔符(缺省为:space:)

awk -F ':' 'BEGIN{OFS=";"}{print ,,}' b

如果cat b为

1:2:3

4:5:6

那么把OFS设置成";"后就会输出

1;2;3

4;5;6

(说明:awk把分割后的第1、2、3个字段用,,...表示,

(说明:awk把分割后的第1、2、3个字段用$1,$2,$3...表示,$0表示整个记录(一般就是一整行))

表示整个记录(一般就是一整行))

NF     当前记录中的字段个数

awk -F ':' '{print NF}' b的输出为

3

3

表明b的每一行用分隔符":"分割后都3个字段

可以用NF来控制输出符合要求的字段数的行,这样可以处理掉一些异常的行

awk -F ':' '{if (NF == 3)print}' b

RS     输入记录分隔符,缺省为"\n"

缺省情况下,awk把一行看作一个记录;如果设置了RS,那么awk按照RS来分割记录

例如,如果文件c为

hello world; I want to go swimming tomorrow;hiahia

运行 awk 'BEGIN{ RS = ";" } {print}' c 的结果为

hello world

I want to go swimming tomorrow

hiahia

合理的使用RS和FS可以使得awk处理更多模式的文档,例如可以一次处理多行,例如文档d为

1 2

3 4 5

6 7

8 9 10

11 12

hello

每个记录使用空行分割,每个字段使用换行符分割,这样的awk也很好写

awk 'BEGIN{ FS = "\n"; RS = ""} {print NF}' d 输出

2

3

1

ORS:输出记录分隔符,缺省为换行符,控制每个print语句后的输出符号

awk 'BEGIN{ FS = "\n"; RS = ""; ORS = ";"} {print NF}' d 输出

2;3;1

(2)awk读取shell中的变量

可以使用-v选项实现功能

$b=1

$cat f

apple

$awk -v var=$b '{print var, $var}' f

1 apple

shell调用awk实际上是fork一个子进程出来,而子进程是无法向父进程传递变量的,除非用重定向(包括管道)

a=$(awk '{print $b, '$b'}' f)

$echo $a

apple 1

其中,BEGIN和END中的语句分别在开始读取文件(in_file)之前和读取完文件之后发挥作用,可以理解为初始化和扫尾。

awk中使用重定向

awk的输出重定向类似于shell的重定向。重定向的目标文件名必须用双引号引用起来。

$awk ' >=70 {print , >"destfile" }' filename

SHELL的命令之awk

$awk ' >=70 {print , >>"destfile" }' filename

awk中使用管道

awk中的管道概念和shell的管道类似,都是使用"|"符号。如果在awk程序中打开了管道,必须先关闭该管道才能打开另一个管道。也就是说一次只能打开一个管道。shell命令必须被双引号引用起来。“如果打算再次在awk程序中使用某个文件或管道进行读写,则可能要先关闭程序,因为其中的管道会保持打开状态直至脚本运行结束。注意,管道一旦被打开,就会保持打开状态直至awk退出。因此END块中的语句也会收到管道的影响。(可以在END的第一行关闭管道)”

awk中使用管道有两种语法,分别是:

awk output | shell input

shell output | awk input

对于awk output | shell input来说,shell接收awk的输出,并进行处理。需要注意的是,awk的output是先缓存在pipe中,等输出完毕后再调用shell命令 处理,shell命令只处理一次,而且处理的时机是“awk程序结束时,或者管道关闭时(需要显式的关闭管道)”

$awk '/west/{count++} {printf "%s %s\t\t%-15s\n", $3,$4,$1 | "sort +1"} END{close "sort +1"; printf "The number of sales pers in the western"; printf "region is " count "." }' datafile (解释:/west/{count++}表示与“wes”t进行匹配,若匹配,则count自增)

printf函数用于将输出格式化并发送给管道。所有输出集齐后,被一同发送给sort命令。必须用与打开时完全相同的命令来关闭管道(sort +1),否则END块中的语句将与前面的输出一起被排序。此处的sort命令只执行一次。

在shell output | awk input中awk的input只能是getline函数。shell执行的结果缓存于pipe中,再传送给awk处理,如果有多行数据,awk的getline命令可能调用多次。

$awk 'BEGIN{ while(("ls" | getline d) > 0) print d}' f

输出满足某一条件的所有行的值

cat outest.txt | awk '$3<0.001 {print $1, $2 >>"test1.txt"}' >test2.txt

$n        $1 the first parameter,$2 the second...

$#        The number of command-line parameters.

$0        The name of current program.

$?        Last command or function's return value.

$$        The program's PID.

$!        Last program's PID.

$@        Save all the parameters.

实例1:文件a,统计文件a的第一列中是浮点数的行的浮点数的平均值。

$cat a

1.021 33

1#.ll   44

2.53 6

ss    7

awk 'BEGIN{total = 0;len = 0} {if($1~/^[0-9]+\.[0-9]*/){total += $1; len++}} END{print total/len}' a

说明:$1~/^[0-9]+\.[0-9]*/表示$1与“/ /”里面的正则表达式进行匹配,若匹配,则total加上$1,且len自增,即数目加1.“^[0-9]+\.[0-9]*”是个正则表达式,“^[0-9]”表示以数字开头,“\.”是转义的意思,表示“.”为小数点的意思。“[0-9]*”表示0个或多个数字。

实例2:将d文件性别合并到c文件

$ cat c

zhangsan 100

lisi 200

wangwu 300

$ cat d

zhangsan man

lisi woman

方法1:$ awk  'FNR==NR{a[FNR]=$0;next}{if($1 in a) print a[FNR],$2}' c d

实例3:找不同记录(同上,取反)

$ awk 'FNR==NR{a[$0];next}!($0 in a)' a b

$ awk 'FNR==NR{a[$0]=1;next}!a[$0]' a b

$ awk 'ARGIND==1{a[$0]=1}ARGIND==2&&a[$0]!=1' a b

$ awk 'FILENAME=="a"{a[$0]=1}FILENAME=="b"&&a[$0]!=1' a b

7

8

方法2:$ sort a b |uniq -d

方法3:$ grep -vf a b

实例4:合并两个文件

1)将d文件性别合并到c文件

方法1:$ awk  'FNR==NR{a[$1]=$0;next}{print a[$1],$2}' c d

zhangsan 100  man

lisi 200 woman

wangwu 300 man

方法2:$ awk  'FNR==NR{a[FNR]=$0}NR>FNR{print a[FNR],$2}' c d

说明:NR==FNR匹配第一个文件,NR>FNR匹配第二个文件,将$1为数组下标

方法3:$ awk 'ARGIND==1{a[FNR]=$0}ARGIND==2{print a[FNR],$2}' c d

2)将a.txt文件中服务名称合并到一个IP中

$ cat a.txt

192.168.2.100 : httpd

192.168.2.100 : tomcat

192.168.2.101 : httpd

192.168.2.101 : postfix

192.168.2.102 : mysqld

192.168.2.102 : httpd

$ awk -F: -vOFS=":" '{a[$1]=a[$1] $2}END{for(i in a)print i,a[i]}' a.txt

$ awk -F: -vOFS=":" '{a[$1]=$2 a[$1]}END{for(i in a)print i,a[i]}' a.txt

192.168.2.100 : httpd  tomcat

192.168.2.101 : httpd  postfix

192.168.2.102 : mysqld  httpd

说明:a[$1]=$2 第一列为下标,第二个列是元素,后面跟的a[$1]是通过第一列取a数组元素(服务名),结果是$1=$2 $2,并作为a数组元素。

3)将第一行附加给下面每行开头

$ cat a.txt

xiaoli

a 100

b 110

c 120

$ awk 'NF==1{a=$0;next}{print a,$0}' a.txt

$ awk 'NF==1{a=$0}NF!=1{print a,$0}' a.txt

xiaoli  a 100

xiaoli  b 110

xiaoli  c 120

实例5:倒叙列打印文本

$ cat a.txt

xiaoli   a 100

xiaoli   b 110

xiaoli   c 120

$ awk '{for(i=NF;i>=1;i--){printf "%s ",$i}print s}' a.txt

100 a xiaoli

110 b xiaoli

120 c xiaoli

$ awk '{for(i=NF;i>=1;i--)if(i==1)printf $i"\n";else printf $i" "}' a.txt

说明:利用NF降序输出,把最后一个域作为第一个输出,然后自减,print s或print ""打印一个换行符

实例6:从第二列打印到最后

方法1:$ awk '{for(i=2;i<=nf;i++)if(i==nf)printf $i"\n";else printf $i" "}' a.txt< p>

方法2:$ awk '{$1=""}{print $0}' a.txt

a 100

b 110

c 120

实例7:将c文件中第一列放到到d文件中的第三列

$ cat c

a

b

c

$ cat d

1 one

2 two

3 three

方法1:$ awk 'FNR==NR{a[NR]=$0;next}{$3=a[FNR]}1' c d

说明:以NR编号为下标,元素是每行,当处理d文件时第三列等于获取a数据FNR(重新计数1-3)编号作为下标。

方法2:$ awk '{getline f<"c";print $0,f}' d< p>

1 one a

2 two b

3 three c

1)替换第二列

$ awk '{getline f<"c";gsub($2,f,$2)}1' d< p>

1 a

2 b

3 c

2)替换第二列的two

$ awk '{getline f<"c";gsub("two",f,$2)}1' d< p>

1 one

2 b

3 three

实例8:数字求和

方法1:$ seq 1 100 |awk '{sum+=$0}END{print sum}'

方法2:$ awk 'BEGIN{sum=0;i=1;while(i<=100){sum+=i;i++}print sum}'< p>

方法3:$ awk 'BEGIN{for(i=1;i<=100;i++)sum+=i}end{print sum}' dev null< p>

方法4:$ seq -s + 1 100 |bc

实例9:每隔三行添加一个换行符或内容

方法1:$ awk '$0;NR%3==0{printf "\n"}' a

方法2:$ awk '{print NR%3?$0:$0"\n"}' a

方法3:$ sed '4~3s/^/\n/' a

实例10:字符串拆分

方法1:

$ echo "hello" |awk -F '' '{for(i=1;i<=nf;i++)print $i}'< p>

$ echo "hello" |awk -F '' '{i=1;while(i<=nf){print $i;i++}}'< p>

h

e

l

l

o

方法2:

$ echo "hello" |awk '{split($0,a,"''");for(i in a)print a[i]}'  #无序

l

o

h

e

l

实例11:统计字符串中每个字母出现的次数

$ echo a,b.c.a,b.a |tr "[,. ]" "\n" |awk -F '' '{for(i=1;i<=nf;i++)a[$i]++}end{for(i in a)print i,a[i]|"sort -k2 -rn"}'< p>

a 3

b 2

c 1

实例12:第一列排序

$ awk '{a[NR]=$1}END{s=asort(a,b);for(i=1;i<=s;i++){print i,b[i]}}' a.txt< p>

说明:以每行编号作为下标值为$1,并将a数组值放到数组b,a下标丢弃,并将asort默认返回值(原a数组长度)赋值给s,使用for循环小于s的行号,从1开始到数组长度打印排序好的数组。

实例13:删除重复行,顺序不变

$ awk '!a[$0]++' file

实例14:删除指定行

删除第一行:

$ awk 'NR==1{next}{print $0}' file #$0可省略

$ awk 'NR!=1{print}' file

$ sed '1d' file

$ sed -n '1!p' file

实例15:在指定行前后加一行

在第二行前一行加txt:

$ awk 'NR==2{sub('/.*/',"txt\n&")}{print}' a.txt

$ sed'2s/.*/txt\n&/' a.txt

在第二行后一行加txt:

$ awk 'NR==2{sub('/.*/',"&\ntxt")}{print}' a.txt

$ sed'2s/.*/&\ntxt/' a.txt

实例16:通过IP获取网卡名

$ ifconfig |awk -F'[: ]' '/^eth/{nic=$1}/192.168.18.15/{print nic}'

实例17:浮点数运算(数字46保留小数点)

$ awk 'BEGIN{print 46/100}'

$ awk 'BEGIN{printf "%.2f\n",46/100}'

$ echo 46|awk '{print $0/100}'

$ echo 'scale=2;46/100' |bc|sed 's/^/0/'

$ printf "%.2f\n" $(echo "scale=2;46/100" |bc)

结果:0.46

实例18:替换换行符为逗号

$ cat a.txt

1

2

3

替换后:1,2,3

方法1:

$ awk '{s=(s?s","$0:$0)}END{print s}' a.txt

说明:三目运算符(a?b:c),第一个s是变量,s?s","$0:$0,第一次处理1时,s变量没有赋值初值是0,0为假,结果打印1,第二次处理2时,s值是1,为真,结果1,2。以此类推,小括号可以不写。

方法2:

$ tr '\n' ',' < a.txt

实例19.统计第一列的数据分布

awk -F '\t' '{sum[$1]++}END{for(i in sum) print i "\t" sum[i]}' example.txt

补充::

可以将待筛选的用户id存入一个文件userid.txt。一行一个id。过滤data.txt,找到userid.txt中的用户id的数据来输出。

awk -F '\t' 'BEGIN{while(getline<"userid.txt") a[$1]=1;} {if(a[$2]==1) print $0;}' data.txt > new_data.txt

BEGIN语法是在逐行解析之前执行的一段代码。这里它会加载userid.txt将用户id存入关联数组a中:key是用户id,value是1。

后面的代码块开始逐行解析,用data.txt的第二列做key去关联数组a中查找。如果查找到value为1,就输出整行。

Shell

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:机器学习14-嵌入Embedding
下一篇:Python爬虫:头条小姐姐们都来给你拜年啦!
相关文章