awk实现Left、join查询、去除重复值以及局部变量讲解例子
最近看到论坛里面有几个不错的小例子，对于学习awk还是有帮助，在这儿详细的说一下
一、类似数据库中的leftjoin查询
[root@krlcgcms01mytest]#cata.txt //a.txt 111 aaa 222 bbb 333 cccc 444 ddd [root@krlcgcms01mytest]#catb.txt //b.txt 111 123 456 2 abc cbd 444 rts 786
要求输出结果是
111,aaa,123,456
444,ddd,rts,786
实现方法:
[root@krlcgcms01mytest]#awk'NR==FNR{a[$1]=$2;}NR!=FNR&&a[$1]{print$1","a[$1]","$2","$3}'a.txtb.txt
111,aaa,123,456
444,ddd,rts,786
解释：当NR和FNR相同时,这就说明在对第一个文件进行操作，a[$1]=$2表示，建立一个数组，以第一个字段为下标，第二个字段为值。当NR!=FNR时,说明在对第二个文件进行操作，注意：这个时候的$1和前面的$1不是同一个东西了，前面的$1表示的是a.txt的第一个字段，而后面的$1表示的是b.txt的第一个字段。a[$1]表示以b.txt中第一个字段的为下标的值，如果a[$1]有值的话，说明也存在于a.txt文件中，这样就把数据print出来就行了。
实现方法2:
[root@krlcgcms01mytest]#awk-vOFS=","'NR==FNR{a[$1]=$2;}NR!=FNR&&$1ina{print$1,a[$1],$2,$3}'a.txtb.txt
111,aaa,123,456
444,ddd,rts,786
解释：-vOFS=","这个是设置输出时的列分割符，$1ina这个是b.txt文件中的第一列的值是不是在数组a的key中，这个对做程序的来说很好理解，各种语言当中都有这样的用法，或者函数。例如，php中有in_array函数。比较一下，方法1和方法2中的print，方法1我加了双引号，方法2我却没有加，但是输出的效果却是一样的。
二、去除重复的值
[root@krlcgcms01mytest]#catrepea //文件repea ab cd ef bd ba fe 12 21
如果有a,b和b,a这样的情况，就删除b,a，当然数字也一样;
实现方法1：
awk'{for(i=1;i<=NF;i++)a[i]=$i;asort(a);for(i=1;i<=length(a);i++)printfa[i]"\t";printf"\n"}'repea|sort|uniq
1 2
a b
b d
c d
e f
解释：for(i=1;i<=NF;i++)a[i]=$i;将每一列中的二个字段放到数组中，asort(a)，这个数组进行排序，后面的代码是将数组数据输出来，通sort命令对输入的数据进行排序，相同数据会排在一起，通过uniq来进行去除相同的列。这种方法比较有通用性，不光适合二列，三列，四列都行。不过效率差了点。
实现方法2：
[root@krlcgcms01mytest]#awk'{a[$0]=$0;if(!($2OFS$1ina))printa[$0]}'repea
ab
cd
ef
bd
12
[root@krlcgcms01mytest]#awk'{a[$0];if(!($2OFS$1ina))print }'repea
ab
cd
ef
bd
12
解释：方法2的二种写法，出来的结果是一样的，a[$0];没有赋值也没有报错，为什么呢？awk在遇到这样没有定义的变量时，会给它一个初值。if(!($2OFS$1ina))表示返转字段不在数组a中，这里所说的在，表示key是不是存在，不是值。print不写默认是一行。
实现方法3：
[root@krlcgcms01mytest]#awk'!a[$1_$2]++&&!a[$2_$1]++'repea
ab
cd
ef
bd
12
[root@krlcgcms01mytest]#awk'{if(!a[$1_$2]++&&!a[$2_$1]++)print$0;}'repea
ab
cd
ef
bd
12
解释：!a[$1_$2]++&&!a[$2_$1]++等于if(!a[$1_$2]++&&!a[$2_$1]++),对于首次出现的记录，a[$2_$1]的值是未定义的，由于后面的++是数学计算，所以a[$2_$1]会被赋值成数字0，也是由于++操作符，会先取值，再计算，从左到右++运算符的优先级大于！运算符的，所以对于第一行记录实际上是if(!0)print$0 !是取反，0是假，!0就是真，那么就会执行后面的print$0对于后面出现的重复记录，a[$0]经过++的计算已经变为1、2、3。。。而!1 !2 !3...都为假，不会打印。
三、awk的局部变量
这个例子来说明一下，awk怪异的局部变量
[root@krlcgcms01mytest]#catsum 1 2 2 3 a b 3 2 4 1 3 r
把都是数字的行，最大的那个数字加起来，第一行是2，第二行是3，每四行是3，第五行是4，总和是12
functionmax(one,two){
if(one>two){
sum=sum+one;
}else{
sum =sum+two;
}
}
{if($1~"[0-9]"&&$2~"[0-9]")max($1,$2);} END{print"sum="sum}