有文本1.txt，内容如下：

{“phone”:”18633333333″,”code”:”333333″}

{“phone”:”18611111111″,”code”:”111111″}

{“phone”:”18655555555″,”code”:”555555″}

{“phone”:”18644444444″,”code”:”444444″}

{“phone”:”18622222222″,”code”:”222222″}

有文本2.txt，内容如下：

18600000000

18633333333

18699999999

18611111111

18655555555

需求

找出1.txt中的phone字段是否在2.txt中，若存在，则输出完整的json串。

解决

方法一

遍历2.txt，逐行去1.txt中grep，输出到3.txt。

cat 2.txt | while read line

do

grep $line 1.txt >> 3.txt

done

3.txt中内容：

{“phone”:”18633333333″,”code”:”333333″}

{“phone”:”18611111111″,”code”:”111111″}

{“phone”:”18655555555″,”code”:”555555″}

方法二(推荐)

由于博主之前清洗数据时两个文件都200多兆，使用while read line循环读取非常耗时。

使用awk合并两个文件

以:作为分隔符

逐行扫描，当ARGIND是文件1取分隔后的第四个元素作为key，整个一行原始字符串作为value，加入到awk数组(也可理解为map集合)

逐行扫描，当ARGIND是文件2时判断第一个元素是否存在数组中(awk判断的是key是否存在)

awk -F'”‘ ‘{if(ARGIND==1)phones[$4]=$0}{if(ARGIND>1 && ($1 in phones))print phones[$1]}’ 1.txt 2.txt

输出：

{“phone”:”18633333333″,”code”:”333333″}

{“phone”:”18611111111″,”code”:”111111″}

{“phone”:”18655555555″,”code”:”555555″}

特别注意

需关注两个文件的文件格式，必须一致，否则会出现问题。

建议都转为unix编码格式。