`

我使用过的Linux命令之join - 根据关键字合并数据文件

阅读更多

我使用过的Linux命令之join - 根据关键字合并数据文件

本文链接:http://codingstandards.iteye.com/blog/796299   (转载请注明出处)

 

用途说明

Linux下最常用的数据文件格式是文本格式的,多个字段之间通过分隔符来区分,分隔符比如冒号(:)、制表符、空格等。/etc/passwd和/etc/group就是用:来分隔的,用MySQL的into outfile指令导出的数据通常是以制表符分隔的。这种文本格式既方便人去阅读,也适合程序处理,通常某列类似于数据库中的关键字。join命令就是一个根据关键字合并数据文件的命令(join lines of two files on a common field),类似于数据库中两张表关联查询。

常用参数

join命令根据公共字段(关键字)来合并两个文件的数据行。因此最简单的使用方式就是指定两个数据文件名,这两个文件的第一列就是公共字段,字段之间以空白分隔。(For  each  pair  of  input lines with identical join fields, write a line to standard output.  The default join field is the first, delimited by whitespace.  When FILE1 or FILE2 (not both) is -, read standard input.)

内连接(inner join)                                      格式:join <FILE1> <FILE2>

左连接(left join, 左外连接, left outer join)     格式:join -a1 <FILE1> <FILE2>

右连接(right join, 右外连接,right outer join)  格式:join -a2 <FILE1> <FILE2>

全连接(full join, 全外连接, full outer join)      格式:join -a1 -a2 <FILE1> <FILE2>

 

指定分隔符:

-t <CHAR>

比如:-t ':' 使用冒号作为分隔符。默认的分隔符是空白。

 

指定输出字段:

-o <FILENO.FIELDNO> ...

其中FILENO=1表示第一个文件,FILENO=2表示第二个文件,FIELDNO表示字段序号,从1开始编号。默认会全部输出,但关键字列只输出一次。

比如:-o 1.1 1.2 2.2 表示输出第一个文件的第一个字段、第二个字段,第二个文件的第二个字段。

 

使用示例

示例一 内连接(忽略不匹配的行)

不指定任何参数的情况下使用join命令,就相当于数据库中的内连接,关键字不匹配的行不会输出。

[root@rhel55 linux]# cat month_cn.txt
1       一月
2       二月
3       三月
4       四月
5       五月
6       六月
7       七月
8       八月
9       九月
10      十月
11      十一月
12      十二月
13      十三月,故意的
[root@rhel55 linux]# cat month_en.txt
1       January
2       February
3       March
4       April
5       May
6       June
7       July
8       August
9       September
10      October
11              November
12      December
14      MonthUnknown

注:注意两个文件的内容,中文版的多了十三月,英文版的多了14月,这纯粹是为了方便演示。
[root@rhel55 linux]# join month_cn.txt month_en.txt 
1 一月 January
2 二月 February
3 三月 March
4 四月 April
5 五月 May
6 六月 June
7 七月 July
8 八月 August
9 九月 September
10 十月 October
11 十一月 November
12 十二月 December
[root@rhel55 linux]#

示例二 左连接(又称左外连接,显示左边所有记录)

显示左边文件中的所有记录,右边文件中没有匹配的显示空白。

[root@rhel55 linux]# join -a1 month_cn.txt month_en.txt  
1 一月 January
2 二月 February
3 三月 March
4 四月 April
5 五月 May
6 六月 June
7 七月 July
8 八月 August
9 九月 September
10 十月 October
11 十一月 November
12 十二月 December
13 十三月,故意的
[root@rhel55 linux]#

 

示例三 右连接(又称右外连接,显示右边所有记录)

显示右边文件中的所有记录,左边文件中没有匹配的显示空白。

[root@rhel55 linux]# join -a2 month_cn.txt month_en.txt 
1 一月 January
2 二月 February
3 三月 March
4 四月 April
5 五月 May
6 六月 June
7 七月 July
8 八月 August
9 九月 September
10 十月 October
11 十一月 November
12 十二月 December
14 MonthUnknown
[root@rhel55 linux]#

 

示例四 全连接(又称全外连接,显示左边和右边所有记录)

[root@rhel55 linux]# join -a1 -a2 month_cn.txt month_en.txt
1 一月 January
2 二月 February
3 三月 March
4 四月 April
5 五月 May
6 六月 June
7 七月 July
8 八月 August
9 九月 September
10 十月 October
11 十一月 November
12 十二月 December
13 十三月,故意的
14 MonthUnknown

[root@rhel55 linux]#

 

示例五 指定输出字段

比如参数 -o 1.1 表示只输出第一个文件的第一个字段。

[root@rhel55 linux]# join -o 1.1 month_cn.txt month_en.txt
1
2
3
4
5
6
7
8
9
10
11
12
[root@rhel55 linux]# join -o 1.1 2.2 month_cn.txt month_en.txt  
1 January
2 February
3 March
4 April
5 May
6 June
7 July
8 August
9 September
10 October
11 November
12 December
[root@rhel55 linux]# join -o 1.1 2.2 1.2 month_cn.txt month_en.txt
1 January 一月
2 February 二月
3 March 三月
4 April 四月
5 May 五月
6 June 六月
7 July 七月
8 August 八月
9 September 九月
10 October 十月
11 November 十一月
12 December 十二月
[root@rhel55 linux]# join -o 1.1 2.2 1.2 1.3 month_cn.txt month_en.txt   <== 字段1.3并不存在
1 January 一月
2 February 二月
3 March 三月
4 April 四月
5 May 五月
6 June 六月
7 July 七月
8 August 八月
9 September 九月
10 October 十月
11 November 十一月
12 December 十二月
[root@rhel55 linux]#

 

示例六 指定分隔符

[root@rhel55 linux]# join -t ':' /etc/passwd /etc/shadow
root:x:0:0:root:/root:/bin/bash:$1$K8WSIAfQ$9i1h6a4V1XeIn0lv.CT53/:14833:0:99999:7:::
bin:x:1:1:bin:/bin:/sbin/nologin:*:14833:0:99999:7:::
daemon:x:2:2:daemon:/sbin:/sbin/nologin:*:14833:0:99999:7:::
adm:x:3:4:adm:/var/adm:/sbin/nologin:*:14833:0:99999:7:::
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin:*:14833:0:99999:7:::
sync:x:5:0:sync:/sbin:/bin/sync:*:14833:0:99999:7:::
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown:*:14833:0:99999:7:::
halt:x:7:0:halt:/sbin:/sbin/halt:*:14833:0:99999:7:::
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin:*:14833:0:99999:7:::
news:x:9:13:news:/etc/news::*:14833:0:99999:7:::
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin:*:14833:0:99999:7:::
operator:x:11:0:operator:/root:/sbin/nologin:*:14833:0:99999:7:::
games:x:12:100:games:/usr/games:/sbin/nologin:*:14833:0:99999:7:::
gopher:x:13:30:gopher:/var/gopher:/sbin/nologin:*:14833:0:99999:7:::
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin:*:14833:0:99999:7:::
nobody:x:99:99:Nobody:/:/sbin/nologin:*:14833:0:99999:7:::
nscd:x:28:28:NSCD Daemon:/:/sbin/nologin:!!:14833:0:99999:7:::
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin:!!:14833:0:99999:7:::
rpc:x:32:32:Portmapper RPC user:/:/sbin/nologin:!!:14833:0:99999:7:::
mailnull:x:47:47::/var/spool/mqueue:/sbin/nologin:!!:14833:0:99999:7:::
smmsp:x:51:51::/var/spool/mqueue:/sbin/nologin:!!:14833:0:99999:7:::
pcap:x:77:77::/var/arpwatch:/sbin/nologin:!!:14833:0:99999:7:::
ntp:x:38:38::/etc/ntp:/sbin/nologin:!!:14833:0:99999:7:::
dbus:x:81:81:System message bus:/:/sbin/nologin:!!:14833:0:99999:7:::
avahi:x:70:70:Avahi daemon:/:/sbin/nologin:!!:14833:0:99999:7:::
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin:!!:14833:0:99999:7:::
rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin:!!:14833:0:99999:7:::
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin:!!:14833:0:99999:7:::
haldaemon:x:68:68:HAL daemon:/:/sbin/nologin:!!:14833:0:99999:7:::
avahi-autoipd:x:100:101:avahi-autoipd:/var/lib/avahi-autoipd:/sbin/nologin:!!:14833:0:99999:7:::
oprofile:x:16:16:Special user account to be used by OProfile:/home/oprofile:/sbin/nologin:!!:14833:0:99999:7:::
xfs:x:43:43:X Font Server:/etc/X11/fs:/sbin/nologin:!!:14833:0:99999:7:::
gdm:x:42:42::/var/gdm:/sbin/nologin:!!:14833:0:99999:7:::
sabayon:x:86:86:Sabayon user:/home/sabayon:/sbin/nologin:!!:14833:0:99999:7:::
oracle:x:500:500::/opt/oracle:/bin/bash:$1$v64Pa.m.$GZMrQiOWCdQPF8XKtWju30:14833:0:99999:7:::
mysql:x:101:104:MySQL server:/var/lib/mysql:/bin/bash:!!:14866::::::
[root@rhel55 linux]#

问题思考

1. 怎样使用join命令实现两个文件中关键字的交集、并集、差集?

2. 怎样使用join命令中指定关键字的列,而非默认的第一列?

相关资料

【1】甜菜与咸菜 缺哪补哪,用技术武装自信 linux 的join命令--总结

【2】动态网站制作指南 深入浅出SQL之左连接、右连接和全连接

 

返回 我使用过的Linux命令系列总目录

 

0
0
分享到:
评论

相关推荐

    parent-join-client-6.2.3-API文档-中文版.zip

    赠送jar包:parent-join-client-6.2.3.jar 赠送原API文档:parent-join-client-6.2.3-javadoc.jar 赠送源代码:parent-join-client-6.2.3-sources.jar 包含翻译后的API文档:parent-join-client-6.2.3-javadoc-...

    Linux使用join -a1来合并两个文件

    今天小编就为大家分享一篇关于Linux使用join -a1来合并两个文件,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧

    parent-join-client-6.2.3-API文档-中英对照版.zip

    赠送jar包:parent-join-client-6.2.3.jar; 赠送原API文档:parent-join-client-6.2.3-javadoc.jar; 赠送源代码:parent-join-client-6.2.3-sources.jar; 赠送Maven依赖信息文件:parent-join-client-6.2.3.pom;...

    robotframework实战三--自定义关键字.pdf

    robotframework实战三 实战三--⾃定义关键字 ⾃定义关键字 在rf的实战1中,我的登录获取验证码就使⽤了⾃定义关键字,具体怎么做的,如下 1.新建⽂件夹 新建⽂件夹 新建⼀个⽂件夹,我的MyLibrary,并且存放在site-...

    parent-join-client-5.5.1-API文档-中文版.zip

    赠送jar包:parent-join-client-5.5.1.jar; 赠送原API文档:parent-join-client-5.5.1-javadoc.jar; 赠送源代码:parent-join-client-5.5.1-sources.jar; 赠送Maven依赖信息文件:parent-join-client-5.5.1.pom;...

    parent-join-client-5.5.1-API文档-中英对照版.zip

    赠送jar包:parent-join-client-5.5.1.jar; 赠送原API文档:parent-join-client-5.5.1-javadoc.jar; 赠送源代码:parent-join-client-5.5.1-sources.jar; 赠送Maven依赖信息文件:parent-join-client-5.5.1.pom;...

    parent-join-client-6.3.0-API文档-中英对照版.zip

    赠送jar包:parent-join-client-6.3.0.jar; 赠送原API文档:parent-join-client-6.3.0-javadoc.jar; 赠送源代码:parent-join-client-6.3.0-sources.jar; 赠送Maven依赖信息文件:parent-join-client-6.3.0.pom;...

    eclipse-collections-forkjoin-7.1.2-API文档-中文版.zip

    赠送jar包:eclipse-collections-forkjoin-7.1.2.jar; 赠送原API文档:eclipse-collections-forkjoin-7.1.2-javadoc.jar; 赠送源代码:eclipse-collections-forkjoin-7.1.2-sources.jar; 赠送Maven依赖信息文件:...

    lucene-join-6.6.0-API文档-中文版.zip

    赠送jar包:lucene-join-6.6.0.jar; 赠送原API文档:lucene-join-6.6.0-javadoc.jar; 赠送源代码:lucene-join-6.6.0-sources.jar; 赠送Maven依赖信息文件:lucene-join-6.6.0.pom; 包含翻译后的API文档:lucene...

    lucene-join-7.2.1-API文档-中英对照版.zip

    赠送jar包:lucene-join-7.2.1.jar; 赠送原API文档:lucene-join-7.2.1-javadoc.jar; 赠送源代码:lucene-join-7.2.1-sources.jar; 赠送Maven依赖信息文件:lucene-join-7.2.1.pom; 包含翻译后的API文档:lucene...

    parent-join-client-6.8.3-API文档-中文版.zip

    赠送jar包:parent-join-client-6.8.3.jar; 赠送原API文档:parent-join-client-6.8.3-javadoc.jar; 赠送源代码:parent-join-client-6.8.3-sources.jar; 赠送Maven依赖信息文件:parent-join-client-6.8.3.pom;...

    parent-join-client-6.3.0-API文档-中文版.zip

    赠送jar包:parent-join-client-6.3.0.jar; 赠送原API文档:parent-join-client-6.3.0-javadoc.jar; 赠送源代码:parent-join-client-6.3.0-sources.jar; 赠送Maven依赖信息文件:parent-join-client-6.3.0.pom;...

    parent-join-client-6.8.3-API文档-中英对照版.zip

    赠送jar包:parent-join-client-6.8.3.jar; 赠送原API文档:parent-join-client-6.8.3-javadoc.jar; 赠送源代码:parent-join-client-6.8.3-sources.jar; 赠送Maven依赖信息文件:parent-join-client-6.8.3.pom;...

    lucene-join-7.7.0-API文档-中文版.zip

    赠送jar包:lucene-join-7.7.0.jar; 赠送原API文档:lucene-join-7.7.0-javadoc.jar; 赠送源代码:lucene-join-7.7.0-sources.jar; 赠送Maven依赖信息文件:lucene-join-7.7.0.pom; 包含翻译后的API文档:lucene...

    lucene-join-7.2.1-API文档-中文版.zip

    赠送jar包:lucene-join-7.2.1.jar; 赠送原API文档:lucene-join-7.2.1-javadoc.jar; 赠送源代码:lucene-join-7.2.1-sources.jar; 赠送Maven依赖信息文件:lucene-join-7.2.1.pom; 包含翻译后的API文档:lucene...

    lucene-join-7.3.1-API文档-中文版.zip

    赠送jar包:lucene-join-7.3.1.jar; 赠送原API文档:lucene-join-7.3.1-javadoc.jar; 赠送源代码:lucene-join-7.3.1-sources.jar; 赠送Maven依赖信息文件:lucene-join-7.3.1.pom; 包含翻译后的API文档:lucene...

    lucene-join-7.7.0-API文档-中英对照版.zip

    赠送jar包:lucene-join-7.7.0.jar; 赠送原API文档:lucene-join-7.7.0-javadoc.jar; 赠送源代码:lucene-join-7.7.0-sources.jar; 赠送Maven依赖信息文件:lucene-join-7.7.0.pom; 包含翻译后的API文档:lucene...

    lucene-join-7.3.1-API文档-中英对照版.zip

    赠送jar包:lucene-join-7.3.1.jar; 赠送原API文档:lucene-join-7.3.1-javadoc.jar; 赠送源代码:lucene-join-7.3.1-sources.jar; 赠送Maven依赖信息文件:lucene-join-7.3.1.pom; 包含翻译后的API文档:lucene...

    lucene-join-6.6.0-API文档-中英对照版.zip

    赠送jar包:lucene-join-6.6.0.jar; 赠送原API文档:lucene-join-6.6.0-javadoc.jar; 赠送源代码:lucene-join-6.6.0-sources.jar; 赠送Maven依赖信息文件:lucene-join-6.6.0.pom; 包含翻译后的API文档:lucene...

Global site tag (gtag.js) - Google Analytics