python数据表的合并(python pandas join() 、merge()和concat()的用法)

2023年3月8日 171次阅读 来源: t6

python数据表的合并(python pandas join() 、merge()和concat()的用法)

merage#

pandas提供了一个类似于关系数据库的连接(join)操作的方法<Strong>merage</Strong>,可以根据一个或多个键将不同DataFrame中的行连接起来，语法如下：

1 2 3 merge(left, right, how = 'inner' , on = None , left_on = None , right_on = None ,        left_index = False , right_index = False , sort = True ,        suffixes = ( '_x' ,  '_y' ), copy = True , indicator = False )

作为一个功能完善、强大的语言，python的pandas库中的merge()支持各种内外连接。

  • left与right：两个不同的DataFrame
  • how：指的是合并(连接)的方式有inner(内连接),left(左外连接),right(右外连接),outer(全外连接);默认为inner
  • on : 指的是用于连接的列索引名称。必须存在右右两个DataFrame对象中，如果没有指定且其他参数也未指定则以两个DataFrame的列名交集做为连接键
  • left_on：左则DataFrame中用作连接键的列名;这个参数中左右列名不相同，但代表的含义相同时非常有用。
  • right_on：右则DataFrame中用作 连接键的列名
  • left_index：使用左则DataFrame中的行索引做为连接键
  • right_index：使用右则DataFrame中的行索引做为连接键
  • sort：默认为True，将合并的数据进行排序。在大多数情况下设置为False可以提高性能
  • suffixes：字符串值组成的元组，用于指定当左右DataFrame存在相同列名时在列名后面附加的后缀名称，默认为(‘_x’,’_y’)
  • copy：默认为True,总是将数据复制到数据结构中；大多数情况下设置为False可以提高性能
  • indicator：在 0.17.0中还增加了一个显示合并数据中来源情况；如只来自己于左边(left_only)、两者(both)
sql中的
1 2 3 4 5 6 7 SELECT  * FROM df1 INNER JOIN df2    ON df1.key  =  df2.key; 或 SELECT  * FROM df1,df2 where df1.key = df2.key

 

pandas中用：

1 pd.merge(df1, df2, on = 'key' )

然后就是各种外连接了：

1 pd.merge(df1, df2,  on = 'key' , how= 'left' )

 

how变成left/right。全链接outer。

示例##

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 #coding=utf-8 from  pandas  import  Series,DataFrame,merge import  numpy as np data = DataFrame([{ "id" : 0 , "name" : 'lxh' , "age" : 20 , "cp" : 'lm' },{ "id" : 1 , "name" : 'xiao' , "age" : 40 , "cp" : 'ly' },{ "id" : 2 , "name" : 'hua' , "age" : 4 , "cp" : 'yry' },{ "id" : 3 , "name" : 'be' , "age" : 70 , "cp" : 'old' }]) data1 = DataFrame([{ "id" : 100 , "name" : 'lxh' , 'cs' : 10 },{ "id" : 101 , "name" : 'xiao' , 'cs' : 40 },{ "id" : 102 , "name" : 'hua2' , 'cs' : 50 }]) data2 = DataFrame([{ "id" : 0 , "name" : 'lxh' , 'cs' : 10 },{ "id" : 101 , "name" : 'xiao' , 'cs' : 40 },{ "id" : 102 , "name" : 'hua2' , 'cs' : 50 }])   print  "单个列名做为内链接的连接键\r\n" ,merge(data,data1,on = "name" ,suffixes = ( '_a' , '_b' )) print  "多列名做为内链接的连接键\r\n" ,merge(data,data2,on = ( "name" , "id" )) print  '不指定on则以两个DataFrame的列名交集做为连接键\r\n' ,merge(data,data2)  #这里使用了id与name   #使用右边的DataFrame的行索引做为连接键 ##设置行索引名称 indexed_data1 = data1.set_index( "name" ) print  "使用右边的DataFrame的行索引做为连接键\r\n" ,merge(data,indexed_data1,left_on = 'name' ,right_index = True )     print  '左外连接\r\n' ,merge(data,data1,on = "name" ,how = "left" ,suffixes = ( '_a' , '_b' )) print  '左外连接1\r\n' ,merge(data1,data,on = "name" ,how = "left" ) print  '右外连接\r\n' ,merge(data,data1,on = "name" ,how = "right" ) data3 = DataFrame([{ "mid" : 0 , "mname" : 'lxh' , 'cs' : 10 },{ "mid" : 101 , "mname" : 'xiao' , 'cs' : 40 },{ "mid" : 102 , "mname" : 'hua2' , 'cs' : 50 }])   #当左右两个DataFrame的列名不同，当又想做为连接键时可以使用left_on与right_on来指定连接键 print  "使用left_on与right_on来指定列名字不同的连接键\r\n" ,merge(data,data3,left_on = [ "name" , "id" ],right_on = [ "mname" , "mid" ])


输出为：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 单个列名做为内链接的连接键     age  cp  id_a  name  cs  id_b 0    20   lm      0    lxh   10    100 1    40   ly      1   xiao   40    101 多列名做为内链接的连接键     age  cp   id  name  cs 0    20   lm    0   lxh   10 不指定on则以两个DataFrame的列名交集做为连接键     age  cp   id  name  cs 0    20   lm    0   lxh   10 使用右边的DataFrame的行索引做为连接键     age  cp  id_x  name  cs  id_y 0    20   lm      0    lxh   10    100 1    40   ly      1   xiao   40    101 左外连接     age   cp  id_a  name  cs  id_b 0    20    lm      0    lxh   10    100 1    40    ly      1   xiao   40    101 2     4   yry      2    hua NaN   NaN 3    70   old      3     be NaN   NaN 左外连接 1     cs  id_x  name  age   cp  id_y 0   10    100    lxh    20    lm      0 1   40    101   xiao    40    ly      1 2   50    102   hua2  NaN  NaN   NaN 右外连接     age   cp  id_x  name  cs  id_y 0    20    lm      0    lxh   10    100 1    40    ly      1   xiao   40    101 2   NaN  NaN   NaN  hua2   50    102 使用left_on与right_on来指定列名字不同的连接键     age  cp   id  name  cs  mid mname 0    20   lm    0   lxh   10     0    lxh

 

join方法提供了一个简便的方法用于将两个DataFrame中的不同的列索引合并成为一个DataFrame。

其中参数的意义与merge方法基本相同,只是join方法默认为左外连接how=left。

示例：

 

1 2 3 4 5 6 7 8 9 10 #coding=utf-8 from  pandas  import  Series,DataFrame,merge   data = DataFrame([{ "id" : 0 , "name" : 'lxh' , "age" : 20 , "cp" : 'lm' },{ "id" : 1 , "name" : 'xiao' , "age" : 40 , "cp" : 'ly' },{ "id" : 2 , "name" : 'hua' , "age" : 4 , "cp" : 'yry' },{ "id" : 3 , "name" : 'be' , "age" : 70 , "cp" : 'old' }],index = [ 'a' , 'b' , 'c' , 'd' ]) data1 = DataFrame([{ "sex" : 0 },{ "sex" : 1 },{ "sex" : 2 }],index = [ 'a' , 'b' , 'e' ])   print  '使用默认的左连接\r\n' ,data.join(data1)   #这里可以看出自动屏蔽了data中没有的index=e 那一行的数据 print  '使用右连接\r\n' ,data.join(data1,how = "right" )  #这里出自动屏蔽了data1中没有index=c,d的那行数据；等价于data1.join(data) print  '使用内连接\r\n' ,data.join(data1,how = 'inner' ) print  '使用全外连接\r\n' ,data.join(data1,how = 'outer' )

结果为：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 使用默认的左连接     age   cp   id   name  sex a    20    lm    0    lxh     0 b    40    ly    1   xiao     1 c     4   yry    2    hua  NaN d    70   old    3     be  NaN 使用右连接     age   cp   id   name  sex a    20    lm    0    lxh     0 b    40    ly    1   xiao     1 e  NaN  NaN NaN   NaN     2 使用内连接     age  cp   id   name  sex a    20   lm    0    lxh     0 b    40   ly    1   xiao     1 使用全外连接     age   cp   id   name  sex a    20    lm    0    lxh     0 b    40    ly    1   xiao     1 c     4   yry    2    hua  NaN d    70   old    3     be  NaN e  NaN  NaN NaN   NaN     2

 

还有一种连接方式：concat

concat方法相当于数据库中的全连接(UNION ALL),可以指定按某个轴进行连接,也可以指定连接的方式join(outer,inner 只有这两种)。

与数据库不同的是concat不会去重，要达到去重的效果可以使用drop_duplicates方法

 

1 2 concat(objs, axis = 0 , join = 'outer' , join_axes = None , ignore_index = False ,             keys = None , levels = None , names = None , verify_integrity = False , copy = True ):

 

 示例：

1 2 3 4 5 6 7 8 #coding=utf-8 from  pandas  import  Series,DataFrame,concat   df1  =  DataFrame({ 'city' : [ 'Chicago' ,  'San Francisco' ,  'New York City' ],  'rank' :  range ( 1 ,  4 )}) df2  =  DataFrame({ 'city' : [ 'Chicago' ,  'Boston' ,  'Los Angeles' ],  'rank' : [ 1 ,  4 ,  5 ]}) print  '按轴进行内连接\r\n' ,concat([df1,df2],join = "inner" ,axis = 1 ) print  '进行外连接并指定keys(行索引)\r\n' ,concat([df1,df2],keys = [ 'a' , 'b' ])  #这里有重复的数据 print  '去重后\r\n' ,concat([df1,df2],ignore_index = True ).drop_duplicates()

 

 输出结果为：
 1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20 按轴进行内连接              city  rank         city  rank 0         Chicago      1       Chicago      1 1   San Francisco      2        Boston      4 2   New York City      3   Los Angeles      5 进行外连接并指定keys(行索引)                city  rank a  0         Chicago      1    1   San Francisco      2    2   New York City      3 b  0         Chicago      1    1          Boston      4    2     Los Angeles      5 去重后              city  rank 0         Chicago      1 1   San Francisco      2 2   New York City      3 4          Boston      4 5     Los Angeles      5
 
 
 
利用python做数据分析（四）-数据合并: https://blog.csdn.net/youngbit007/article/details/53053784
,
merage#
pandas提供了一个类似于关系数据库的连接(join)操作的方法<Strong>merage</Strong>,可以根据一个或多个键将不同DataFrame中的行连接起来，语法如下：
 1   2   3 merge(left, right, how = 'inner' , on = None , left_on = None , right_on = None ,        left_index = False , right_index = False , sort = True ,        suffixes = ( '_x' ,  '_y' ), copy = True , indicator = False )
作为一个功能完善、强大的语言，python的pandas库中的merge()支持各种内外连接。
  • left与right：两个不同的DataFrame
  • how：指的是合并(连接)的方式有inner(内连接),left(左外连接),right(右外连接),outer(全外连接);默认为inner
  • on : 指的是用于连接的列索引名称。必须存在右右两个DataFrame对象中，如果没有指定且其他参数也未指定则以两个DataFrame的列名交集做为连接键
  • left_on：左则DataFrame中用作连接键的列名;这个参数中左右列名不相同，但代表的含义相同时非常有用。
  • right_on：右则DataFrame中用作 连接键的列名
  • left_index：使用左则DataFrame中的行索引做为连接键
  • right_index：使用右则DataFrame中的行索引做为连接键
  • sort：默认为True，将合并的数据进行排序。在大多数情况下设置为False可以提高性能
  • suffixes：字符串值组成的元组，用于指定当左右DataFrame存在相同列名时在列名后面附加的后缀名称，默认为(‘_x’,’_y’)
  • copy：默认为True,总是将数据复制到数据结构中；大多数情况下设置为False可以提高性能
  • indicator：在 0.17.0中还增加了一个显示合并数据中来源情况；如只来自己于左边(left_only)、两者(both)
sql中的
 1   2   3   4   5   6   7 SELECT  * FROM df1 INNER JOIN df2    ON df1.key  =  df2.key; 或 SELECT  * FROM df1,df2 where df1.key = df2.key
 
pandas中用：
 1 pd.merge(df1, df2, on = 'key' )
然后就是各种外连接了：
 1 pd.merge(df1, df2,  on = 'key' , how= 'left' )
 
how变成left/right。全链接outer。
示例##
 1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24 #coding=utf-8 from  pandas  import  Series,DataFrame,merge import  numpy as np data = DataFrame([{ "id" : 0 , "name" : 'lxh' , "age" : 20 , "cp" : 'lm' },{ "id" : 1 , "name" : 'xiao' , "age" : 40 , "cp" : 'ly' },{ "id" : 2 , "name" : 'hua' , "age" : 4 , "cp" : 'yry' },{ "id" : 3 , "name" : 'be' , "age" : 70 , "cp" : 'old' }]) data1 = DataFrame([{ "id" : 100 , "name" : 'lxh' , 'cs' : 10 },{ "id" : 101 , "name" : 'xiao' , 'cs' : 40 },{ "id" : 102 , "name" : 'hua2' , 'cs' : 50 }]) data2 = DataFrame([{ "id" : 0 , "name" : 'lxh' , 'cs' : 10 },{ "id" : 101 , "name" : 'xiao' , 'cs' : 40 },{ "id" : 102 , "name" : 'hua2' , 'cs' : 50 }])   print  "单个列名做为内链接的连接键\r\n" ,merge(data,data1,on = "name" ,suffixes = ( '_a' , '_b' )) print  "多列名做为内链接的连接键\r\n" ,merge(data,data2,on = ( "name" , "id" )) print  '不指定on则以两个DataFrame的列名交集做为连接键\r\n' ,merge(data,data2)  #这里使用了id与name   #使用右边的DataFrame的行索引做为连接键 ##设置行索引名称 indexed_data1 = data1.set_index( "name" ) print  "使用右边的DataFrame的行索引做为连接键\r\n" ,merge(data,indexed_data1,left_on = 'name' ,right_index = True )       print  '左外连接\r\n' ,merge(data,data1,on = "name" ,how = "left" ,suffixes = ( '_a' , '_b' )) print  '左外连接1\r\n' ,merge(data1,data,on = "name" ,how = "left" ) print  '右外连接\r\n' ,merge(data,data1,on = "name" ,how = "right" ) data3 = DataFrame([{ "mid" : 0 , "mname" : 'lxh' , 'cs' : 10 },{ "mid" : 101 , "mname" : 'xiao' , 'cs' : 40 },{ "mid" : 102 , "mname" : 'hua2' , 'cs' : 50 }])   #当左右两个DataFrame的列名不同，当又想做为连接键时可以使用left_on与right_on来指定连接键 print  "使用left_on与right_on来指定列名字不同的连接键\r\n" ,merge(data,data3,left_on = [ "name" , "id" ],right_on = [ "mname" , "mid" ])

输出为：
 1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33 单个列名做为内链接的连接键     age  cp  id_a  name  cs  id_b 0    20   lm      0    lxh   10    100 1    40   ly      1   xiao   40    101 多列名做为内链接的连接键     age  cp   id  name  cs 0    20   lm    0   lxh   10 不指定on则以两个DataFrame的列名交集做为连接键     age  cp   id  name  cs 0    20   lm    0   lxh   10 使用右边的DataFrame的行索引做为连接键     age  cp  id_x  name  cs  id_y 0    20   lm      0    lxh   10    100 1    40   ly      1   xiao   40    101 左外连接     age   cp  id_a  name  cs  id_b 0    20    lm      0    lxh   10    100 1    40    ly      1   xiao   40    101 2     4   yry      2    hua NaN   NaN 3    70   old      3     be NaN   NaN 左外连接 1     cs  id_x  name  age   cp  id_y 0   10    100    lxh    20    lm      0 1   40    101   xiao    40    ly      1 2   50    102   hua2  NaN  NaN   NaN 右外连接     age   cp  id_x  name  cs  id_y 0    20    lm      0    lxh   10    100 1    40    ly      1   xiao   40    101 2   NaN  NaN   NaN  hua2   50    102 使用left_on与right_on来指定列名字不同的连接键     age  cp   id  name  cs  mid mname 0    20   lm    0   lxh   10     0    lxh
 
join方法提供了一个简便的方法用于将两个DataFrame中的不同的列索引合并成为一个DataFrame。
其中参数的意义与merge方法基本相同,只是join方法默认为左外连接how=left。
示例：
 
 1   2   3   4   5   6   7   8   9   10 #coding=utf-8 from  pandas  import  Series,DataFrame,merge   data = DataFrame([{ "id" : 0 , "name" : 'lxh' , "age" : 20 , "cp" : 'lm' },{ "id" : 1 , "name" : 'xiao' , "age" : 40 , "cp" : 'ly' },{ "id" : 2 , "name" : 'hua' , "age" : 4 , "cp" : 'yry' },{ "id" : 3 , "name" : 'be' , "age" : 70 , "cp" : 'old' }],index = [ 'a' , 'b' , 'c' , 'd' ]) data1 = DataFrame([{ "sex" : 0 },{ "sex" : 1 },{ "sex" : 2 }],index = [ 'a' , 'b' , 'e' ])   print  '使用默认的左连接\r\n' ,data.join(data1)   #这里可以看出自动屏蔽了data中没有的index=e 那一行的数据 print  '使用右连接\r\n' ,data.join(data1,how = "right" )  #这里出自动屏蔽了data1中没有index=c,d的那行数据；等价于data1.join(data) print  '使用内连接\r\n' ,data.join(data1,how = 'inner' ) print  '使用全外连接\r\n' ,data.join(data1,how = 'outer' )
结果为：
 1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22 使用默认的左连接     age   cp   id   name  sex a    20    lm    0    lxh     0 b    40    ly    1   xiao     1 c     4   yry    2    hua  NaN d    70   old    3     be  NaN 使用右连接     age   cp   id   name  sex a    20    lm    0    lxh     0 b    40    ly    1   xiao     1 e  NaN  NaN NaN   NaN     2 使用内连接     age  cp   id   name  sex a    20   lm    0    lxh     0 b    40   ly    1   xiao     1 使用全外连接     age   cp   id   name  sex a    20    lm    0    lxh     0 b    40    ly    1   xiao     1 c     4   yry    2    hua  NaN d    70   old    3     be  NaN e  NaN  NaN NaN   NaN     2
 
还有一种连接方式：concat
concat方法相当于数据库中的全连接(UNION ALL),可以指定按某个轴进行连接,也可以指定连接的方式join(outer,inner 只有这两种)。
与数据库不同的是concat不会去重，要达到去重的效果可以使用drop_duplicates方法
 
 1   2 concat(objs, axis = 0 , join = 'outer' , join_axes = None , ignore_index = False ,             keys = None , levels = None , names = None , verify_integrity = False , copy = True ):
 
 示例：
 1   2   3   4   5   6   7   8 #coding=utf-8 from  pandas  import  Series,DataFrame,concat   df1  =  DataFrame({ 'city' : [ 'Chicago' ,  'San Francisco' ,  'New York City' ],  'rank' :  range ( 1 ,  4 )}) df2  =  DataFrame({ 'city' : [ 'Chicago' ,  'Boston' ,  'Los Angeles' ],  'rank' : [ 1 ,  4 ,  5 ]}) print  '按轴进行内连接\r\n' ,concat([df1,df2],join = "inner" ,axis = 1 ) print  '进行外连接并指定keys(行索引)\r\n' ,concat([df1,df2],keys = [ 'a' , 'b' ])  #这里有重复的数据 print  '去重后\r\n' ,concat([df1,df2],ignore_index = True ).drop_duplicates()
 
 输出结果为：
 1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20 按轴进行内连接              city  rank         city  rank 0         Chicago      1       Chicago      1 1   San Francisco      2        Boston      4 2   New York City      3   Los Angeles      5 进行外连接并指定keys(行索引)                city  rank a  0         Chicago      1    1   San Francisco      2    2   New York City      3 b  0         Chicago      1    1          Boston      4    2     Los Angeles      5 去重后              city  rank 0         Chicago      1 1   San Francisco      2 2   New York City      3 4          Boston      4 5     Los Angeles      5
 
 
 
利用python做数据分析（四）-数据合并: https://blog.csdn.net/youngbit007/article/details/53053784
     原文作者：t6
     原文地址: https://www.cnblogs.com/timssd/p/8905285.html
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。 
  点赞