在数据挖掘过程中，经常会有不同表格的数据需要进行合并操作。今天介绍通过python下的pandas库下的merge方法和concat方法来实现数据集的合并。
1.merge
merge 函数通过一个或多个键来将数据集的行连接起来。该函数的主要 应用场景是针对同一个主键存在两张包含不同特征的表，通过该主键的连接，将两张表进行合并。合并之后，两张表的行数没有增加，列数是两张表的列数之和减一。
函数的具体参数为：
merge(left,right,how='inner',on=None,left_on=None,right_on=None,
left_index=False,right_index=False,sort=False,suffixes=('_x','_y'),copy=True)- 1
- 2
- on=None 指定连接的列名，若两列希望连接的列名不一样，可以通过left_on和right_on 来具体指定
- how=’inner’,参数指的是左右两个表主键那一列中存在不重合的行时，取结果的方式：inner表示交集，outer 表示并集，left 和right 表示取某一边。
举例如下
import pandas as pd
df1 = pd.DataFrame([[1,2,3],[5,6,7],[3,9,0],[8,0,3]],columns=['x1','x2','x3'])
df2 = pd.DataFrame([[1,2],[4,6],[3,9]],columns=['x1','x4'])
print df1
print df2
df3 = pd.merge(df1,df2,how = 'left',on='x1')
print df3- 1
- 2
- 3
- 4
- 5
- 6
- 7
在这里我分别设置了两个DataFrame类别的变量df1,df2,(平常我们用的表csv文件，读取之后也是DataFrame 格式)。然后我设置 on=’x1’,即以两个表中的x1为主键进行连接，设置how=’left’ ,即是以两个表中merge函数中左边那个表的行为准，保持左边表行数不变，拿右边的表与之合并。结果如下：
第一个结果为how=’left’的情况。第二个结果为how=’inner’的情况。
注意:在how=’left’设置后，左边行之所以能够保持不变，是因为右边的表主键列没有重复的值，x下面我会举个例子作为思考题： 
这是两张表，分别为df1,df2;
第一个问题：
在默认情况下即merge(df1,df2)其他参数为默认值的返回结果是 什么？
第二个问题：
在加上how=’left’之后的返回结果是什么？
看完了问题之后，返回去看这两张表，不着急看答案，仔细想想。
这两个问题明白之后，表之间的连接和映射应该都能够明白了。
2.concat
concat 与其说是连接，更准确的说是拼接。就是把两个表直接合在一起。于是有一个突出的问题，是横向拼接还是纵向拼接，所以concat 函数的关键参数是axis 。
函数的具体参数是：
concat(objs,axis=0,join='outer',join_axes=None,ignore_index=False,keys=None,levels=None,names=None,verigy_integrity=False)- 1
- objs 是需要拼接的对象集合，一般为列表或者字典
- axis=0 是行拼接，拼接之后行数增加，列数也根据join来定，join=’outer’时，列数是两表并集。同理join=’inner’,列数是两表交集。
在默认情况下，axis=0为纵向拼接，此时有
concat([df1,df2]) 等价于 df1.append(df2)- 1
在axis=1 时为横向拼接 ，此时有
concat([df1,df2],axis=1) 等价于 merge(df1,df2,left_index=True,right_index=True,how='outer')- 1
举个例子
import pandas as pd
df1 = pd.DataFrame({'key':['a','a','b','b'],'data1':range(4)})
print df1
df2 = pd.DataFrame({'key':['b','b','c','c'],'data2':range(4)})
print df2
print pd.concat([df1,df2],axis=1)
print pd.merge(df1,df2,left_index=True,right_index=True,how='outer')- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
在以上中，我整理了pandas在数据合并和重塑中常用到的concat方法的使用说明。在这里，将接着介绍pandas中也常常用到的join 和merge方法
merge
pandas的merge方法提供了一种类似于SQL的内存链接操作，官网文档提到它的性能会比其他开源语言的数据操作（例如R）要高效。
和SQL语句的对比可以看这里
merge的参数
on：列名，join用来对齐的那一列的名字，用到这个参数的时候一定要保证左表和右表用来对齐的那一列都有相同的列名。
left_on：左表对齐的列，可以是列名，也可以是和dataframe同样长度的arrays。
right_on：右表对齐的列，可以是列名，也可以是和dataframe同样长度的arrays。
left_index/ right_index: 如果是True的haunted以index作为对齐的key
how：数据融合的方法。
sort：根据dataframe合并的keys按字典顺序排序，默认是，如果置false可以提高表现。
merge的默认合并方法：
merge用于表内部基于 index-on-index 和 index-on-column(s) 的合并，但默认是基于index来合并。
- 1
- 2
- 3
1.1 复合key的合并方法
使用merge的时候可以选择多个key作为复合可以来对齐合并。
- 1
- 2
1.1.1 通过on指定数据合并对齐的列
In [41]: left = pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'],
....: 'key2': ['K0', 'K1', 'K0', 'K1'],
....: 'A': ['A0', 'A1', 'A2', 'A3'],
....: 'B': ['B0', 'B1', 'B2', 'B3']})
....:
In [42]: right = pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],
....: 'key2': ['K0', 'K0', 'K0', 'K0'],
....: 'C': ['C0', 'C1', 'C2', 'C3'],
....: 'D': ['D0', 'D1', 'D2', 'D3']})
....:
In [43]: result = pd.merge(left, right, on=['key1', 'key2'])- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
没有指定how的话默认使用inner方法。
how的方法有：
left
只保留左表的所有数据
In [44]: result = pd.merge(left, right, how='left', on=['key1', 'key2'])- 1
- 1
right
只保留右表的所有数据
In [45]: result = pd.merge(left, right, how='right', on=['key1', 'key2'])- 1
- 1
outer
保留两个表的所有信息
In [46]: result = pd.merge(left, right, how='outer', on=['key1', 'key2'])- 1
- 1
inner
只保留两个表中公共部分的信息
In [47]: result = pd.merge(left, right, how='inner', on=['key1', 'key2'])- 1
- 1
1.2 indicator
v0.17.0 版本的pandas开始还支持一个indicator的参数，如果置True的时候，输出结果会增加一列 ’ _merge’。_merge列可以取三个值
- left_only 只在左表中
- right_only 只在右表中
- both 两个表中都有
1.3 join方法
dataframe内置的join方法是一种快速合并的方法。它默认以index作为对齐的列。
1.3.1 how 参数
join中的how参数和merge中的how参数一样，用来指定表合并保留数据的规则。
具体可见前面的 how 说明。
1.3.2 on 参数
在实际应用中如果右表的索引值正是左表的某一列的值，这时可以通过将 右表的索引 和 左表的列 对齐合并这样灵活的方式进行合并。
ex 1
In [59]: left = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
....: 'B': ['B0', 'B1', 'B2', 'B3'],
....: 'key': ['K0', 'K1', 'K0', 'K1']})
....:
In [60]: right = pd.DataFrame({'C': ['C0', 'C1'],
....: 'D': ['D0', 'D1']},
....: index=['K0', 'K1'])
....:
In [61]: result = left.join(right, on='key')- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
1.3.3 suffix后缀参数
如果和表合并的过程中遇到有一列两个表都同名，但是值不同，合并的时候又都想保留下来，就可以用suffixes给每个表的重复列名增加后缀。
In [79]: result = pd.merge(left, right, on='k', suffixes=['_l', '_r'])
- 1
- 2
- 1
- 2
* 另外还有lsuffix 和 rsuffix分别指定左表的后缀和右表的后缀。
1.4 组合多个dataframe
一次组合多个dataframe的时候可以传入元素为dataframe的列表或者tuple。一次join多个，一次解决多次烦恼~
In [83]: right2 = pd.DataFrame({'v': [7, 8, 9]}, index=['K1', 'K1', 'K2'])
In [84]: result = left.join([right, right2])- 1
- 2
- 3
- 1
- 2
- 3
1.5 更新表的nan值
1.5.1 combine_first
如果一个表的nan值，在另一个表相同位置（相同索引和相同列）可以找到，则可以通过combine_first来更新数据
1.5.2 update
如果要用一张表中的数据来更新另一张表的数据则可以用update来实现
1.5.3 combine_first 和 update 的区别
使用combine_first会只更新左表的nan值。而update则会更新左表的所有能在右表中找到的值（两表位置相对应）。