合并和更新数据框

Question

假设我有两个数据框，

import pandas as pd

df1 = pd.DataFrame({'key': ['a', 'A'], 'value': [1, 1]})
df2 = pd.DataFrame({'key': ['A', 'B'], 'value': [5, 6]})

这两个数据框列相同，但行不同。

df1 如下：

key   value
a     1
A     1

df2 如下：

key   value
A     5
B     6

我希望得到的结果数据框为：

df3：

key   value
a     1
A     5
B     6

这有点像字典的 dict.update() 方法。如果键已经存在，则更新其值；否则，添加一个新键和新值。但在数据框上应该如何实现呢？

而且我不希望处理那些后缀 'x' 和 'y' 的问题，因为在实际情况下，我有大约2个键列和10多个值列。

如果这个问题太简单，请原谅我。

Dan Herbert · Answer

你可以通过使用 merge 函数并设置 how 参数为 "outer" 来完成这个操作，这样可以在 key 列上执行外连接，结合两个数据框的数据。

import pandas as pd

df1 = pd.DataFrame({'key': ['a', 'A'], 'value': [1, 1]})
df2 = pd.DataFrame({'key': ['A', 'B'], 'value': [5, 6]})

df3 = pd.merge(df1, df2, on='key', how='outer')

接着，可以使用 fillna 方法用另一列中的非空值填充 NaN 值，并创建一个新的 value 列来存放更新后的值。

df3['value'] = df3['value_y'].fillna(df3['value_x'])
df3 = df3[['key', 'value']]

Ahmad Mageed · Answer

您可以使用 pandas 的 combine_first() 方法来实现这一需求。

此方法会用另一个数据框中相同位置的值来更新为空的元素。
它通过用另一个数据框中的非空值来填充一个数据框中的空值，从而组合两个数据框。结果数据框的行和列索引是两个数据框索引的并集。生成的数据框包含“第一个”数据框的值，并且在调用 first.combine_first(second) 时，如果 first.loc[index, col] 和 second.loc[index, col] 都不缺失，则会覆盖第二个数据框的值。

查阅 combine_first() 的官方文档以获取更多信息。

下面是实现该功能的代码示例：

import pandas as pd

df1 = pd.DataFrame({'key': ['a', 'A'], 'value': [1, 1]})
df2 = pd.DataFrame({'key': ['A', 'B'], 'value': [5, 6]})

# 将 'key' 列设为两个数据框的索引
df1.set_index('key', inplace=True)
df2.set_index('key', inplace=True)

# 合并两个数据框
df3 = df2.combine_first(df1).reset_index()

print(df3)

运行上述代码后，输出结果为：

  key  value
0   A      5
1   B      6
2   a      1