在Python中合并DataFrame列

Question

我有一个特别的数据框叫做df，它看起来是这样的：

RepID  +Col01  +Col02  +Col03  -Col01  +Col04  +Col05  -Col03  -Col04  +Col06  -Col07
1      5       7       9       8       3       8       1       9       4       6
2      1       3       3       3       1       2       2       3       6       0
3      9       8       0       9       4       9       5       1       2       0
4      3       1       0       5       8       7       1       0       9       2
5      0       7       1       2       0       0       2       9       2       1

所有数据都是正数，但请注意列名，它们要么以"+"开头，要么以"-"开头。有些列只有"+"没有"-"（如+Col06），有些只有"-"没有"+"（如-Col07），还有一些列同时有"+"和"-"（如+Col01和-Col01）。

我希望将这个数据集规范化，方法是将"-"列的值从"+"列中减去，并将列名更改为我们没有"+"或"-"的新名称。最终得到的数据表应如下所示：

RepID  Col01  Col02  Col03  Col04  Col05  Col06  Col07
1      -3     7       8     -6     8      4      -6
2      -2     3       1     -2     2      6      -0
3      0      8       -5    3      9      2      0
4      -2     1       -1    8      7      9      -2
5      -2     7       -1    -9     0      2      -1

有没有办法可以实现这一转换呢？

Geo · Answer

代码

为了提取以""-""开头的列，将这些列的值乘以-1，然后按列轴进行分组。

cols = df.columns[df.columns.str.startswith('-')]
df[cols] = df[cols].mul(-1)
grp = df.columns.str.replace('[+-]', '', regex=True)
out = df.groupby(grp, axis=1, sort=False).sum()

输出结果

   RepID  Col01  Col02  Col03  Col04  Col05  Col06  Col07
0      1     -3      7      8     -6      8      4     -6
1      2     -2      3      1     -2      2      6      0
2      3      0      8     -5      3      9      2      0
3      4     -2      1     -1      8      7      9     -2
4      5     -2      7     -1     -9      0      2     -1

示例代码

import pandas as pd

data1 = {'RepID': [1, 2, 3, 4, 5], '+Col01': [5, 1, 9, 3, 0], '+Col02': [7, 3, 8, 1, 7],  
         '+Col03': [9, 3, 0, 0, 1], '-Col01': [8, 3, 9, 5, 2], '+Col04': [3, 1, 4, 8, 0],  
         '+Col05': [8, 2, 9, 7, 0], '-Col03': [1, 2, 5, 1, 2], '-Col04': [9, 3, 1, 0, 9],  
         '+Col06': [4, 6, 2, 9, 2], '-Col07': [6, 0, 0, 2, 1]}
df = pd.DataFrame(data1)

tony19 · Answer

另一个可能的解决方案是：

out = (
    df.apply(lambda s: -s if s.name.startswith('-') else s)
        .rename(lambda c: c.lstrip('+-'), axis=1)
        .T.groupby(level=0, sort=False).sum().T
)

输出结果为：

print(out)

   RepID  Col01  Col02  Col03  Col04  Col05  Col06  Col07
0      1     -3      7      8     -6      8      4     -6
1      2     -2      3      1     -2      2      6      0
2      3      0      8     -5      3      9      2      0
3      4     -2      1     -1      8      7      9     -2
4      5     -2      7     -1     -9      0      2     -1

[5 行 x 8 列]

Nick Johnson · Answer

无需使用 groupby，只需分别提取带有 + 和 - 的列，使用 fill_value=0 进行相减，然后使用 concat 函数将结果与 ID 列合并到一起：

out = pd.concat([df[['RepID']],
                 df.filter(regex='^\+')
                   .rename(columns=lambda x: x[1:])
                   .sub(df.filter(regex='^-')
                          .rename(columns=lambda x: x[1:]),
                        fill_value=0)
                 ], axis=1)

输出结果：

   RepID  Col01  Col02  Col03  Col04  Col05  Col06  Col07
0      1     -3    7.0      8     -6    8.0    4.0   -6.0
1      2     -2    3.0      1     -2    2.0    6.0    0.0
2      3      0    8.0     -5      3    9.0    2.0    0.0
3      4     -2    1.0     -1      8    7.0    9.0   -2.0
4      5     -2    7.0     -1     -9    0.0    2.0   -1.0

Adam Franco · Answer

这里提供了一种方法，通过使用 str.split() 并设置 expand=True 以创建一个多重索引来实现：

# 将 'RepID' 设为索引
df2 = df.set_index('RepID')
# 使用正则表达式拆分列名，基于 'Col' 前面的符号，扩展为多级列索引
df2 = df2.set_axis(df2.columns.str.split(r'(?=Col*)', expand=True), axis=1)
# 对于每个列名前缀，用 '+' 下的值减去 '-' 下的值，并用 0 填充缺失值，最后重置索引
result = df2['+'].sub(df2['-'], fill_value=0).reset_index()

输出结果为：

   RepID  Col01  Col02  Col03  Col04  Col05  Col06  Col07
0      1     -3    7.0      8     -6    8.0    4.0   -6.0
1      2     -2    3.0      1     -2    2.0    6.0    0.0
2      3      0    8.0     -5      3    9.0    2.0    0.0
3      4     -2    1.0     -1      8    7.0    9.0   -2.0
4      5     -2    7.0     -1     -9    0.0    2.0   -1.0