Pandas 数据处理：使用正则表达式动态筛选列并基于条件创建新列

本教程详细讲解如何在pandas dataframe中根据复杂条件动态创建新列。核心方法是利用`df.filter()`结合正则表达式精确选择目标列，然后使用`.any(axis=1)`检查行内是否存在满足条件的非零值，最后通过`np.where()`将布尔结果映射为自定义的字符串（如'y'/'n'），从而高效、灵活地完成数据转换任务。

在数据分析和预处理过程中，我们经常需要基于DataFrame中现有列的特定条件来生成新的列。尤其当条件涉及多列，且这些列需要根据某种模式动态选择时，传统的逐一列指定方法会显得冗长且不易维护。本教程将介绍一种高效且灵活的方法，利用Pandas的filter功能结合正则表达式，实现根据指定列范围（并排除特定列）的条件判断来创建新列。

场景描述

假设我们有一个包含动物实验数据的DataFrame，其中记录了不同实验日期的事件计数（例如 events_d1, events_d2, events_d3, events_d4 等）。我们的目标是创建一个名为 "responder" 的新列，根据以下规则填充：如果某个动物在 events_d1 到 events_d3 这些列中（但不包括 events_d4）至少有一个事件计数大于0，则其 "responder" 值为 'y'，否则为 'n'。关键在于，我们希望能够通过模式匹配而不是手动列出所有相关列来完成筛选。

以下是示例数据：

import pandas as pd
import numpy as np

data = {
    'Animal_ID': ['a1', 'a2', 'a3', 'a4'],
    'weight': [50, 52, 75, 53],
    'Project': ['p1', 'p2', 'p1', 'p2'],
    'Exp_type': ['Acute', 'chronic', 'Acute', 'chronic'],
    'researcher': ['alex', 'mat', 'alex', 'mat'],
    'events_d1': [0, 0, 1, 0],
    'events_d2': [0, 1, np.nan, np.nan], # 示例中空值用NaN表示
    'events_d3': [0, 1, 2, np.nan],
    'events_d4': [4, 5, np.nan, 0]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

原始DataFrame:

  Animal_ID  weight Project Exp_type researcher  events_d1  events_d2  events_d3  events_d4
0        a1      50      p1    Acute       alex          0        0.0        0.0        4.0
1        a2      52      p2  chronic        mat          0        1.0        1.0        5.0
2        a3      75      p1    Acute       alex          1        NaN        2.0        NaN
3        a4      53      p2  chronic        mat          0        NaN        NaN        0.0

核心解决方案

解决这个问题的关键在于三个Pandas和NumPy的功能组合：

1. df.filter()：用于根据列名模式选择子集。
2. 正则表达式：在filter中使用regex参数，实现灵活的模式匹配，包括排除特定列。
3. .any(axis=1)：检查所选行中是否存在任何满足条件的非零值。
4. np.where()：根据布尔条件 Series 生成新的列值。

步骤一：动态筛选目标列

首先，我们需要选择所有形如 events_d 且其数字后缀不是 4 的列。这可以通过 df.filter() 方法结合正则表达式来实现。

• df.filter(regex="...")：regex 参数允许我们传入一个正则表达式来匹配列名。
• "events_d[^4]"：这个正则表达式的含义是：
  • events_d：匹配字面字符串 "events_d"。
  • [^4]：这是一个字符集，表示匹配除了数字 4 之外的任何单个字符。 结合起来，它会匹配 events_d1, events_d2, events_d3，但不会匹配 events_d4。

# 筛选出目标列
target_columns_df = df.filter(regex="events_d[^4]")
print("\n筛选出的目标列子集:")
print(target_columns_df)

筛选出的目标列子集:

   events_d1  events_d2  events_d3
0          0        0.0        0.0
1          0        1.0        1.0
2          1        NaN        2.0
3          0        NaN        NaN

步骤二：检查每行是否存在非零值

筛选出目标列后，我们需要检查每一行在这些列中是否存在至少一个大于0的事件。Pandas的 any() 方法非常适合此任务。

• target_columns_df.any(axis=1)：
  • any() 方法默认会将非零值视为 True，零值视为 False。
  • axis=1 表示沿着行的方向进行操作，即对每一行检查其所有列。
  • 对于包含 NaN 值的列，any() 默认会跳过 NaN（skipna=True），这意味着 NaN 不会被视为 True 或 False，只有当行中有实际的 True 或 False 值时才会被考虑。这在本例中是符合预期的行为。

# 检查每行是否存在非零值
# 结果是一个布尔Series
condition_met = target_columns_df.any(axis=1)
print("\n每行是否满足条件的布尔Series:")
print(condition_met)

每行是否满足条件的布尔Series:

0    False
1     True
2     True
3    False
dtype: bool

步骤三：创建新列并赋值

最后，我们使用 numpy.where() 函数根据上一步生成的布尔 Series 来创建 "responder" 列。

• np.where(condition, value_if_true, value_if_false)：
  • condition：布尔 Series condition_met。
  • value_if_true：当条件为 True 时赋的值，这里是 'y'。
  • value_if_false：当条件为 False 时赋的值，这里是 'n'。

# 使用np.where创建新列
df['responder'] = np.where(condition_met, 'y', 'n')
print("\n添加'responder'列后的DataFrame:")
print(df)

添加'responder'列后的DataFrame:

  Animal_ID  weight Project Exp_type researcher  events_d1  events_d2  events_d3  events_d4 responder
0        a1      50      p1    Acute       alex          0        0.0        0.0        4.0         n
1        a2      52      p2  chronic        mat          0        1.0        1.0        5.0         y
2        a3      75      p1    Acute       alex          1        NaN        2.0        NaN         y
3        a4      53      p2  chronic        mat          0        NaN        NaN        0.0         n

完整代码示例

将上述步骤整合，可以得到如下简洁的代码：

import pandas as pd
import numpy as np

# 原始数据
data = {
    'Animal_ID': ['a1', 'a2', 'a3', 'a4'],
    'weight': [50, 52, 75, 53],
    'Project': ['p1', 'p2', 'p1', 'p2'],
    'Exp_type': ['Acute', 'chronic', 'Acute', 'chronic'],
    'researcher': ['alex', 'mat', 'alex', 'mat'],
    'events_d1': [0, 0, 1, 0],
    'events_d2': [0, 1, np.nan, np.nan],
    'events_d3': [0, 1, 2, np.nan],
    'events_d4': [4, 5, np.nan, 0]
}
df = pd.DataFrame(data)

# 1. 使用正则表达式筛选目标列
# "events_d[^4]" 匹配 'events_d' 后跟非 '4' 的任意字符，即 events_d1, events_d2, events_d3
m = df.filter(regex="events_d[^4]").any(axis=1)

# 2. 根据布尔 Series 创建新列 'responder'
df['responder'] = np.where(m, 'y', 'n')

print("最终DataFrame:")
print(df)

注意事项与拓展

1. 正则表达式的灵活性：regex 参数是 filter 方法的强大之处。你可以根据需要调整正则表达式来匹配更复杂的列名模式，例如：
   • regex="^event_"：匹配所有以 "event_" 开头的列。
   • regex="^event_d[1-3]$"：精确匹配 event_d1, event_d2, event_d3。
   • regex="^(?!.*_d4$)event_d.*"：更复杂的负向先行断言，确保不包含 _d4。
2. 缺失值处理：any() 方法默认会忽略 NaN 值。如果你的业务逻辑要求 NaN 也参与条件判断（例如，将 NaN 视为不满足条件），你可能需要在 any() 之前使用 fillna() 方法将 NaN 替换为0或其他特定值。
3. 其他条件判断：除了 any()，你还可以使用 all(axis=1)（所有列都满足条件）、sum(axis=1)（计算满足条件的列数）、mean(axis=1) 等方法来构建更复杂的条件。
4. 性能考虑：对于非常大的DataFrame，这种基于Pandas内置函数和NumPy的操作通常比使用 apply() 结合 lambda 函数或循环要高效得多。

总结

通过本教程，我们学习了如何利用Pandas的filter()方法结合正则表达式动态选择列，并利用.any(axis=1)和np.where()高效地基于这些列的条件创建新的DataFrame列。这种方法不仅代码简洁，易于理解和维护，而且在处理具有相似命名模式的多个列时，展现出极高的灵活性和效率，是Pandas数据处理中一项非常实用的技巧。掌握这一技术将大大提升你在数据清洗和特征工程方面的能力。