在Polars数据框中，如何根据行条件过滤列？

Question

我想根据列中的值对Polars数据框进行过滤（排除某些列），正确的做法应该是什么？举个例子：

polars_df.std()

这会输出：

col_1 (f64)    col_2 (f64)
-------------------------
20242.888632    0.0

现在，我希望从数据框中排除标准差为0的列。我尝试了以下方法：

polars_df = polars_df.select(pl.col(pl.Numeric).ne(0))

但这给了我这样的结果：

col_1 (bool)    col_2 (bool)
-------------------------
true            false

这确实标识出了哪些列需要保留或移除，但我的目标是得到一个只包含标准差大于0的列的新数据框。我在这个过程中遗漏了什么关键步骤呢？

assylias · Answer

为了得到一个只包含标准差大于0的列的数据框，你可以这样做：

df.select([col for col in df.columns if df[col].std() > 0])

这段代码遍历数据框的所有列，仅选择那些其标准差大于0的列。

Lukas Eder · Answer

如果你发现自己经常需要执行这类操作，可以构建一个函数，该函数接受一个DataFrame和某个表达式（该表达式应聚合并返回布尔类型，尽管没有执行检查来强制这一点）。

from numpy.random import default_rng
import polars as pl
from polars import selectors as cs

def column_filter(df, expr):
    tmp = df.select(expr)
    if isinstance(df, pl.LazyFrame):
        tmp = tmp.collect()
    status = tmp.rows()[0]
    return pl.col(col for col, st in zip(df.columns, status) if st)

rng = default_rng(0)
df = (
    pl.DataFrame(
        rng.normal([[0, 1, 2, 3]], [[0, 1, 0, 2]], size=(100, 4)),
        schema=[*'abcd']
    )
    .with_columns(e=rng.choice([*'WXYZ'], size=100))
)


print(
    df.select(
        column_filter(df, cs.numeric().std() > 0),
        pl.col('e'),
    ),
    sep='
',
)
# shape: (100, 3)
# ┌───────────┬──────────┬─────┐
# │ b         ┆ d        ┆ e   │
# │ ---       ┆ ---      ┆ --- │
# │ f64       ┆ f64      ┆ str │
# ╞═══════════╪══════════╪═════╡
# │ 0.867895  ┆ 3.2098   ┆ X   │
# │ 1.361595  ┆ 4.894162 ┆ W   │
# │ -0.265421 ┆ 3.082652 ┆ Z   │
# │ 0.781208  ┆ 1.535465 ┆ Y   │
# │ …         ┆ …        ┆ …   │
# │ 0.512782  ┆ 1.759142 ┆ W   │
# │ 1.367466  ┆ 2.039108 ┆ Z   │
# │ 0.418967  ┆ 3.178112 ┆ Z   │
# │ -0.095472 ┆ 3.887983 ┆ X   │
# └───────────┴──────────┴─────┘

这带来的好处是将过滤后的列作为表达式返回，从而使你可以根据需要对子集进行操作并重新组合数据。