spark数据框是不是像熊猫一样为每一行提供“行名”？

Posted 2023-04-15

【中文标题】spark数据框是不是像熊猫一样为每一行提供“行名”？

【英文标题】：Does spark dataframe have a "row name" for each row like pandas?spark数据框是否像熊猫一样为每一行提供“行名”？

【发布时间】：2015-07-27 14:30:57

【问题描述】：

我正在尝试使用 Spark DataFrames 对按行名索引的两个 DataFrames 进行操作。在 pandas 中，我们可以做

df.loc(['aIndex', 'anotherIndex'])

通过索引（或行名）在 df 中选择两行。如何在 Spark DataFrame 中实现这一点？谢谢。

【参考方案1】：

不，Spark 中没有行索引。 Spark Data Frames 更像是关系数据库中的表，所以如果你想访问特定的行，你必须过滤：

df = sqlContext.createDataFrame(
    [("Bob", 5), ("Alice", 6), ("Chuck", 4)], ("name", "age"))

df.where("name in ('Bob', 'Alice')")
df.where((df.name == "Bob") | (df.name == "Alice"))

【讨论】：

感谢 zero323。那我就去过滤吧。

当然。您最接近随机访问的是PairRDD 上的lookup（请参阅我的回答here），但这意味着失去Catalyst 优化器的所有好处