如何使用 .str 和 .split 将 pandas 代码转换为 Pyspark

Posted 2023-04-17

【中文标题】如何使用 .str 和 .split 将 pandas 代码转换为 Pyspark

【英文标题】：How to convert pandas code using .str and .split to Pyspark

【发布时间】：2021-02-11 18:20:23

【问题描述】：

我使用 pandas 编写了以下代码：

df['last_two'] = df['text'].str[-2:]
df['before_hyphen'] = df['text'].str.split('-').str[0]
df['new_text'] = df['before_hyphen'].astype(str) + "-" + df['last_two'].astype(str)

但是当我在 spark 数据帧上运行它时，我收到以下错误：

TypeError: startPos and length must be the same type

我知道我可以将 df 转换为 pandas，运行代码，然后将其转换回 spark df，但我想知道是否有更好的方法？谢谢

【参考方案1】：

你可以试试下面的字符串函数：

import pyspark.sql.functions as F

df2 = df.withColumn(
    'last_two', F.expr('substring(text, -2)')
).withColumn(
    'before_hyphen', F.substring_index('text', '-', 1))
).withColumn(
    'new_text', F.concat_ws('-', 'before_hyphen', 'last_two')
)