使用 PySpark 读取 CSV 时是不是可以仅覆盖一种列类型？

Posted 2023-03-31

【中文标题】使用 PySpark 读取 CSV 时是不是可以仅覆盖一种列类型？

【英文标题】：Is it possible to override just one column type when using PySpark to read in a CSV?使用 PySpark 读取 CSV 时是否可以仅覆盖一种列类型？

【发布时间】：2021-08-27 03:37:14

【问题描述】：

我正在尝试使用 PySpark 读取包含许多列的 CSV 文件。 inferschema 选项非常适合推断大多数列的数据类型。如果我只想覆盖其中一种被错误推断的列类型，那么最好的方法是什么？

我有这段代码工作，但它使 PySpark 只导入架构中指定的一列，这不是我想要的。

schema = StructType() \ 
    .add("column_one_of_many", StringType(), True) 

spark.read.format('com.databricks.spark.csv') \ 
  .option('delimited',',') \ 
  .option('header','true') \ 
  .option('inferschema', 'true') \ 
  .schema(self.schema) \ 
  .load('dbfs:/FileStore/some.csv') 

我的要求有可能吗？

感谢您的时间和指导 :)

【参考方案1】：

更简单的方法是使用.withColumn 并将column_one_of_many 转换为字符串。

Example

from pyspark.sql.types import *

spark.read.format('com.databricks.spark.csv') \ 
  .option('delimited',',') \ 
  .option('header','true') \ 
  .option('inferschema', 'true') \ 
  .load('dbfs:/FileStore/some.csv')\
  .withColumn("column_one_of_many",col("column_one_of_many").cast("string"))

---

其他方法是定义架构中的所有列，然后排除 inferschema 只需使用 .schema 选项来读取 csv 文件。

【讨论】：

太完美了，谢谢！ .withColumn 正是我想要找到的。我不想在架构中定义所有内容。再次感谢?