将Pandas数据帧转换为Spark数据帧错误

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了将Pandas数据帧转换为Spark数据帧错误相关的知识,希望对你有一定的参考价值。

我正在尝试将Pandas DF转换为Spark。 DF头:

10000001,1,0,1,12:35,OK,10002,1,0,9,f,NA,24,24,0,3,9,0,0,1,1,0,0,4,543
10000001,2,0,1,12:36,OK,10002,1,0,9,f,NA,24,24,0,3,9,2,1,1,3,1,3,2,611
10000002,1,0,4,12:19,PA,10003,1,1,7,f,NA,74,74,0,2,15,2,0,2,3,1,2,2,691

码:

dataset = pd.read_csv("data/AS/test_v2.csv")
sc = SparkContext(conf=conf)
sqlCtx = SQLContext(sc)
sdf = sqlCtx.createDataFrame(dataset)

我收到一个错误:

TypeError: Can not merge type <class 'pyspark.sql.types.StringType'> and <class 'pyspark.sql.types.DoubleType'>
答案

您需要确保您的pandas数据帧列适用于spark推断的类型。如果您的pandas数据框列出如下内容:

pd.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 5062 entries, 0 to 5061
Data columns (total 51 columns):
SomeCol                    5062 non-null object
Col2                       5062 non-null object

你得到的错误尝试:

df[['SomeCol', 'Col2']] = df[['SomeCol', 'Col2']].astype(str)

现在,确保.astype(str)实际上是您希望这些列的类型。基本上,当底层Java代码试图从python中的对象推断出类型时,它使用一些观察并猜测,如果该猜测不适用于它试图从pandas转换为列的所有列中的数据火花会失败。

另一答案

通过强制模式可以避免类型相关的错误,如下所示:

注意:创建了一个文本文件(test.csv),其中包含原始数据(如上所述)和插入的假设列名称(“col1”,“col2”,...,“col25”)。

import pyspark
from pyspark.sql import SparkSession
import pandas as pd

spark = SparkSession.builder.appName('pandasToSparkDF').getOrCreate()

pdDF = pd.read_csv("test.csv")

pandas数据帧的内容:

pdDF

col1    col2    col3    col4    col5    col6    col7    col8    col9    col10   ... col16   col17   col18   col19   col20   col21   col22   col23   col24   col25
0   10000001    1   0   1   12:35   OK  10002   1   0   9   ... 3   9   0   0   1   1   0   0   4   543
1   10000001    2   0   1   12:36   OK  10002   1   0   9   ... 3   9   2   1   1   3   1   3   2   611
2   10000002    1   0   4   12:19   PA  10003   1   1   7   ... 2   15  2   0   2   3   1   2   2   691

接下来,创建架构:

from pyspark.sql.types import *

mySchema = StructType([ StructField("Col1", LongType(), True)
                       ,StructField("Col2", IntegerType(), True)
                       ,StructField("Col3", IntegerType(), True)
                       ,StructField("Col4", IntegerType(), True)
                       ,StructField("Col5", StringType(), True)
                       ,StructField("Col6", StringType(), True)
                       ,StructField("Col7", IntegerType(), True)
                       ,StructField("Col8", IntegerType(), True)
                       ,StructField("Col9", IntegerType(), True)
                       ,StructField("Col10", IntegerType(), True)
                       ,StructField("Col11", StringType(), True)
                       ,StructField("Col12", StringType(), True)
                       ,StructField("Col13", IntegerType(), True)
                       ,StructField("Col14", IntegerType(), True)
                       ,StructField("Col15", IntegerType(), True)
                       ,StructField("Col16", IntegerType(), True)
                       ,StructField("Col17", IntegerType(), True)
                       ,StructField("Col18", IntegerType(), True)
                       ,StructField("Col19", IntegerType(), True)
                       ,StructField("Col20", IntegerType(), True)
                       ,StructField("Col21", IntegerType(), True)
                       ,StructField("Col22", IntegerType(), True)
                       ,StructField("Col23", IntegerType(), True)
                       ,StructField("Col24", IntegerType(), True)
                       ,StructField("Col25", IntegerType(), True)])

注意:True(暗示允许为空)

创建pyspark数据帧:

df = spark.createDataFrame(pdDF,schema=mySchema)

确认pandas数据框现在是一个pyspark数据框:

type(df)

输出:

pyspark.sql.dataframe.DataFrame
另一答案

我用你的数据尝试了这个,它正在工作:

%pyspark
import pandas as pd
from pyspark.sql import SQLContext
print sc
df = pd.read_csv("test.csv")
print type(df)
print df
sqlCtx = SQLContext(sc)
sqlCtx.createDataFrame(df).show()
另一答案

我收到一个类似的错误消息,在我的情况下,这是因为我的pandas数据帧包含NULL。我会建议在转换为spark之前尝试在pandas中处理它(这解决了我的问题)。

以上是关于将Pandas数据帧转换为Spark数据帧错误的主要内容,如果未能解决你的问题,请参考以下文章

将熊猫数据帧转换为火花数据帧时收到错误

当我们尝试将巨大的 Pandas 数据帧(40-50 百万行)转换为 Spark 2.0 数据帧时如何提高性能

将 Pandas 数据帧转换为 Spark 数据帧的 TypeError

将 spark 数据帧转换为 pandas 数据帧 - ImportError: Pandas >= 0.19.2 must be installed

如何将 Spark 数据帧转换为 Pandas 并返回 Kedro?

在 zeppelin 中将 pandas 数据帧转换为 spark 数据帧