numpy 引发错误：TypeError：无法推断类型的架构：<class 'numpy.float64'>
Posted
技术标签:
【中文标题】numpy 引发错误：TypeError：无法推断类型的架构：<class \'numpy.float64\'>【英文标题】：numpy to spark error: TypeError: Can not infer schema for type: <class 'numpy.float64'>numpy 引发错误：TypeError：无法推断类型的架构：<class 'numpy.float64'> 【发布时间】：2022-01-22 06:45:38 【问题描述】：在尝试将 numpy 数组转换为 Spark DataFrame 时，我收到 Can not infer schema for type: <class 'numpy.float64'> 错误。
numpy.int64 数组也会发生同样的事情。
例子：
df = spark.createDataFrame(numpy.arange(10.))
TypeError：无法推断类型的架构：
【问题讨论】：
【参考方案1】：快速转换为 pandas DataFrame 效果很好：
import pandas
import numpy
df = spark.createDataFrame(pandas.DataFrame(numpy.arange(10.)))
【讨论】：
【参考方案2】：或者不使用熊猫：
df = spark.createDataFrame([(float(i),) for i in numpy.arange(10.)])
【讨论】：
以上是关于numpy 引发错误：TypeError：无法推断类型的架构：<class 'numpy.float64'>的主要内容，如果未能解决你的问题，请参考以下文章
从 RDD 创建 df 时出现 pyspark 错误：TypeError：无法推断类型的架构：<type 'float'>
python numpy错误“TypeError：'numpy.float64'对象不能解释为整数”
TypeError：'numpy.ndarray'对象在我的代码中不可调用
Python：两个数据帧的外部连接或合并给出错误：TypeError：unhashable type：'numpy.ndarray'