PySpark Array<double> 不是 Array<double>

Posted 2023-04-15

【中文标题】PySpark Array<double> 不是 Array<double>

【英文标题】：PySpark Array<double> is not Array<double>

【发布时间】：2019-04-11 18:34:50

【问题描述】：

我正在运行一个非常简单的 Spark（Databricks 上的 2.4.0）ML 脚本：

from pyspark.ml.clustering import LDA

lda = LDA(k=10, maxIter=100).setFeaturesCol('features')
model = lda.fit(dataset)

但收到以下错误：

IllegalArgumentException: 'requirement failed: Column features must be of type equal to one of the following types: [struct<type:tinyint,size:int,indices:array<int>,values:array<double>>, array<double>, array<float>] but was actually of type array<double>.'

为什么我的array<double> 不是array<double>？

这是架构：

root
 |-- BagOfWords: struct (nullable = true)
 |    |-- indices: array (nullable = true)
 |    |    |-- element: long (containsNull = true)
 |    |-- size: long (nullable = true)
 |    |-- type: long (nullable = true)
 |    |-- values: array (nullable = true)
 |    |    |-- element: double (containsNull = true)
 |-- tokens: array (nullable = true)
 |    |-- element: string (containsNull = true)
 |-- features: array (nullable = true)
 |    |-- element: double (containsNull = true)

【问题讨论】：

可以把dataset.printSchema()的输出贴出来吗？

@cronoik 你去吧

这个 *** 答案为我解决了这个问题：***.com/questions/55162989/…

【参考方案1】：

您可能需要使用向量汇编器将其转换为向量形式 from pyspark.ml.feature import VectorAssembler