Spark CountVectorizer返回udt而不是向量[重复]
Posted
技术标签:
【中文标题】Spark CountVectorizer返回udt而不是向量[重复]【英文标题】:Spark CountVectorizer return udt instead of vector [duplicate] 【发布时间】:2018-05-28 13:43:36 【问题描述】:我尝试为 Spark 2.3.0 中的 LDA 分析创建一个令牌计数向量。我遵循了一些教程,每次他们使用 CountVectorizer 轻松地将字符串数组转换为向量。
我在我的 Databricks 笔记本上运行这个简短的示例:
import org.apache.spark.ml.feature.CountVectorizer
val testW = Seq(
(8, Array("Zara", "Nuha", "Ayan", "markle")),
(9, Array("fdas", "test", "Ayan", "markle")),
(10, Array("qwertzu", "test", "Ayan", "fdaf"))
).toDF("id", "filtered")
// Set params for CountVectorizer
val vectorizer = new CountVectorizer()
.setInputCol("filtered")
.setOutputCol("features")
.setVocabSize(5)
.setMinDF(2)
.fit(testW)
// Create vector of token counts
val articlesCountVector = vectorizer.transform(testW).select("id", "features")
display(articlesCountVector)
输出如下: output
但在我读过的所有教程中,“特征”的类型是矢量。 为什么在我的情况下是 udt ?
我是不是忘记了什么?为什么不是向量?
可以转换吗?因为我无法使用这种 udt 类型创建 LDA 模型。
【问题讨论】:
试试articlesCountVector.printSchema()
你应该会看到向量
【参考方案1】:
这里没有问题。你看到的是Databricks显示功能的实现细节。
在内部,o.a.s.ml.linalg.Vector
和 o.a.s.mllib.linalg.Vector
都没有在 Dataset
API 中原生表示,而是使用 UDT
s (UserDefinedTypes
)。因此输出。
您可以在Understanding Output of VectorAssembler --- Spark中找到所有字段的确切含义
【讨论】:
以上是关于Spark CountVectorizer返回udt而不是向量[重复]的主要内容,如果未能解决你的问题,请参考以下文章
Spark Java API 之 CountVectorizer