火花 word2vec 窗口大小
Posted
技术标签:
【中文标题】火花 word2vec 窗口大小【英文标题】：spark word2vec window size 【发布时间】：2015-08-26 16:30:05 【问题描述】：是否可以更改pyspark.mllib.feature.Word2Vec 中使用的窗口大小，还是永久固定为 5？这似乎是一个相当重要的功能。
我在这里看不到选项： https://spark.apache.org/docs/1.4.1/api/scala/index.html#org.apache.spark.mllib.feature.Word2Vec
【问题讨论】：
【参考方案1】：没错，查看 Word2Vec 代码我们可以看到它是一个私有 val。如果您愿意，您可以覆盖 Word2Vec 以更改窗口大小。我创建了一个 JIRA (https://issues.apache.org/jira/browse/SPARK-10299) 来允许设置窗口大小，因为 1.5 已经处于 RC 阶段，这可能要到 1.6 时间才能进入。
【讨论】：
作为后续，我添加了一个windowSize 参数，您现在可以使用它来控制 1.6 + 中的窗口大小:)以上是关于火花 word2vec 窗口大小的主要内容，如果未能解决你的问题，请参考以下文章