TypeError：first（）缺少1个必需的位置参数：Pyspark中DecisionTree.trainClassifier中的'offset'

Posted 2023-03-12

【中文标题】TypeError：first（）缺少1个必需的位置参数：Pyspark中DecisionTree.trainClassifier中的\'offset\'

【英文标题】：TypeError: first() missing 1 required positional argument: 'offset' in DecisionTree.trainClassifier in PysparkTypeError：first（）缺少1个必需的位置参数：Pyspark中DecisionTree.trainClassifier中的'offset'

【发布时间】：2019-08-24 02:03:19

【问题描述】：

我在 Azure databricks 上的 pyspark 中编写了简单的代码（点击此链接 decision tree in pyspark-)

%python
x='x'
z='y'
data = pd.DataFrame('a':[1,2,3,41,2,6,2,3,56,1,2,5,1,2,45,1,3,2], 'b':[x,z,x,x,z,x,z,x,x,x,z,z,x,z,z,x,x,x])

# Train a DecisionTree model.
model = DecisionTree.trainClassifier(data, numClasses=2, categoricalFeaturesInfo=,impurity='gini', maxDepth=5, maxBins=32)

我将参数保留为默认值。运行时出现错误-

TypeError: first() 缺少 1 个必需的位置参数：'offset'

我不确定这个错误指的是哪个参数，以及我需要在分类器中的哪里指定我的因变量？

【参考方案1】：

trainClassifier 将第一个参数作为 RDD。在这里，您提供的数据是 pandas 数据框。您看到错误是因为，first() 是一种可以应用于 spark 对象的方法。

根据documentation， 训练数据：LabeledPoint 的 RDD。 标签应采用值 0, 1, ..., numClasses-1。

因此，将data 转换为 RDD，应该可以正常工作。