如何在 pyspark 中使用 MultiClassMetrics 计算 f 分数？

Posted 2023-04-15

【中文标题】如何在 pyspark 中使用 MultiClassMetrics 计算 f 分数？

【英文标题】：How to calculate the f-score using MultiClassMetrics in pyspark?

【发布时间】：2017-01-17 21:31:55

【问题描述】：

正如我在 pyspark 文档中看到的，fmeasure() 函数接受两个参数，它们是 label 和 beta：

fMeasure(label=None, beta=None)

这里的测试版是什么？

我正在使用一个非常简单的数据集，例如 RDD： （它在数据框中，但我将其转换为 RDD）

+----------+-----+
|prediction|label|
+----------+-----+
|         1|    1|
|         1|    1|
|         0|    1|
|         0|    0|
|         1|    0|
|         1|    0|
|         0|    0|
|         0|    0|
|         1|    1|
|         1|    1|
+----------+-----+

当我运行这个命令时：

multi_metrics = MulticlassMetrics(rdd)
print 'fMeasure: ', multi_metrics.fMeasure(1)

我收到此错误：

print 'fMeasure: ', multi_metrics.fMeasure(1)
  File "/usr/hdp/current/spark-client/python/pyspark/mllib/evaluation.py", line 259, in fMeasure
    return self.call("fMeasure", label)
  File "/usr/hdp/current/spark-client/python/pyspark/mllib/common.py", line 146, in call
    return callJavaFunc(self._sc, getattr(self._java_model, name), *a)
  File "/usr/hdp/current/spark-client/python/pyspark/mllib/common.py", line 123, in callJavaFunc
    return _java2py(sc, func(*args))
  File "/usr/hdp/current/spark-client/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py", line 813, in __call__
    answer, self.gateway_client, self.target_id, self.name)
  File "/usr/hdp/current/spark-client/python/pyspark/sql/utils.py", line 45, in deco
    return f(*a, **kw)
  File "/usr/hdp/current/spark-client/python/lib/py4j-0.9-src.zip/py4j/protocol.py", line 312, in get_return_value
    format(target_id, ".", name, value))
Py4JError: An error occurred while calling o154.fMeasure. Trace:
py4j.Py4JException: Method fMeasure([class java.lang.Integer]) does not exist
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:335)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:344)
    at py4j.Gateway.invoke(Gateway.java:252)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:209)
    at java.lang.Thread.run(Thread.java:745)

【参考方案1】：

这里的测试版是什么？

Spark 的MulticlassMetrics 实现了$F_\beta$-measure，如果您将$\beta$ = 1，这与传统的F-measure 一致。$\beta$ 参数允许control relative contributions of precision vs recall in F-measure。

关于错误：如果您查看实现，它实际上需要 Double。这是 fMeasure 方法的 pyspark 包装器，这是实际的 implementation（在 Scala 中）。

所以你应该这样称呼它，例如：

multi_metrics = MulticlassMetrics(rdd)
print 'fMeasure: ', multi_metrics.fMeasure(1.0,1.0)