kNN 是统计分类器吗？

Posted 2023-03-12

【中文标题】kNN 是统计分类器吗？

【英文标题】：Is kNN a statistical classifier?

【发布时间】：2016-07-25 05:27:01

【问题描述】：

我目前正在为我的人工智能考试做一个机器学习项目。目标是正确选择两种分类算法来使用 WEKA 进行比较，记住这两种算法必须有足够的差异才能为比较提供理由。此外，算法必须同时处理名义数据和数字数据（我想这是进行比较所必需的）。 例如，我的教授建议选择统计分类器和决策树分类器，或者深入比较自下而上的分类器和自上而下的分类器。

由于我在机器学习领域的经验很少，所以我正在研究WEKA提供的各种算法，我踩到了kNN，即k-最近邻算法。 是统计的吗？例如，它可以与决策树桩算法进行比较吗？

或者，你能推荐几个符合我上面指出的这些要求的算法吗？

P。 S.：处理的数据必须是数字的和名义的。在 WEKA 上有数字/名义特征和数字/名义类别。我必须选择具有数值/名义特征和类的算法还是只选择其中之一？

非常感谢您的帮助，感谢您的耐心等待！

【参考方案1】：

根据您教授的描述，我不会将k-Nearest Neighbors (kNN) 视为统计分类器。在大多数情况下，统计分类器是通过训练数据的统计数据（直接使用统计数据或转换它们）进行泛化的分类器。 Naïve Bayes Classifier 就是一个例子。

相比之下，kNN 是Instance-Based Learning 的一个例子。它不使用训练数据的统计信息；相反，它将新观察结果直接与训练实例进行比较以执行分类。

关于比较，是的，您可以将 kNN 的性能与决策树桩（或任何其他分类器）进行比较。由于任何两个监督分类器都会根据您的训练/测试数据产生分类准确度，因此您可以比较它们的性能。