神经网络或任何其他监督学习算法可以学习特殊的统计方法吗？

Posted 2023-03-12

【中文标题】神经网络或任何其他监督学习算法可以学习特殊的统计方法吗？

【英文标题】：Can Neural Networks or any other supervised-learning algorithm learn special statistical methods?

【发布时间】：2018-01-04 15:44:47

【问题描述】：

我知道任何隐藏层的神经网络都可以逼近非线性函数，但它甚至可以预测一些特殊的函数，尤其是和一些统计方法一样吗？

假设一个分类问题的统计规则如下。对于训练集输入 X_train 和输出 Y_train，我们计算属于每个特定类的 X_train 的几何平均值（即每个特定类的 X_train 中心）。因此，对于每个类，我们都有一个 X 中心。现在对于测试数据，我们通过找到到训练中心的最短欧几里德距离来估计类标签。例如，假设训练给我们的中心如下映射：(-1,1,1)->0, (1,1,1)->1。那么对于一个测试数据（-0.8,0.5,1），由于它更接近（-1,1,1），它应该属于0类。

问题是我不知道是否有任何监督学习方法可以做到上述策略。我将其称为“监督 k 均值”。 KNN 方法类似，但它基于 N 个最近点而不是所有训练点的平均值来查找标签。

我想知道神经网络是否可以做到这一点。还是我错过了其他实际上可以执行上述策略的学习技术？如果我尝试学习的统计策略更复杂，例如同时包含中心和协方差怎么办？

【参考方案1】：

使用神经网络解决此类问题将是一个过冲。

Linear discriminant analysis 和 Gaussian naive Bayes 执行与您描述的类似的操作。他们将每个类别的中心估计为算术平均值，并将每个点与最近的中心相关联。但是他们计算修改后的距离而不是欧几里得：GNB 估计每个特征的条件方差，LDA 也估计协方差。他们还考虑了先验类概率。这些修改可能会改善您的分类，但如果您不想要它们，您可以自己编写一个算法。