新手：给定一个预测未来成功与否的问题，从哪里开始

Posted 2023-03-13

【中文标题】新手：给定一个预测未来成功与否的问题，从哪里开始

【英文标题】：Newbie: where to start given a problem to predict future success or not

【发布时间】：2011-04-16 22:24:33

【问题描述】：

我们有一个基于网络的生产产品，允许用户对商品的未来价值（或需求）进行预测，历史数据包含大约 100k 个示例，每个示例大约有 5 个参数；

考虑一类称为预测的数据：

prediction 
    id: int
    predictor: int    
    predictionDate: date
    predictedProductId: int
    predictedDirection: byte  (0 for decrease, 1 for increase)
    valueAtPrediciton: float

以及衡量预测结果的配对结果类：

predictionResult 
    id: int
    valueTenDaysAfterPrediction: float
    valueTwentyDaysAfterPrediction: float
    valueThirtyDaysAfterPrediction: float

我们可以定义一个测试用例，比如成功，在预测时考虑方向和价值时，如果任意两个未来值检查点是有利的。

success(p: prediction, r: predictionResult): bool = 
    count: int 
    count = 0

    // value is predicted to fall
    if p.predictedDirection = 0 then
       if p.valueAtPrediciton > r.valueTenDaysAfterPrediction then count = count + 1
       if p.valueAtPrediciton > r.valueTwentyDaysAfterPrediction then count = count + 1
       if p.valueAtPrediciton > r.valueThirtyDaysAfterPrediction then count = count + 1

    // value is predicted to increase
    else
       if p.valueAtPrediciton < r.valueTenDaysAfterPrediction then count = count + 1
       if p.valueAtPrediciton < r.valueTwentyDaysAfterPrediction then count = count + 1
       if p.valueAtPrediciton < r.valueThirtyDaysAfterPrediction then count = count + 1

    // success if count = 2 or count = 3
    return (count > 1)

在用户提交表单的那一刻，预测类中的所有内容都是已知的，而预测结果中的信息要到以后才知道；理想情况下，模型或算法可以从我们将算法应用于新预测的三年历史中推导出来，我们可以获得关于它是否会成功的概率（我会很高兴有一个布尔 Y/N 标志不管这是否有趣）。

我对机器学习知之甚少，我正在尝试通过材料来学习。但是，如果我能得到一些指导，那就太好了，这样我就可以研究和实践解决此类问题所需的确切方法。

谢谢

【参考方案1】：

特点

您需要做的第一件事是确定您将使用哪些信息作为证据来将用户的预测分类为准确与否。例如，您可以从简单的内容开始，例如做出预测的用户的身份，以及他们在对相同或相似商品进行预测时的历史准确性。此信息将作为特征提供给下游机器学习工具，用于对用户的预测进行分类。

训练、开发和测试数据

您需要将 10 万个历史示例分成三个部分：训练、开发和测试。您应该将大部分数据（例如 80%）放入您的 训练 集中。这将是您用来训练预测准确度分类器的数据集。一般来说，用于训练分类器的数据越多，生成的模型就越准确。

另外两个数据集（开发和测试）将用于评估分类器的性能。您将使用开发集来评估分类器的不同配置或特征表示变化的准确性。它被称为开发集，因为您在开发模型或系统时使用它来不断评估分类性能。

稍后，在您构建了一个在开发数据上取得良好性能的模型后，您可能需要对分类器在新数据上的性能进行公正的估计。为此，您将使用测试集来评估分类器在除您用于开发它的数据之外的数据上的表现。

分类器/ML 包

准备好初步功能集并将数据拆分为训练、开发和测试后，您就可以选择机器学习包和分类器了。一些支持多种分类器的好包包括：

Weka (Java) Rapid Miner (Java) Orange (Python)

您应该使用哪种分类器取决于许多因素，包括您想要做出什么样的预测（例如二元、多类）、您想要使用什么样的特征以及您想要的训练数据量使用。

例如，如果您只是对用户的预测是否准确进行二元分类，您可能想尝试support-vector-machines (SVMs)。他们的基本公式仅限于进行二元预测。但是，如果这就是您所需要的，它们通常是一个不错的选择，因为它们可以生成非常准确的模型。

但是，训练 SVM 所需的时间与训练数据量的比例关系不大。要对大量数据进行训练，您可能会决定使用 random forests 之类的东西。当随机森林和 SVM 在相同大小的数据集上进行训练时，随机森林通常会生成一个与 SVM 模型一样准确或几乎一样准确的模型。但是，随机森林可以让你使用更多的训练数据，使用更多的训练数据会typically increase the accuracy of your model。

深入挖掘

这里有一些关于机器学习入门的好地方的提示

Video Lectures from Andrew Ng's machine learning course at Stanford Andrew Moore's machine learning tutorials Hastie's The Elements of Statistical Learning - Hastie 发布了本书的 PDF here。

【讨论】：

谢谢我一直在关注andrew ng的讲座，一点一点的理解。但是 Anrews 的教程提供了非常丰富的信息。谢谢...