机器学习之数据模型算法和服务

Posted 2021-04-27 三味书语

一句话结论：算法通过在数据上进行计算产生模型。

1.数据

机器学习需要大量的数据来训练模型，在进行机器学习时，数据一般会被分为训练集和测试集，很多时候还会划分出验证集。使用训练集来训练生成模型，再用测试集来测试模型的正确率和误差，以验证模型的有效性。

2.模型

模型是机器学习的结果，这个学习的过程称之为训练。一个已经训练好的模型，可以理解成一个函数y=f(x)，当数据输入进去，得到输出结果。模型的训练步骤一般包括如下：

（1）数据准备

主要包括数据预处理及划分为训练集、测试集和验证集等。

（2）训练

将训练集输入给训练程序进行运算，训练程序的核心是算法，所有输入的数据都会被按照该训练程序所依据的算法进行运算。训练程序输出的结果即是模型。主要过程为编写训练程序（选择模型类型、选择优化算法、根据模型类型和算法编写程序）->训练获得临时模型->在训练集上运行临时模型获得训练集预测结果->在验证集上运行临时模型获得验证集预测结果->综合预测结果优化模型->反复迭代直至获得满意的模型。

模型获取的过程可概况为根据已经被指定的 f(x) 的具体形式——模型类型，结合训练数据，计算出其中各个参数的具体取值的过程。输出物一般为模型文件。

3.算法

训练过程需要依据某种算法进行运算。算法可以理解为一段代码。

4.服务

模型训练完成后一般通过服务被业务调用，一般通过Restful API方式。