第四范式涂威威：AutoML 回顾与展望

Posted 2023-04-05

参考技术A

AI 科技 评论按 ，本文作者第四范式涂威威，该文首发于《中国计算机学会通讯》第15卷第3期，AI 科技 评论获中国计算机学会授权转载。

自动机器学习的研究动机

机器学习在推荐系统、在线广告、金融市场分析、计算机视觉、语言学、生物信息学等诸多领域都取得了成功，在这些成功的应用范例中，也少不了人类专家的参与。Google、 Facebook、百度、阿里巴巴、腾讯等 科技 公司依靠其顶尖的机器学习专家团队来支撑机器学习在企业内部的各种应用，各类科研机构也在花费大量经费，维护着机器学习科学家团队。然而，对于很多传统企业、中小型企业和一般的科研机构，就很难组建出这样的机器学习专家团队，其原因是机器学习专家的缺口太大，人才短缺，人才抢夺激烈，专家团队的管理成本高昂和专家经验不可复制，等等。

为了机器学习能为更多的企业赋能，在更加广泛的场景得到应用，有没有低门槛甚至零门槛的机器学习方法，让更多的人可以在很少甚至几乎没有专业知识的情况下轻松使用，并减少机器学习应用落地对专家人才的依赖？自动机器学习(Automatic/Automated Machine Learning, AutoML)应运而生。其研究目的就是为了使机器学习过程自动化，减少、甚至完全规避人类专家在这个过程中的参与度。

理论出发点

设计机器学习算法是一件困难重重的事情，能否找到一种通用的机器学习算法来解决所有的机器学习问题呢?这个问题在 20 多年前就被解答过，对于所有可能的问题，可以证明的是，如果所有问题同等重要，所有的算法，包括完全随机的算法，它们的期望性能是一样的，所有的算法没有优劣之分，这是著名的没有免费的午餐 (No Free Lunch, NFL)定理的一个不太严谨的直观阐述。

这个定理意味着寻求一种完全通用的机器学习算法是行不通的。于是，研究人员就开始针对不同的问题展开对应的机器学习研究，这导致了机器学习技术广泛应用不可复制的问题。在解决某个特例问题的机器学习算法和针对所有问题完全通用的机器学习算法之间，有一种可能性是存在可以解决某一类而不只是某一个特例的相对通用的机器学习算法。自动机器学习就是从这样的理论考虑出发，试图去寻找更加通用的机器学习算法。

目前自动机器学习研究的主要场景

静态闭环自动机器学习

静态闭环自动机器学习考虑的是静态机器学习问题，即给定固定的训练集，不利用外部知识，寻找在测试集上期望表现最好的机器学习模型。经典的机器学习流程包括数据预处理、特征处理和模型训练。自动机器学习在这三个流程中都有广泛的研究 :

(1) 数据预处理中，研究数据的自动清洗、样本的自动选择、数据的自动增强、数据类型的自动推断等，以达到理解原始数据和提升数据质量的目标。

(2) 对特征处理方法的研究主要包括自动特征生成和自动特征选择。自动特征生成的研究包括单特征变换、多特征组合、深度特征生成、特征学习等。自动特征选择一般会配合自动特征生成使用，先自动生成特征，再进行自动特征选择，对于复杂的特征处理，一般两者交替迭代进行。

(3) 模型训练的研究一般包括自动算法选择和自动算法配置。自动算法试图从广泛的机器学习算法中选择适合问题的某一个或者某几个算法，这些算法又有很多的超参数需要配置，自动算法配置则研究如何进行超参数选择配置，比如如何配置神经网络结构，实际应用中这两者也会配合使用。

外部知识辅助的静态自动机器学习

外部知识辅助的静态自动机器学习试图借鉴人类专家选择数据处理方法、特征处理方法、模型训练算法等的方式进行自动机器学习。人类专家会从以往处理过的机器学习问题中积累经验，并将此推广到之后的机器学习问题中。

动态环境的自动机器学习

动态环境下的自动机器学习研究试图解决的是数据不断积累、概念发生漂移时的问题。

核心技术

自动机器学习的研究核心是如何更好地对数据处理方法、特征处理方法、模型训练方法等基础部件进行选择、组合以及优化，以使学习到的模型的期望性能达到最优(见图 1)。

目前该项研究主要面临三个难点 :

(1) 超参配置与效果之间的函数无法显式表达，属于“黑盒”函数;

(2) 搜索空间巨大，可能的处理方法和组合是指数级，同时不同处理方法拥有各自的超参数，当特征维度超过 20 时，其多目特征组合可能的搜索空间都将远超围棋可能的状态空间 ;

(3) 函数值的每次计算大多涉及数据预处理、特征处理、模型训练的全流程，函数值的计算代价极其昂贵。为了解决这些问题，采用的核心技术是基础搜索方法、基于采样的方法和基于梯度的方法。

图1 自动机器学习的框架

基础搜索方法

搜索方法中最常见的是格搜索方法。该方法通过遍历多维参数组合构成了网格寻求最优化，容易实现，应用广泛，但是，搜索复杂度随参数维度呈指数增长，并且会将搜索浪费在不太重要的参数维度上。随机搜索方法则是对参数空间进行随机采样，各个维度相互独立，克服了维度灾难和浪费资源搜索的问题。在实际应用中，随机搜索方法往往表现得比格搜索要优秀。

基于采样的方法

基于采样的方法是被研究得最多的方法，大多也是具有理论基础的方法，往往比基础搜索方法表现更优。这类方法一般会生成一个或者多个对样本空间的采样点，之后再对这些采样点进行评估，根据评估的反馈结果进行下一步采样，最后寻找到相对较优的参数点(见图 2)。基于采样的方法分为以下四类：

图2 基于采样的方法

该方法试图建立关于配置参数和最终效果的模型，并依据模型来寻求最优化。这类方法一般先基于已经采样到的点的效果评估建立模型，然后基于学习到的模型采用某种采样策略来生成下一个或者下一组采样点，根据新的采样点得到的效果进一步更新模型，再采样迭代，如此寻求对黑盒函数的最优化。由于待优化的函数是“黑盒”函数，在求解过程中只能获得函数值而不能直接计算函数梯度，因此也被称为零阶优化方法(零阶是相对于传统计算一阶或者二阶梯度的优化方法)或者非梯度方法。

这类方法有两个主要的关注点 : 模型和采样策略。构建的模型一般用来预测配置参数对应的效果。由于采样依据的模型仅仅是依据之前采样得到的点的反馈学习，对函数空间未 探索 区域的估计一般是不太准确的，采样策略需要在函数最优化和空间 探索 之间做出权衡，即在开发利用 (exploitation) 和 探索 (exploration) 之间做出权衡，简称 E&E。

贝叶斯优化是一种基于概率模型的方法，一般采用高斯过程、贝叶斯神经网络、随机森林等作为模型，然后采用提升概率、提升期望、交叉熵、GP-UCB 等作为采样策略，这些策略都在显式或者隐式地进行 E&E。最常见的是基于高斯过程的贝叶斯优化方法，这类方法在参数维度较低、采样点较少时表现较优，但是在高维、采样点较多时就很难被使用，因此有学者尝试使用贝叶斯神经网络解决这样的问题。

基于分类方法的随机坐标收缩方法 (RAndom COordinate Shrinking, RACOS) 和基于随机坐标收缩分类模型来进行基于模型的零阶优化，有效地解决了贝叶斯优化方法的计算复杂度高、参数类型受限的问题，它一般采用最简单的 ε-greedy 方法来进行 E&E。随机坐标收缩方法被证明在高维度场景下显著优于基于高斯过程的贝叶斯优化方法。

局部搜索方法一般定义某种判定邻域的方式， 从一个初始解出发，搜索解的邻域，不断 探索 更优的邻域解来完成对解空间的寻优。最常见的方法有爬山法、局部集束搜索等。局部搜索简单、灵活并易于实现，但容易陷入局部最优，且解的质量与初始解和邻域的结构密切相关。

启发式方法主要是模拟生物现象，或者从一些自然现象中获得启发来进行优化，最典型的就是基于演化计算方法。这类方法由于很少有理论依据，实际工作中很难对方法的效果进行分析。

这类方法能够发现一些新的神经网络结构，并被验证具有一定的迁移能力，但是由于强化学习自身的学习算法研究尚未成熟，其优化效率相对低下。

基于梯度的方法

由于对优化部件以及超参数的可微性要求较高，并且计算复杂度也高，因此，直接对优化目标进行梯度求解的方法很少使用。

研究热点

自动机器学习的研究热点是效率和泛化性。解决自动机器学习的效率问题是自动机器学习技术落地的关键之一。效率优化包括六类 :

(1) 混合目标优化，将参数点的评估代价也作为优化目标的一部分，在计算代价和效果之间做权衡。

(2) 同步并行化和异步并行化。

(3) 提前停止迭代，在训练早期就剔除一些表现不太好的参数，节省计算资源，比如最经典的逐次减半策略，每过一段时间都剔除其中一半不好的参数，极大地节省了计算资源(见图 3)。

(4) 对模型训练进行热启动，复用类似参数的训练结果，降低超参数的评估代价。

(5) 对数据进行采样，采用小样本上的参数搜索来代替全样本的参数搜索，由于小样本和全样本最优参数之间可能存在着差异，有一些研究人员试图学习小样本和全样本之间的关系来进行多保真度的自动机器学习(见图 4)。

(6) 将超参数搜索和机器学习过程结合起来，进一步提升效率和效果，比如基于种群的方法。

机器学习关注的核心是泛化性，自动机器学习的目的也是为了提升最终学习到的模型的泛化性。

图3 逐次减半策略

图4 多保真度的自动机器学习

如何判断自动机器学习是否提升了泛化性，一般采用切分训练集和验证集的方式进行估计。为了进一步降低过拟合到验证集的风险，有一些研究关注如何对模型的泛化效果进行更合理的估计。除此之外，由于自动机器学习往往伴随着很多次不同参数的模型学习，与最终只选择一个“最优”的模型不同，选择其中一些模型进行集成学习也是一种提升泛化性的方式。越来越多的工作混合多种效率优化和提升泛化性的策略对自动机器学习算法进行优化。

落地应用

来自不同数据之间解决问题手段的可迁移性 / 可复制性为自动机器学习的落地增加了难度。解决不同问题的手段相似性或者可迁移性 / 可复制性越高，自动化越容易，反之越难。目前自动机器学习落地的应用场景主要有图像数据和表数据。

图像数据

深度学习取得成功的领域来自图像。深度学习的核心在于“自动”学习层次化特征。以前的图像分析需要人工来做，要从原始像素中提取非常多的特征，而深度学习很好地解决了这个问题。深度学习使得特征可学习，同时将人工特征设计转变成了人工神经网络结构设计。对于这类数据，自动机器学习研究的核心是使图像领域的神经网络结构设计自动化。图像数据之间的相似性较大，原始输入都是像素，问题解决方案的可迁移性和可复用性也大，因此，自动机器学习在图像数据上的落地相对容易。

表数据

表数据是抽象数据，不同的表数据之间没有很强的相似性，不同表数据各列的含义千差万别，表数据还与实际业务密切相关，需要解决时序性、概念漂移、噪声等问题，因此自动机器学习在表数据上落地的难度较大，仅仅是自动神经网络结构设计是远远不够的。目前研究的热点还包括如何将分布在多个表中的数据自动转化成最终机器学习所需要的单个表数据。

未来展望

算法方向

在自动机器学习算法方面，未来的工作如果能在 5 个方向上取得突破，将会有较大的价值。

1. 效率提升。效率可从时间复杂度和样本复杂度两方面考量。在给定的计算资源下，更高的效率在一定程度上决定了自动机器学习的可行性，意味着可以进行更多 探索 ，还可能会带来更好的效果。另外，获取高质量有标记的样本往往是非常昂贵的，因此样本复杂度也是影响机器学习落地的关键因素之一。在外部知识辅助的自动机器学习中引入学件 (学件 = 模型 + 模型的规约)，利用迁移学习，是未来有效降低样本复杂度的可能方向 (见图 5)。

图5 迁移学习与学件

2. 泛化性。目前自动机器学习在泛化性上考虑较少，泛化性是机器学习最重要的研究方向，未来需要加强。

3. 全流程的优化。与目前大部分自动机器学习只研究机器学习的某一个阶段(比如自动特征、自动算法选择、自动算法配置)不同，实际应用需要全流程的自动机器学习技术。

4. 面对开放世界。现实世界不是一成不变的， 自动机器学习技术需要面对开放的世界，解决数据的时序性、概念漂移、噪声等问题。

5. 安全性和可解释性。为使自动机器学习具有安全性，需要解决攻击应对、噪声抵抗、隐私保护等问题。如果自动机器学习系统被部署到实际系统中与人交互，则需要更好的可解释性。

理论方向

在自动机器学习理论方面，目前研究的甚少，对自动机器学习的泛化能力及适用性也知之甚少。因而，我们一方面要回答目前自动机器学习算法的适用性和泛化能力，另一方面也要回答哪些问题类存在通用的机器学习算法上和更广泛问题空间上的自动机器学习算法的可行性。

作者简介

涂威威

第四范式资深机器学习架构师、资深科学家。第四范式先知平台大规模分布式机器学习框架 GDBT 的设计者，带领团队将 AutoML 及迁移学习应用到工业界并取得显著的效果提升。

邮箱：[e-mail]

更多有关强化学习的学术和论文话题，欢迎点击 阅读原文 加入 AI 研习社强化学习论文小组~

AutoML如何实现智能推荐系统的自动上线和运维？

导读：

第四范式资深科学家王嘉磊在2050大会上分享了题为《如何通过AutoML实现智能推荐系统的自动上线和运维》的演讲。

王嘉，第四范式资深科学家，负责设计实现第四范式 AutoML 产品算法，美国康奈尔大学运筹学博士，研究方向为贝叶斯优化及应用于自动化机器学习。

本文为此次演讲实录：

智能推荐系统领域出现了一些新技术——自动机器学习，即AutoML。接下来我主要讲一下AutoML的概念以及AutoML在智能推荐系统中的应用。

 

第四范式资深科学家王嘉磊博士

当我们浏览了足够多的视频或文字，手机应用就一定会给我们推荐一些相对符合我们口味的内容，这个过程称之为推荐。

 

现在大多数推荐系统会采用机器学习技术。相较于之前的人工归纳数据，机器学习能够从海量的数据中挖掘出数据之间的微妙联系，其粒度比人工归纳得出的结果高好几个数量级，推荐的质量和精准度也大幅提高。

01、AI在推荐系统中的应用

在推荐系统中，机器学习的流程一般如下：

 

机器学习流程

最初，用户想要看手机应用中的某些内容，于是发出请求，打开IP，系统就需要给该用户推荐一些他比较感兴趣的内容。这时首先会经过召回策略阶段。这一阶段的主要任务是进行粗选。在这一阶段，系统中可供候选的内容很多。如果我们想通过某些较为简单或快速的召回策略对内容进行初筛，可以从以下维度入手：新闻热点、用户兴趣、新内容分发……

 

接下来两个阶段主要运用机器学习模型完成：粗排和精排。所谓的粗排和精排，二者之间并无严格的界限。大致看来，粗排模型一般是指能简单快速地做出预测的模型，其精准度相对低；精排模型是指一些造价较为昂贵但精准度高的模型，现在更多的就是关于神经网络的模型。

 

经过机器学习模型粗排后，接下来就是排序。所谓的排序就是根据候选内容与用户兴趣的相关度，从高到低进行排序，排序最高的内容与用户的兴趣最相关。在排序完成后，后续要做的就是过滤已经推荐过的内容、考虑到多样性后还需要打散推荐内容。最后一步就是返回给用户的推荐结果。

 

AI在推荐系统中的应用

在整个推荐过程中，除了排序模型中涉及到机器学习之外，召回策略阶段也有机器学习的应用。

 

如果推荐系统中的候选内容是文本内容，那么需要自然语言处理（NLP）模型来理解文本内容中包含的信息。

如果是图像或视频，那么需要借助计算机视觉（CV）的技术来理解视频或图像中包含的信息，或者给图像或视频打相应标签。

利用机器学习来分析用户画像，其实更多的是用在排序模型中。首先要分析用户归属于哪个用户群，这样才能推荐出用户比较感兴趣的内容，预测点击率和内容阅读时长。

内容质量的评估也可以借助机器学习模型来实现自动化。如果评估出一部分较为优质的内容，那就需要分发，大力宣传。

02、如何构建模型

刚才简单介绍了我们能够利用AI、机器学习解决的一些点。在这些点里面，其实每一个要解决的点，都可能需要一个或多个模型。那么该如何构建模型呢？

 

在我们接入数据之后，需要对数据进行清洗。清洗过后，对数据做一些简单的处理，让这些数据能够适应某一个训练模型，从而很好地上线该模型的一个版本。

 

在推荐场景中，最原始的一个训练数据就是某一随机用户。

如果给该用户推荐一篇文章，文章最终被点击或未被点击都是可能产生的行为。但如果只有该用户的ID和给该用户的推荐内容ID这两个信息的话，还远远不够。我们还会收集一些用户的其他信息，比如说用户之前的浏览记录、用户曾经发表的评论等行为数据，这些行为数据会被归纳到其他的表中。

 

我们需要把这些表做一个拼接，最后成行，形成一张比较全面的表单。表单中的每一行都是一次行为事件，这一行的每一个数据都是用来描述该事件的具体情况：内容是什么样的？用户是什么样的？用户是否点击了内容？多表拼接和特征工程这两个操作有一定相关性，做拼接的时候其实也是在做特征。

 

接下来就涉及到训练模型。我们把一个模型训练出来，它的产出需要就变成待上线的模型。构建模型的过程很复杂，其中的每一个环节都需要人工的参与。一些建模科学家会凭借自己丰富的背景知识或实战经验来做出选择。

 

我们希望能训练出一个AI模型，让这个AI模型帮助数据科学家在每个环节中做出对应的选择。其实我刚才介绍的就是用机器学习构建机器学习模型的一个流程。这个模型的具体模式（下图），其实和刚才的机器学习流程图一一对应。二者基本上是在做同一件事情，只不过我们希望，由AutoML完成这条链中要做的选择。

在这个链条中，Feature为特征工程，Model涉及到在多个模型之间的选择，Optimization涉及到模型的优化。假设现在我们有一个模型并在其中做出了选择，那我怎么才能知道这次选择的好坏呢？

这里比较关键的一个环节，也是人工建模时不一定会用到的一个环节，就是最后的AI模型。

 

用AI来训练AI模型

也就是说，在这链条中，我们所做的每一次操作，都可以通过评估这一步来检验这次操作。以特征工程为例，假设我们想在已有特征的基础上尝试某个新的特征，那么可以在加了新特征以后，通过评估这一步骤来检验这次操作是否是好的操作。如果我们还希望给AutoML一些反馈，告诉它这次操作是好是坏，那么接下来AutoML就能知道我们之后可能需要的一些其他操作，什么样的操作是较好的操作，或什么样的操作是差的操作。

03、从本质上来讲，AutoML是一个搜索的过程

我们看这幅图，一开始，这条链是一个非常简单的排列。在拿到数据后，我们会做一些简单的特征工程（包括随机选取某个模型），等到把模型训练好后，通过评估便可得知这条机器学习管道目前的效果。

 

机器学习要达到的目标就是，通过不断的改变或者增加操作，让这条链最终的效果有所提升。这就是自动机器学习要做的主要工作。我们可以把优化的过程也称为搜索的过程。

 

至于搜索，最简单的方法就是随机尝试。不管是选择模型还是训练模型，其中都包含一些已知的、有限的操作。我们从中随机挑选，挑选完后进行评估，评估完后继续去做新的尝试。最后把做过的所有尝试进行排序，挑选其中最好的或者次好的一个机器学习管道作为最终结果。但这样做存在的问题是，随着机器学习管道越来越长，或是这当中的操作越来越复杂，能做的选择呈指数性增长，并马上就会变成上万种或者数十种万种操作。之后，对每一次操作进行评估还要花费大量时间。这时候就要用到搜索策略。

 

所谓的搜索策略，就是怎么样能够把搜索的过程尽可能地加速，尽可能做得更快。我总结了四种主要的方法：

第一种搜索策略叫进化算法。这种算法和达尔文进化论较为相似。假设有一个种群，所谓的种群即多个机器学习管道，这些机器学习管道有好有坏。通过不断的迭代，让好的机器学习管道和另一个好的机器学习管道变换或结合，逐步取代坏的，从而产生下一代机器学习管道。评估结果好的机器学习管道会被继续保留在群组中，评估结果差的则会被剔出群组。经过不断的更新迭代，最终留在这个群组中的都是好的机器学习管道。

 

第二种搜索策略叫贪心法。假设你身处一个山谷中，希望以尽快的速度爬出山谷，但你的视线范围可能就只在附近的10米以内。你能做的事情就是通过目测10米的范围以内，哪个方向可能是上升最快的方向，等走到之后继续做下一个选择。所谓的贪心法就是指在局部环境中不断地做出我们认为最好的决策，通过对局部不断的迭代，从而找到全局最优解。

 

第三种搜索策略叫贝叶斯优化。贝叶斯优化是基于数据使用贝叶斯定理估计目标函数的后验分布，然后再根据分布选择下一个采样的超参数组合。它充分利用了前一个采样点的信息，其优化的工作方式是通过对目标函数形状的学习，并找到使结果向全局最大提升的参数。

最后一种搜索策略叫强化学习。AlphaGo用到的主要策略就是强化学习。它的本质是解决 decision-making 问题，即自动进行决策，并且可以做连续决策。

04、自动特征工程

做出好的特征工程一般对模型的效果提升比较明显，因此我们做自动机器学习的工作也涉及这部分。对于自动特征工程，我们要先定义特征应该怎么生成，我们认为特征是原始数据经过一系列操作后产出的变换后的数据，我们将操作大致分为unary operation, binary, aggregation等几类操作。

 

有了这些操作后，我们通过算法来决策如何通过这些操作生成优质的特征。这里面我们对于特征重要性评估，也就是评价一个特征多好或者多坏，以及决策算法都有较深入的研究。

05、模型超参数优化

做完特征工程之后，我们就到了模型训练环节。这个过程中，因模型算法而异，可能会存在一些需要人提前去设置的参数，我们称之为超参数。

 

模型超参数优化

这些超参数决定了这个模型训练过程中的行为，并且会直接影响到这个模型最终的效果，而且最优超参数的选择又是和输入的数据息息相关的，它的设定需要根据不同场景、不同数据进行调节。

 

我们通过研发自动调参算法来使这个过程自动化，在无人干预的情况下我们在多个数据集上发现最终模型效果能和专家相当甚至更好。方法上我们一方面把它当做一个黑盒优化问题，通过贝叶斯优化来决策超参数的选择，另一方面我们也顾及到模型训练本身不是一个黑盒，通过利用训练过程中产生的数据来加速超参数优化。

 

06、神经网络结构搜索

在神经网络结构搜索这个方向上，我们主要做的工作一方面是如何能够让搜索变得更加的高效，另一方面我们会去考虑专用的硬件和性能的优化。

 

第一个方面比较清楚，由于最初的NAS算法动辄需要几百个GPU运行近一周的时间才能搜索出在某些任务上效果优质的网络结构，之后经过改进搜索结构的资源消耗依然是巨大的。这使网络结构搜索很难广泛应用起来。我们的研究方向希望通过高效的搜索算法和模型参数共享来尽可能降低搜索对计算资源的要求。

 

第二个方面我们发现实际应用中，以前设计出来的神经网络，它并不会关心这个模型最终是在什么样的机器上运行。然而如果训练完的模型是放在手机上，或者一些边缘计算设备上，由于这些设备的内存和运行速度都有很大限制，未经调试的模型很可能在这些设备上跑不起来或者性能有很大的影响。所以我们在做神经网络搜索的时候，希望能够把这些关于性能或者关于硬件的限制加进去，让它去做一个更加有针对性的优化。

最后，当我们有了训练好的模型以后，我们需要将模型做成一个服务并且不断为其他应用提供预估服务。然而随着时间推移，模型不可避免地会出现性能衰减这样一个问题。

 第四范式资深科学家王嘉磊博士

为什么呢？因为我们的数据分布其实是不断变化的。在推荐场景中，用户的兴趣，大家关注的内容是会不断变化的。对于单一模型，我们可以通过不断使用新的数据训练和更新模型来保持效果。然而整个推荐系统是一个由很多模型组成的复杂系统，在系统建立之初，专家通过调试各模型之间分配的权重使系统在当时达到较优的状态。随着数据和模型的更新，先前的配置不再是最优状态，需要花费人力重新调优系统。我们使用自动化在线调优算法将人力解放了出来。我们把在线调优看作经典的多臂老虎机问题，并使用兼顾exploration和exploitation的算法实现实时的优化系统配置。

 

我们做的另一个尝试叫做多任务贝叶斯优化。由于系统的最优解在不断地缓慢变化。变化之后，我们会认为当前优化目标和之前的优化目标，或者之前一系列的不同的优化目标，是一系列相关的任务。那么我们可以在优化当前目标时把之前优化过程中获得的信息复用过来，以热启动的方式实现当前优化任务的加速。

 

我今天分享的就是这些，谢谢。

往期干货精选

END

直播预告

7月13日上午10点，机器学习前沿讲座第1讲正式线上开讲！美国加州大学洛杉矶分校博士后王可泽将讲解可解释性AI在视频分析中的研究和应用。

扫描下方海报中的二维码快速报名

以上是关于第四范式涂威威：AutoML 回顾与展望的主要内容，如果未能解决你的问题，请参考以下文章

AutoML技术现状与未来展望

2016 新学++ ， 回顾过去展望未来

AutoML如何实现智能推荐系统的自动上线和运维？

六年Android开发的技术回顾与未来展望

云原生年度回顾与展望 | 2月16日TF93

Java学习之路的回顾与展望