智能驾驶多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

Posted 产业智能官

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了智能驾驶多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径相关的知识,希望对你有一定的参考价值。

多任务深度学习框架在ADAS中的应用

雷锋网

雷锋网AI科技评论按:在8月10日雷锋网AI研习社邀请了北京交通大学电子信息工程学院袁雪副教授给我们讲解了在高级辅助驾驶系统(ADAS)中的多任务深度学习框架的应用


内容提纲:


ADAS系统包括车辆检测、行人检测、交通标志识别、车道线检测等多种任务,同时,由于无人驾驶等应用场景的要求,车载视觉系统还应具备相应速度快、精度高、任务多等要求。对于传统的图像检测与识别框架而言,短时间内同时完成多类的图像分析任务是难以实现的。

袁雪副教授的项目组提出使用一个深度神经网络模型实现交通场景中多任务处理的方法。其中交通场景的分析主要包括以下三个方面:大目标检测(车辆、行人和非机动车),小目标分类(交通标志和红绿灯)以及可行驶区域(道路和车道线)的分割。

这三类任务可以通过一个深度神经网络的前向传播完成,这不仅可以提高系统的检测速度,减少计算参数,而且可以通过增加主干网络的层数的方式提高检测和分割精度。

以下为当天分享的内容总结。


图文分享总结


一、任务分析


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

WHO在2009年统计的一个数据显示,在全世界范围内每年由交通事故死亡的人数有123万人。但是我们知道,在朝鲜战争中,整个战争死亡的人数也差不多一百多万。也就是说,每年死于交通事故的人数差不多等于一次非常惨烈的战争的死亡人数了。根据WHO统计,在全世界范围内每年由交通事故造成的死亡人数有123万之多;而发生交通事故90%是由司机人为原因造成的,比如注意力不集中、超速、安全意识弱等等。所以目前减少交通事故的最主要途径通过采用高级辅助驾驶系统(ADAS)就是减少认为错误。

【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

对于ADAS系统,基本上包括这些功能:夜视辅助、车道保持、司机提醒、防撞提醒、车道变换辅助、停车辅助、碰撞疏解、死角障碍物检测、交通标志识别、车道线偏移提醒、司机状态监测、远光灯辅助等。这些功能是ADAS所必备的。

为了实现这些功能,一般其传感器需要包括视觉传感器、超声波传感器、GPS&Map传感器、Lidar传感器、Radar传感器,还有一些别的通信设备。但是我们在市面上看到的大多数传感器其功能其实是比较少的,例如mobile I,它只有车道保持、交通标志识别、前车监测和距离监测的功能,但并不全面。从厂家或者用户的角度来说,自然我们希望能用最便宜的传感器来完成更多ADAS的功能。最便宜的传感器基本上就是视觉传感器。所以我们设计方案时就想,能不能通过算法将视觉传感器实现更多ADAS系统的功能呢?这就是我们整个研发的初衷。

此外,我们还需要考虑ADAS的一些特点。ADAS系统(包括无人驾驶)是在一个嵌入式平台下进行的,也就是说它的计算资源很少。那么我们也必须考虑如何在这样一个计算资源非常少的基础上,保证ADAS系统能够快速且高精度地响应,同时还能保证多任务的需求。这是我们第二个要考虑的问题。

【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

为了解决以上两个问题,我们首先把ADAS的任务分解一下。如图所示,我们将ADAS的任务分解成目标检测与识别、图像分割、摄像机成像目标跟踪、图像分割。我们过去一年多的研发工作其实就是,用一个深度学习框架来同时实现上述这四个的功能。

对于一个前向传播的网络,其计算量和计算时间主要取决于它的参数数量,而80%的参数都来自全链接层,所以我们的第一个想法就是去掉全链接层。其次,网络越深,它的参数就会越多所以如果我们把目标检测与识别、图像分割、摄像机成像目标跟踪、图像分割做成四个网络的话,就会有X4倍的参数。

【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

所以针对这两个考量,我们用一个主干的网络来做前面的运算,然后在后面再根据具体的任务分成多个小的分支加到主干网络上。这样多个图像处理的任务就可以通过一个主干网络的前向传播来完成了,其参数大大减少,计算速度也变的更快。同时我们也能实现多个任务同时进行的需求。另外,在最后我们还可以将多个结果进行融合,驾到训练过程的调整中,这样就可以提高我们结果的可信性。

但是在这个过程中我们也碰到一些难点。第一个难点就是我们在同一个网络中需要将较大的目标(例如车辆)和较小的目标(例如交通标志)同时检测出来。第二个难点是,测速测距时我们需要的目标的位置是非常精确的,目前这个问题我们还没有解决。


二、模型结构


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

这个是我们设计的网络的一个基本结构。它分为几个部分:主干网络(我们称为解码器)、多个分支(我们称为编码器)和基于CRF的结果融合。现在这个网络我们只设计了两个编码器,一个是检测任务编码器,还有一个是分割任务编码器,以后我们还可以增加其他的编码器。结果融合,主要是想用它来影响主干网络的一些权重选择。主干网络,我们选择了一些比较有人气的算法,例如VGG 16、GoogleNet、ResNet等。分割任务编码器我们用了FCN编码器,检测任务编码器我们用了YOLO9000编码器。

1、主干网络

【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

下面我们来详细看一下这个网络各个部分。首先我们来看主干网络。主干网络我们使用了VGG、GoogleNet或者ResNet。这几个是可选择的。从右侧的这张图(纵轴是网络深度,圈的大小表示模型的大小)我们可以看到ResNet在深度和大小上都比较好,我们选择使用ResNet可以有比较好的实时性。

2、FCN语义分割解码器

【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

然后我们看一下FCN语义分割解码器。在神经网络中,一张图片经过主干网络后,再对其提取高维特征图。其实这个过程就是用pooling的方法给它降维。结果到了输出高维特征图时,它只有原图像的1/32大小了。随后我们采用上采样把它升维成原图像大小。上采样的过程就如左侧所示,这个示例中我们将2*2的图像上采样成4*4的图像。

【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

上采样的结果就是解码器预测出来的,我们将它与标注好的图像进行比较运算,算出loss,然后对权重进行修改。在上采样中一个问题就是,比较小的物体是计算不出来的。我们知道一些较浅的卷积层感知阈比较小,它会包含更多比较局部的信息;而较深的卷积层具有较大的感知阈,它能够学习到更加抽象的信息。于是FCN就通过将pool3、pool4和pool5的信息叠加在一起进行上采样,这样就可以做到同时上采样多个尺度的信息了。

3、目标检测/识别解码器 YOLO

【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

其次我们再来介绍一下用于目标检测/识别的解码器YOLO。我们使用的是YOLO V2的解码器,但这里我们先介绍一下YOLO V1。这是YOLO V1的主框架,它的主干网络是Darknet19,我们不用管它。我们重点关注编码器的过程。主干网络输出的特征图,这种特征图会用1*1 的卷积核给正规化成7*7*30的特征图。那么这个30是什么呢?

【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

在这样一个7*7的矩形框中,每一个方形框用一个点来表示。然后我们分别用5维表示包含这个方形框的一个矩形框,其中4维表示x、y、z、w,另外一维为confidence。

【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

在YOLO V1中30维的前10个为两个这样的矩形框。它们的(x,y,z,w)分别表示了坐标预测,而另外一维为confidence预测。另外的20维为类别预测(也就是说在模型中有20种可能出现的例如汽车、行人之类的模型 )。

【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

YOLO V2与V1最大的不同就是采用了Anchor boxes。所谓Anchor boxes就是每个中心预测(例如9种)不同大小和比例的建议框,每一个建议框对应一个4维的坐标预测、1维confidence预测和20维的类别预测。它提出一个非常有意思的思想就是维度聚类,也即现在训练集里通过聚类的方式算出Anchor boxes的大小。这样,例如它从9个boxes选出5个boxes。于是对于VOC数据集,总共就5*(4+1+20)=125个输出维度。

【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

YOLO V2 Anchor boxes的选择以及维度聚类的思想对于我们车载摄像的问题是更有效的,因为我们摄像机的位置是相对固定的,所以我们可以算出每一个目标的大小都是相对比较固定的。

我们在YOLO V2的基础上也做了一些改动。首先是我们做了一些细粒度特征,来检测小目标。其次我们还在浅层特征中进一步地做坐标预测,然后加到我们的整个预测当中,这样可以提高小目标的预测。

4、一些思考

【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

在这个研究的过程中,我们做了一些思考。

首先,在计算机视觉领域里,低中层视觉问题更关注原始视觉信号,与语义信息的联系相对松散,同时也是许多高层视觉问题的预处理步骤。本届CVPR有关低中层视觉问题的论文有很多,涵盖去模糊、超分辨率、物体分割、色彩恒定性(color constancy)。

其次,在最后的层中抽象的特征对分类很有帮助,可以很好地判断出一幅图像中包含什么类别的物体,但是因为丢失了一些物体的细节,不能很好地给出物体的具体轮廓,指出每个像素具体属于哪个物体。

我们该如何将浅层特征和深层特征结合起来呢?这其实还需要进一步的研究。


三、数据库建立

【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

在数据库这方面,我们发现国内的路况与国外路况很不一样,且中国的车的种类也多种多样。所以我们开发了一种半自动标注软件,也就是我们可以通过算法自动完成车辆标注,同时我们还可以手动修正误差较大的标注。目前我们已经标注了5万张矩形标注数据集。我们力争在年底能够开放数据集,另一方面我们也能协助企业建立数据库。

【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

另外在数据库建立方面,我们还要拓展一下数据库类型。例如通过原来白天的图片,我们可以生成黑夜的图片,增加到我们的训练样本中去。


四、结果显示

【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径

雷锋网注:此处结果显示仅为展示部分视频的截图,视频详细内容请关注 AI 研习社:第9期·分享回顾|袁雪:多任务深度学习框架ADAS中的应用。



Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


新智驾                             【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径                            

雷锋网旗下智能驾驶频道,专注自动驾驶和汽车智能化的报道。在这里,读懂汽车的未来。

                                                                       

【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


文 | 思佳 

来自新智驾(AI-Drive)的报道


新智驾按:“这是个尴尬的时刻,不过我们还是来讨论技术吧!”今年3月份在德国柏林召开的博世互联大会2017(Bosch Connected World 2017)上,Mobileye CTO兼联合创始人Amnon Shashua在演讲开场时幽默地如是说。


观众笑了。因为就在这场演讲开始前的两天,英特尔宣布斥资153亿美元收购Mobileye,也创造了几乎是2017年最大、最受瞩目的收购案。


时间回到现在,就在前几天,英特尔已经正式完成对Mobileye的收购,故事以Mobileye成为英特尔子公司开始一个新的篇章。


很多人都讨论过英特尔这笔钱花得值不值,但不可否认的是,Mobileye正调用自身在环境“强感知”技术的积累,在自动驾驶领域走得越来越远。同时,Mobileye实现了技术厂商的跃进,如今真正和车企站在一起。


或许是因为这些,或许是因为其他的什么,CTO Amnon Shashua在演讲中可以自信地说,“Mobileye正在走一条正确的路线,不这样做自动驾驶永远都实现不了。


在这个路线中,人工智能不可或缺。Mobileye到底如何利用人工智能实现对自动驾驶研发的超车呢?答案在Amnon Shashua的演讲中,新智驾对演讲内容做了不改变原意的编辑整理。


Amnon Shashua:在浩大的自动驾驶产业链中,人工智能到底扮演着怎样的角色呢?今天我们要来讨论这个问题。


在这之前明确,实现自动驾驶的方案和路径多种多样,我将它们分为两类:比较传统的方案;大量运用人工智能的方案,也是我们正在做的方案。今天会具体介绍他们。


一、自动驾驶三个关键技术


为了实现自动驾驶,我们需要解决的技术主要分为三部分:


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


  • 感知:在车辆部署摄像头、激光雷达、毫米波雷达等传感器,配合高性能的算法,让车辆感知周边环境。


  • 高精度地图:高精度地图是实现自动驾驶的必要性技术之一,它提供了一种更前瞻的信息指示和冗余性,是保证自动驾驶安全的基础。


  • 驾驶决策:在驾驶决策的技术研发中,往往能为人工智能提供大量用武之地。其最终目的是,让自动驾驶车辆在面对复杂交通环境时,能够像人一样驾驶,拥有人类的一些决策属性和技巧,同时也要保证安全。


二、人工智能在感知中的应用


下图是我们与德尔福合作研发的自动驾驶demo,车辆在长达10公里的拉斯维加斯街道上完成了无干预的自动驾驶。图中可以看到,3D box准确框出了每一台车辆,绿色部分标识了可驾驶的空白区域,同时算法对交通灯、交通指示牌也进行了识别。总的来说,这台自动驾驶车对周边环境进行了360度的感知识别。


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


再来展示一下关于绘图的内容。下图展示的是Mobileye近一年半时间研发的REM(Road Experience Management)路网采集管理系统,这是我们通过众包模式收集数据绘制高精度地图的方法,这些采集到的路标构成了RoadBook(路书)。该项目中,我们与宝马和其他汽车平台合作,进行数据收集。


最终我们得到一个存储在云端的地图,它可以投射在两个界面上,图中右手边是将数据投射在谷歌地球上,这样可以得到大尺度的精度参考,左手边是投射在车辆采集的实时图像上。


当运行起这样的系统时,可以看到投射在谷歌地球和车辆视角图像的车道线非常精准,同时标注出了道路标识等信息,精度达厘米级。


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


这是另一个demo,与尼桑汽车在伦敦街道上的道路测试。


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


在这个过程中,人工智能发挥了哪些作用?


当提到车辆感知,通常指的是物体检测的过程,即道路上的车辆、行人、交通标识、交通灯等等。


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


环境感知的阶段一:感知障碍物。对机器而言,输入的是图像,输出的其实是bounding box,如一辆汽车的bounding box、一个行人的bounding box。这是如今的驾驶辅助系统,我们需要检测车辆、行人等物体,再根据这些障碍物进行相应的驾驶决策。


环境感知的阶段二:感知空闲区域(free space)。过去的环境感知,是检测路缘、护栏等障碍物,依此判断哪里能够驾驶,哪里不能。而现在换一种方式,输入仍然是图像,但输出是一种自由形式的边界范围(free form boundary)对边界范围进行识别,我们需要对诸如车道线、路缘等等特征进行语义理解,这使得系统实现变得更复杂。


环境感知的阶段三:感知可驾驶区域(Drivable Paths)。这个阶段产生的是真正的颠覆性技术,系统将感知每条道路通往何地,以及与道路相关的语义理解,例如这条路有多长、这条道路会通往高速、高速的出口又在哪里…所以这个时候,输入是图像,但输出的是一个故事,是要去描述一个的场景,而不只是识别出障碍物。我们将这称为“强感知”,这确实是一个开放性的问题。


以上就是Mobileye在车辆感知中应用人工智能的尝试。第一阶段是单纯软件问题,第二阶段进行了升级,目前已经实现量产,比如特斯拉的第一代Autopilot系统,第三阶段是非常有挑战性的,同时需要大量的人工智能技术参与。


三、感知技术与高精度地图的融合


感知技术是如何被运用的?


感知技术是如何被运用的?目前主要有两种路径,第一种“重地图模式”(Map heavy approach),第二种“轻地图模式”(Map light approach),Mobileye属于第二种方式。


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


1、重地图模式


这种方式很好描述,也很容易使用和部署。但这是一个错误的方式。为什么?下面具体介绍。


  • 这种方式通过使用3D传感器(如激光雷达)来检测车辆和行人,然后被呈现在车辆的3D坐标系统中。


  • 之后,将车辆在3D地图中进行定位。实现方式有多种,例如车辆通过激光雷达采集了周边环境数据,并与已有的高精度地图数据进行匹配,就可以进行自定位。


  • 将步骤一中检测到的车辆和行人放置到高精度地图中,因为你已经实现了自定位,而高精度地图中包含了所有车道线等信息,所以你已经拥有了“上帝视角”,你从高精度地图上获取了可驾驶的路径,同时有通过感知得来的物体检测信息,所以直到目前,似乎我们不需要任何摄像头。


如果你回忆一下谷歌最初的无人车原型,他们没有部署环境感知摄像头,只有一个看交通灯的摄像头,其他都是基于激光雷达完成的。


这就是第一种路径。


2、轻地图模式


现在,如果你希望系统有更好的鲁棒性。你就需要加入更多的传感器,例如摄像头。每加入一种传感器,都需要将其数据转化成三维,所以,如果你现在拥有摄像头数据,就必须将摄像头数据加载在3D坐标系统中。


问题在于,由2D转向3D是很困难的,毫米波雷达的数据也是2D的,它测量不同的维度,但仍然是2D。我们使用轻地图模式,解决这个问题。


  • 使用摄像头同时检测车辆、行人以及可驾驶路径。即将静态和动态场景描述放在同一个2D坐标系统中。


  • 通过将高精度地图数据投射在车辆获取的2D图像中进行车辆自定位。该技术在上面的demo中已经进行了展示。


  • 现在,我们使用这种投射方式,建立一个车辆和可驾驶路径的统一3D视角,因为地图是三维的。而当你需要加入一个额外的传感器,如毫米波雷达、激光雷达等传感器,你所有需要做的,就是将3D转换成2D。例如将激光雷达数据投射到二维图像中,这是比较简单的。


举个例子,这是将激光雷达数据和其他数据投射到二维图像上的示例。


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


这是将毫米波雷达数据投射到二维图像的示例。


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


现在,让我们看一下这种方式的优势。如下图所示,左侧展示了右侧图像的仰视图视角,并且我们可以非常准确地获取这种视角。


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


所以,摄像头加地图就可以提供所有驾驶需要的信息,之后毫米波雷达和激光雷达等传感器,会处理一些冗余的问题。


接下来,我们总结一下这两种路径的优缺点。


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


重地图模式的优点:


  • 非常容易设计出原型,找10个有才能的工程师,不出6个月的时间,你就能到一个不错的demo。这就是一些硅谷团队在做的事。


重地图模式的缺点:


  • 会造成车辆对高精度地图的过分依赖,没有高精度地图,你什么都做不了。


  • 可驾驶路径和车辆/行人处于不同坐标系统中,没有协同,且每类物体由不同的传感器识别。当你将它们同步到同一个坐标系统中,容易产生错误。


  • 真正重要的是,创建高精度地图需要人工标注,这是一个巨额的成本投入。


如果没有一个真正经济的高精度地图绘制方式,自动驾驶很难真正落地。而如今许多公司在绘制高精度地图时使用的方式都是非常昂贵的。


轻地图模式的优点:


  • 摄像头是唯一的环境感知传感器,在同一坐标系统中同时检测车辆/行人以及可驾驶路径。


  • 使用车载摄像头传感器众包获取数据,制作高精度地图,大大降低了成本。


  • 可实现低成本的level 2+等级自动驾驶。在level 2中,驾驶员需要对车辆驾驶控制负责,但是通过轻地图模式,可以实现类似level 3、level 4的体验,同时激光雷达将不是必须的。这开拓了更广泛的商业和市场前景。


轻地图模式的缺点:


  • 非常难以实现。


    如刚才所说,感知的第三阶段很复杂,且需要大量人工智能技术辅助。但从长远角度看,这是一条正确的路径。重地图模式短期来看易于实现,但长期而言,不能形成规模化。


四、人工智能为驾驶决策带来了什么?


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


这部分讲驾驶决策,即复杂交通中的博弈。上图中的新闻,是大概一年多前,自动驾驶撞人的案件。无数自动驾驶车都在面临一个共性的问题,他们的驾驶决策太过简单,当一些复杂的、意料不到的事情发生时,驾驶员必须要进行接管。机器无法做出人类面对复杂情况的博弈和决策。


前提是,驾驶是一个“多主体”的游戏,只要道路上还存在人类驾驶员,那么机器就必须明白人类的决策技巧,人类容易冲动,人类会犯错,所以自动驾驶车需要与人类司机进行协同配合,同时要保证安全。


所以,现实生活中的交通到底是什么样呢?为了弄清楚这个问题,我用一架无人机进行航拍,拍下了一些现实交通的画面。


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


上面这辆车尝试并线,没人给这个“可怜的人”让行,不过这就是真实生活!所以想象一下,把这个场景交给自动驾驶车,你如果希望它能做到这样,那就是天方夜谭了,做到接近都是不可能的。


我们更具体地聊聊。下图展示了双车道并线问题,这是我们与宝马汽车合作的项目,目的是解决现阶段一个非常具体的驾驶问题,也是一个非常困难的问题。


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


在双车道问题上,车辆会从两侧车道会车,为什么这个问题具有挑战性呢?因为车辆不是简单地挤进来,它可能会干扰其他车辆行驶,也有可能产生两车僵持的情况。但对于两车道会车,没有一个明确规则,唯一的规则就是不要发生事故。


在四车道的十字路口会车时,其实并不是最难的,因为十字路口有交通灯,有规则,但这种双车道会车的情况则不同。所以,你必须预估出之后几秒的情况,并做出规划,你需要估摸出会车间距和通行的时间,能够在不发生碰撞的情况下及时通过。所以,这其实是一种非常困难的问题。


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


所以,我们希望能利用机器学习解决这个非常复杂的问题。而机器学习的趋势,就是数据驱动。


  • 优势:比基于规则的算法更简单地观察和收集数据。在很多场景中都是这样,例如自然语言识别、计算机视觉等等。历史经验表明,机器理解潜在规则是很难的,但收集数据,用数据驱动机器学习算法性能,会获得更好的表现。


    所以,大规模应用机器学习,是一个正确的趋势。


  • 缺点:机器学习的性能表现取决于你用来训练它的数据,这就意味着有可能出现“临界”情况。而找到这样的临界情况需要更多的数据,以及更多的尝试,直到筛选出临界情况。


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


所以,机器学习是一个有监督的学习过程。在感知过程中,你感知的是当时的场景,而在感知背后的技术,是过去的积累和学习,是深度、有监督的学习;而当提到驾驶策略时,你其实是在计划未来,这是一个不太一样的机器学习方法,被称作增强学习,在其中你需要与环境进行交互。


为什么这两者在叫法上不同?他们的区别在于,使用数据的方式。


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


1、有监督的学习


在有监督的学习中,我们预测的行动不会对环境产生影响,因此我们可以一次性收集所有的数据,也可以在线下收集数据,然后再用这些数据不断训练神经网络,直到找到所有的“临界”情况。


2、增强学习


在增强学习中,我们的行动会对环境产生影响,这意味着,如果我决定左转,我就正在影响其他驾驶的车辆。所以,现在如果我要更改软件,那意味着我需要重新收集所有的数据,因为每一次变化驾驶决策,就是在改变影响环境的方式。


这会造成一些问题,因为临界情况在驾驶中就代表着“事故”的可能性。而事故是一个小概率事件,为了找出这种临界情况,那么我们就需要大量的数据,而每次要修改软件时,又需要重新再收集一次数据。这就造成了很大的问题。


这也是为什么传统基于规则的路径规划算法没有引入机器学习,因为这个命题并不是那么吸引人,这听起来并不是什么好主意。


所以,我们找到了了一种解决这个问题的方式。用这种方法,我们可以使用机器学习算法,同时避免数据量的爆炸,并确保安全。在Mobileye网站上可以找到这篇论文。


我们在仿真实验中对其进行了测试,下图中的8辆汽车都是被训练的驾驶主体,随机分布,可以看到,它们经历了复杂的调度决策。


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


在这个仿真实验中,共经历了10万次路测驾驶,每次测试中有8个驾驶主体、位置随机,没有发生碰撞事故。系统性能达到每秒10hz的频率响应。占用的计算量仅1%,而这些,正是得益于人工智能。


在传统的方法中,你试图开启的是一棵包含了所有可能性的树,这最终会导致数据爆炸和系统瘫痪。但如果使用机器学习,就像谷歌Alphago赢得了人类积累了数千年历史的围棋,你正在开启一种新的可能性。


你使用了一种新的方式,通过数据驱动的方式,穿越了这棵巨大的树。


目前,Mobileye已经在进行相关的研究,如下图,所有的驾驶主体都是被我们训练的样本,可以看到,它们的驾驶行为已经越发接近人类。


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


五、结语


【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径


总结一下,Mobileye如何利用人工智能加速自动驾驶的落地?主要是以下几部分。


1、正确的感知:即通过“强感知”理解可驾驶的路径。传统的方法过分依赖高精度地图,而规避了技术上难以实现的部分,但如果这样做,就不会形成规模化系统。


2、正确的绘图:使用“强感知”技术,通过众包自动生成高精度地图。我们的技术最终希望高精度地图的生成完全自动化。


3、正确的驾驶决策:让自动驾驶车达到人类等级的判断力,像人类一样敏捷,同时还要确保安全,这是一个挑战,我们在这部分的研究仍处于起步阶段。大家可以在Mobileye网站上浏览我们的研究论文,在这方面我们与宝马汽车进行了许多项目研究。


而在这部分,如果我们不能正确的解决,那么真的无法使自动驾驶落地。这其中将涉及大量的人工智能技术


以上,就是人工智能在自动驾驶领域的创新应用和变革。【完】

 【智能驾驶】多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径



新一代技术+商业操作系统:

AI-CPS OS

     

新一代技术+商业操作系统(AI-CPS OS:云计算+大数据+物联网+区块链+人工智能分支用来的今天,企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中,利AI-CPS OS形成字化力量,实现行业的重新布局、企业的重新构建和自我的焕然新生,在行业、企业和自身三个层面勇立鳌头。


数字化力量与行业、企业及个人三个层面的交叉,形成了领导力模式,使数字化融入到领导者所在企业与领导方式的核心位置。

  • 分辨率革命种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切,进而理解和更加精细地进行产品控制、事件控制和结果控制。

  • 复合不确定性:数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验,其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域:技术、文化、制度。

  • 边界模糊化:数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化,还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。


领导者无法依靠某种单一战略方法来应对多维度的数字化变革。随着变革范围不断扩大,一切都几乎变得不确定,即使是最精明的领导者也可能失去方向。面对新一代技术+商业操作系统(AI-CPS OS:云计算+大数据+物联网+区块链+人工智能颠覆性的数字化力量,领导者必须在行业、企业与个人这三个层面都保持领先地位。


如果不能在上述三个层面保持领先,领导力将会不断弱化并难以维继: 

  • 重新进行行业布局:你的世界观要怎样改变才算足够?你必须对行业典范进行怎样的反思?

  • 重新构建你的企业:你的企业需要做出什么样的变化?你准备如何重新定义你的公司?

  • 重新打造新的自己:你需要成为怎样的人?要重塑自己并在数字化时代保有领先地位,你必须如何去做?


子曰:“君子和而不同,小人同而不和。”  《论语·子路》

云计算、大数据、物联网、区块链和 人工智能,像君子一般融合,一起体现科技就是生产力。


如果说上一次哥伦布地理大发现,拓展的是人类的物理空间。那么这一次地理大发现,拓展的就是人们的数字空间。

在数学空间,建立新的商业文明,从而发现新的创富模式,为人类社会带来新的财富空间。

云计算,大数据、物联网和区块链,是进入这个数字空间的船,而人工智能就是那船上的帆,哥伦布之帆!


人工智能通过三个方式激发经济增长:

  1. 创造虚拟劳动力,承担需要适应性和敏捷性的复杂任务,即“智能自动化”,以区别于传统的自动化解决方案;

  2. 对现有劳动力和实物资产进行有利的补充和提升,提高资本效率;

  3. 人工智能的普及,将推动多行业的相关创新,开辟崭新的经济增长空间。


新一代信息技术(云计算、大数据、物联网、区块链和人工智能)的商业化落地进度远不及技术其本身的革新来得迅猛,究其原因,技术供应商(乙方)不明确自己的技术可服务于谁,传统企业机构(甲方)不懂如何有效利用新一代信息技术创新商业模式和提升效率。


“产业智能官”,通过甲、乙方价值巨大的云计算、大数据、物联网、区块链和人工智能的论文、研究报告和商业合作项目,面向企业CEO、CDO、CTO和CIO,服务新一代信息技术输出者和新一代信息技术消费者。


助力新一代信息技术公司寻找最有价值的潜在传统客户与商业化落地路径,帮助传统企业选择与开发适合自己的新一代信息技术产品和技术方案,消除新一代信息技术公司与传统企业之间的信息不对称,推动云计算、大数据、物联网、区块链和人工智能的商业化浪潮。


给决策制定者和商业领袖的建议:


  1. 超越自动化,开启新创新模式:利用具有自主学习和自我控制能力的动态机器智能,为企业创造新商机;

  2. 迎接新一代信息技术,迎接人工智能:无缝整合人类智慧与机器智能,重新

    评估未来的知识和技能类型;

  3. 制定道德规范:切实为人工智能生态系统制定道德准则,并在智能机器的开

    发过程中确定更加明晰的标准和最佳实践;

  4. 重视再分配效应:对人工智能可能带来的冲击做好准备,制定战略帮助面临

    较高失业风险的人群;

  5. 开发人工智能型企业所需新能力:员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说,创造兼具包容性和多样性的文化也非常重要。


新一代技术+商业操作系统(AI-CPS OS:云计算+大数据+物联网+区块链+人工智能作为新一轮产业变革的核心驱动力,将进一步释放历次科技革命和产业变革积蓄的巨大能量,并创造新的强大引擎。

重构生产、分配、交换、消费等经济活动各环节,形成从宏观到微观各领域的智能化新需求,催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革,深刻改变人类生产生活方式和思维模式,实现社会生产力的整体跃升。

新一代技术+商业操作系统(AI-CPS OS:云计算+大数据+物联网+区块链+人工智能正在经历从“概念”到“落地”,最终实现“大范围规模化应用,深刻改变人类生活”的过程。





产业智能官  AI-CPS



新一代技术+商业操作系统(AI-CPS OS:云计算+大数据+物联网+区块链+人工智能),在场景中状态感知-实时分析-自主决策-精准执行-学习提升认知计算机器智能实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链





新技术“云计算”、“大数据”、“物联网”、“区块链”、“人工智能”;新产业:“智能制造”、“智能驾驶”、“智能金融”、“智能城市”、“智能零售”;新模式:“案例分析”、“研究报告”、“商业模式”、“供应链金融”、“财富空间”












以上是关于智能驾驶多任务深度学习框架在ADAS中的应用;Mobileye被收购后首度发声:我们所相信的自动驾驶实现路径的主要内容,如果未能解决你的问题,请参考以下文章

多任务深度学习框架在 ADAS 中的应用 | 分享总结

第 9 期 · 分享回顾 | 袁雪:多任务深度学习框架在 ADAS 中的应用

直播在ADAS中运用多任务深度学习框架

自动驾驶l4级别啥意思

深度学习中的图像分割:方法和应用

ADAS与自动驾驶汽车仿真的六个方面