自动驾驶喧嚣背后,GPU是NVIDIA的一家独舞 | GGAI深度

Posted 高工智能汽车

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了自动驾驶喧嚣背后,GPU是NVIDIA的一家独舞 | GGAI深度相关的知识,希望对你有一定的参考价值。

【加入高工智能汽车行业群( 自动驾驶行业3群,车联网智能座舱2群,智能商用车行业群 ),加微信:15818636852。仅限智能网联软硬件企业、汽车零部件及OEM厂商】

GPU(Graphics Processing Unit)图形处理器,又称显示核心、视觉处理器、显示芯片,是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器。


1985年10月ATi使用ASIC技术开发出了第一款图形芯片和图形卡,1992年4月 ATi发布了Mach32图形卡集成了图形加速功能,1998年4月ATi被IDC评选为图形芯片工业的市场领导者。


但那时候这种芯片还没有GPU的称号,很长的一段时间ATI都是把图形处理器称为VPU,直到AMD收购ATI之后其图形芯片才正式采用GPU的名字。


NVIDIA公司在1999年发布GeForce 256图形处理芯片时首先提出GPU的概念。从此NV显卡的芯就用这个新名字GPU来称呼。GPU使显卡削减了对CPU的依赖,并实行部分原本CPU的工作,更加是在3D图形处理时。


GPU所采用的核心技术有硬体T&L、立方环境材质贴图与顶点混合、纹理压缩及凹凸映射贴图、双重纹理四像素256位渲染引擎等,而硬体T&L技术能够说是GPU的标志。


GPU能够从硬件上支持T&L(TransformandLighting,多边形转换与光源处理)的显示芯片,因为T&L是3D渲染中的一个重要部分,其作用是计算多边形的3D位置和处理动态光线效果,也可以称为“几何处理”。一个好的T&L单元,可以提供细致的3D物体和高级的光线特效。


为密集型、易并行程序而生


GPU的核数远超CPU,被称为众核(NVIDIA Fermi有512个核)。每个核拥有的缓存大小相对小,数字逻辑运算单元也少而简单(GPU初始时在浮点计算上一直弱于CPU)。在浮点运算、并行计算等部分计算方面,GPU可以提供数十倍乃至于上百倍于CPU的性能。GPU会产生大量热量,所以它的上方通常安装有散热器或风扇。


GPU的众核架构非常适合把同样的指令流并行发送到众核上,采用不同的输入数据执行。在 2003-2004年左右,图形学之外的领域专家开始注意到GPU与众不同的计算能力,开始尝试把GPU用于通用计算(即GPU)。


之后NVIDIA发布了CUDA,AMD和等公司也发布了OpenCL,GPU开始在通用计算领域得到广泛应用,包括:数值分析,海量数据处理(排序,Map- Reduce等),金融分析等等。GPU通用计算方面的标准目前有 OPEN CL、CUDA、ATI STREAM。


GPU面对的则是类型高度统一的、相互无依赖的大规模数据和不需要被打断的纯净的计算环境。适合在GPU上运行的有:

(1)计算密集型的程序。所谓计算密集型(Compute-intensive)的程序,就是其大部分运行时间花在了寄存器运算上,寄存器的速度和处理器的速度相当,从寄存器读写数据几乎没有延时。

(2)易于并行的程序。GPU其实是一种SIMD(Single Instruction Multiple Data)架构, 他有成百上千个核,每一个核在同一时间最好能做同样的事情。


具备以上特征的,是图形、视频的处理,因此GPU也可以说成专为图像处理而生。GPU图形处理的过程大致分成 5 个步骤: vertex shader、primitive processing、rasterisation、fragment shader、testing and blending。


1、vertex shader,是将三维空间中数个(x,y,z)顶点放进 GPU 中。

2、primitive processing,是将相关的点链接在一起,以形成图形。

3、rasterisation,因为电脑的屏幕是由一个又一个的像素组成,因此,需要将一条连续的直线,使用绘图的演算法,以方格绘出该直线。图形也是以此方式,先标出边线,再用方格填满整个平面。

4、fragment shader,将格点化后的图形着上颜色。

5、testing and blending。便是将第一步所获得的投影垂直距离取出,和第四步的结果一同做最后处理。


自动驾驶GPU厂商的一枝独秀


GPU厂商有不少,如Imagination、Inter、NVIDIA、AMD(ATI)、3dfx、Matrox、SiS和VIA、GCxx(隶属于Vivante)、Adreno(隶属于高通),但目前大部分的市场,都在移动端。


PowerVR(隶属于Imagination技术公司)专注于移动GPU技术授权,它是移动平台GPU授权的老大,授权伙伴主要有Intel、苹果、联发科、LG、高通、瑞萨、三星、海思、Marvell、索尼等等。


Mali(隶属于ARM)有一整套GPU授权方案很多不具备独立开发GPU技术的芯片供应商都直接使用了ARM处理器+Mali GPU的设计,比如三星、瑞芯微、展讯、意法半导体、全志等。


GPU厂商在移动市场领域也是呈寡头垄断局面,AMD和英伟达合力垄断了游戏/生产力GPU市场。但在自动驾驶领域吗,当中最为出名的,便是NVIDIA。


2016年底,基于AMD自家GPU芯片的Radeon Instinct姗姗来迟,号称服务于自动驾驶汽车/无人机等领域,可用于深度学习推理和训练。作为一个高性能GPU加速器,它结合MIOpen和ROCm开源软件,用于加速提升机器智能的发展。


其中Radeon Instinct MI6加速器基于备受欢迎的北极星GPU架构,采用被动散热,板卡功耗150瓦,FP16峰值性能达到5.7TFLOPS,板载16GB GPU内存。


Intel不但是世界上最大的CPU生产销售商,也是世界最大的GPU生产销售商。但在自动驾驶领域,Inter并没有朝着GPU的方向而去,而是选择了Mobileye的EyeQ和Altera的FPGA方案。


如此一来,GPU在自动驾驶领域的争夺,目前就只是NVIDIA的一家独大了。


NVIDIA的GPU全家桶

自动驾驶喧嚣背后,GPU是NVIDIA的一家独舞 | GGAI深度

针对自动驾驶领域,NVIDIA煞费苦心的构建了软硬件一体化的解决方案,连入门的开发套件也一应俱全。


硬件产品:


DRIVE PX Parker AutoCruise,具备自动巡航能力,可支持高速公路自动驾驶以及高清制图。DRIVE PX Parker AutoChauffeur,可用于点到点行驶。DRIVE PX Xavier 能够提供 20 TOPS 的高性能,而功耗仅有 20 瓦。2018 年第一季度上市。


DRIVE PX Pegasus能同时运行许多深度神经网络,可满足自动驾驶的一切安全所需,无需方向盘或踏板。Pegasus 将于 2018 年中向 NVIDIA 的汽车合作伙伴供应。


软件产品:


NVIDIA DGX 系统 可以将数据中心的神经网络训练时间从几个月缩短到仅仅几天。所得到的神经网络模块可以在 NVIDIA DRIVE PX 上实时运行。训练好深度神经网络,然后再部署至汽车。


NVIDIA DriveWorks作为NVIDIA DRIVE软件的一部分提供,用于选择汽车制造商,一级供应商和研究机构,致力于开发让汽车自行驾驶的系统。


NVIDIA DRIVE IX 软件可利用来自车内外麦克风和摄像头的传感器数据,追踪驾驶员四周的环境。车载 NVIDIA DRIVE PX AI配合数据中心内的 NVIDIA Tesla GPU ,可创建高度精细的地图。


开发者套件:


当然还不止于此,为了让创业者更容易学习,接触人工智能,公司推出了高性能、低能耗的 NVIDIA Jetson TX1 \TX2模块。专为开发者研发的套件,可以帮助初创公司进行深度学习、计算机视觉,进行大型、复杂的深度神经网络实验。虽不是专门针对自动驾驶,但很多初创团队都是用了TX2,完成了初代自动驾驶技术的验证。


可以说,NVIDIA为用户提供了一整套的产品,让市场学习并接受以GPU为核心的自动驾驶运算力平台。但光有产品,教学还不够,要让市场接受新鲜事物,赤膊上阵有时也势单力薄,最好能拉一些巨头共舞。


结盟产业链供应商,力推自动驾驶平台


为了更好的帮助开发者,以及初创公司,NVIDIA与一家自动驾驶系统零部件供应商AutonomouStuff合作,开发了一套基于DRIVE PX的整套软硬件自动驾驶平台,分高中低配版本。


其中高级版本使用了福特Fusion车型,包含2个Velodyne VLP16激光雷达,未来将推出VLP32激光雷达;11个Sekonix摄像头;1个Xsens MTI-G710、1个GNSS辅助、IMU强化版全球导航卫星系统/惯性导航系统(GNSS/INS);5个雷达;1个NovAtel SPAN IGM-A1惯性测量单元(Inertial Measurement Unit,IMU);1个ibeo四层多回波(Four Layer Multi-Echo)LUX传感器。 

传感器合作伙伴:


当然不仅于此,在LIDAR厂商中,NVIDIA还挑选了ibeo、Quanergy、Velodyne作为合作伙伴。


NVIDIA和QUANERGY通过采用QUANERGY传感器和来自NVIDIA DRIVE PX(一个强大的自动驾驶平台)的处理器的集成方法,联手打造了自动驾驶汽车之路。QUANERGY传感器使汽车能够检测,识别和分类周围的物体。


摄像头也有合作伙伴,包括Ficosa Corp、FLIR、Leopard Imaging Inc、PointGrey / FLIR、Sekonix。FLIR以革命性的FLIRBoson®热像仪内核为基础构建而成的FLIR ADK™是开发下一代汽车热像仪和高级驾驶员辅助系统(ADAS)的经济高效方式。ADK的热数据端口可直接通过标准USB连接进行分析,或通过可选的NVIDIA DRIVE™PX 2连接进行分析。


Leopard Imaging Inc.专门创建相机解决方案。示例包括嵌入式机器视觉应用的立体深度映射,以及支持智能机器和消费类产品的摄像机。他们可以支持各种RAW和YUV传感器,可以使用NVIDIA的片上ISP,也可以使用CSI或USB使用外部ISP。


安全伙伴:


Elektrobit和NVIDIA合作,开发了适用于NVIDIA DRIVE™PX的Elektrobit EB tresos解决方案:用于开发高级驾驶辅助系统(ADAS)的软件平台。它将强大的计算处理器与硬件和软件相结合,为自驾车辆提供安全至关重要的ADAS功能。


2017年6月7日,瑞典哥德堡 - ARCCORE是汽车行业软件和嵌入式平台的创新公司,正在NVIDIA DRIVE™PX平台上构建安全关键软件,为复杂的汽车系统提供动力。ARCCORE的软件平台将基于着名的汽车标准AUTOSAR,并将用作自动驾驶的高性能评估系统。


结盟OEM、Tier1,落地商业化


为了推进自家产品的落地商用,NVIDIA又找来了主机厂、Tier1,主机厂中不乏奥迪、奔驰、丰田、沃尔沃,宝马菲亚特、雪铁龙、保时捷等全球知名厂商,Tier1有博世、ZF、奥托立夫、海拉。


2017年3月16日,Bosch展示了与NVIDIA合作打造的Bosch AI 车载计算机。


2017年5月10日,NVIDIA宣布它正在与丰田合作提供人工智能硬件和软件技术,以提高计划在未来几年内推向市场的自动驾驶系统的功能。


2017年6月26日,NVIDIA宣布与ZF和海拉建立了战略合作伙伴关系,将AI技术与新车评估计划(NCAP)安全认证相结合,用于大规模部署自动驾驶车辆。该协议是非排他性的。


沃尔沃汽车和奥托立夫将与NVIDIA合作开发用于人工智能自动驾驶汽车的先进系统和软件,他们计划在2021年之前出售基于NVIDIA DRIVE™PX汽车计算平台的生产车辆。


在 CES 2017 上,奥迪和 NVIDIA 宣布加速推进长期合作,这一新的共同目标将使先进的 AI 汽车在 2020 年上路行驶。NVIDIA GPU 为全球所有下一代宝马汽车中采用的车载导航和信息系统提供支持。特斯拉和 NVIDIA 从最早开发革命性的 Model S 就已经开始合作。


虽然跟OEM、Tier1绑定了合作关系,但NVIDIA并不踏实,因为大部分协议都是非排他协议。而在NVIDIA的官网上,自动驾驶合作伙伴一页中,Tesla、宝马、本田、奥迪的合作页面已经打不开。


犹记得在2017年底,马斯克在一个私下场合,曾表露出要自造自动驾驶芯片的意愿,料想跟NVIDIA的合作也不是太满意。嗯,他的上一个合作伙伴是Mobileye。


温馨提示:点击阅读原文,报名参加5月4-5日在上海举办的高工智能汽车开发者大会,报名截止5月2日>>

以上是关于自动驾驶喧嚣背后,GPU是NVIDIA的一家独舞 | GGAI深度的主要内容,如果未能解决你的问题,请参考以下文章

NVIDIA这款自动驾驶芯片有多强

NVIDIA的自动驾驶错误注入引擎DriveFI

国产芯片再创纪录,将增强人工智能自动驾驶等新技术自主能力

滴滴和 NVIDIA 在自动驾驶领域达成合作

基于nvidia xavier智能车辆自动驾驶域控制器设计与实现(一)

KubeVirt上的虚拟化GPU工作负载