NVIDIA这款自动驾驶芯片有多强
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了NVIDIA这款自动驾驶芯片有多强相关的知识，希望对你有一定的参考价值。
一句话：量产最强
NVIDIA DRIVE AGX Xavier是在Xavier SoC上搭建的一个Level 2+自动驾驶及以上的AI计算平台。Xavier拥有比以往更快地利用巨大的性能，因为Xavier使用NVLink互连技术，以高达20GB / s的速度与专用GPU配对，比之前的PCI Express连接快10倍。
目前主要应用厂商：小鹏汽车今日与芯片巨头NVIDIA（英伟达）及NVIDIA中国合作伙伴德赛西威在英伟达全球GTC大会首日签订三方战略合作协议，共同研发适配中国交通环境和驾驶场景的L3级自动驾驶技术。
规格参数CPU：6核NVIDIA Carmel 64位 ARMv8.2，主频1400MHz (6MB二级缓存 + 4MB三级缓存)GPU：384核NVIDIA Volta，主频1100MHz，48个张量核心内存：8GB 128位 LPDDR4x，主频1600MHz，读写速度51.2GB/s存储：16GB eMMC 5.1显示：(2x) DP 1.4 / eDP 1.4 / HDMI 2.0 a/b @ 4Kp60PCIe：(2x) PCIe Gen 3控制器, 5路 | 1×1 + 1×1/2/4深度学习模块：双NVIDIA深度学习加速引擎（NVDLA）视频：2×4K30fps编码，2×4K60fps解码接口与尺寸：260针脚SODIMM, 70x45mm电源：10W/15W， 5V输入
参考技术A Xavier本质上就是新一代英伟达Tegra芯片，但有一些关键改进。换句话说，它能耗仅相当于上一代芯片的几分之一，但每秒能完成约20万亿次操作。英伟达发布Xavier的目标是把现有的Drive PX 2系统打造成一个处理能力超级强大的片上系统。Digital Trends表示，这对普通消费者来说意味着什么？在目前阶段它对普通消费者意义不大。Xavier距离问世还需要相当长一段时间，一年后样品才能出来。另外，对于大多数消费者而言，自动驾驶汽车也还有点遥远。
英伟达公布Xavier具有长远意义。自其公开的产品发布计划以上一代片上系统Parker告终以来，英伟达片上系统业务就遭到质疑，因此Xavier公布的意义不仅仅是展示一款全新处理器。
Digital Trends称，英伟达涉足自动驾驶汽车领域标志着其移动战略的正式终结，Xavier表明自动驾驶汽车业务是其长期战略。Xavier具有强大计算能力，其中包括用于输出8K视频的2个处理器，这是自动驾驶汽车“看清”道路和处理各种复杂行车状况所需要的。
AI简报20210625期自动驾驶运动预测挑战赛20美元的宜家台灯算力有多强？...
导读：本期为 AI 简报 20210624 期，请慢用~
本文一共 2719 字，通篇阅读结束需要 7~10 分钟
嵌入式AI
1. 低功耗AI芯片 | 安富莱电子
CSEM设计可由太阳能供电的低功耗AI芯片。CSEM工程师已经开发出一种集成电路，可以进行复杂的人工智能操作，如面部、语音和手势识别以及心脏监测。它可由微型电池或太阳能电池板供电，在边缘数据处理，并可配置用于任何类型的应用程序。
在近期的2021 VLSI技术和电路研讨会上展示了他们的设备。
AI 前沿
2. CVPR 2021奖项出炉：最佳论文花落马普所，何恺明获提名，首届黄煦涛纪念奖颁布 | 机器之心
就在前两天，深度学习国际顶尖会议之一的 CVPR 2021最佳论文、最佳学生论文等奖项出炉了！
含金量十足！这就是学术圈的前沿！
德国马普所和蒂宾根大学的研究者获得了最佳论文奖，加州理工和西北大学的研究者获得最佳学生论文奖。
此外，FAIR 包括何恺明在内的两位华人学者获得最佳论文提名，
而另一位华人学者、华盛顿大学计算机系硕士研究生林山川（Shanchuan Lin）获得了最佳学生论文提名。
最佳论文：《GIRAFFE: Representing Scenes As Compositional Generative Neural Feature Fields》
论文地址：https://arxiv.org/pdf/2011.12100.pdf
3. CVPR2021论文能修复马赛克？香港理工大学新研究，修复模糊图像！ | 新智元
Paper:
https://arxiv.org/abs/2105.06070
Github:
https://github.com/yangxy/GPEN
深度学习无所不能，一张打满了马赛克的脸也能通过模型的「想象」来消除。
但这不禁让人思考，通过深度学习训练出来人脸，还叫「图像修复」吗？也许叫「生成」更靠谱一些！
香港理工大学在CVPR2021上发表了一篇论文，GAN Prior Embedded Network for Blind Face Restoration in the Wild，可以将模糊的图片变清晰。
相比之前的工作，生成的图片更加真实。
这篇论文提出了一种新的人脸图像生成方法，首先学习一个用于高质量人脸图像生成的 GAN，并将其嵌入到 U-shaped DNN 中作为先验解码器，
然后用一组合成的低质量人脸图像对先验嵌入的 GAN DNN 进行微调。
4. 微软华人团队刷新COCO记录！全新目标检测机制达到SOTA｜CVPR 2021 | 新智元
Paper:
https://arxiv.org/abs/2106.08322
Github:
https://github.com/microsoft/DynamicHead
随着注意力机制在自然语言处理和计算机视觉等多个人工智能领域风靡，计算机视觉领域刷榜之争可谓是进入白热化阶段。
近期大量工作刷新现有各项任务SOTA：前脚谷歌刚在图像识别ImageNet上准确度超过90，紧接着微软又在目标检测COCO上AP超过60。
在一篇CVPR 2021 论文中，来自微软的研究者提出多重注意力机制统一目标检测头方法Dynamic Head, 可插拔特性提高多种目标检测框架的性能。
在Transformer骨干和额外数据加持下，COCO单模型测试取得新纪录：60.6 AP。
5. 米兰大学发布论文与猫咪叫声数据集，分类喵喵叫 | HyperAI超神经
米兰大学的研究团队在期刊《动物福利》上发布了论文《猫在不同环境中叫声的自动分类》。
他们通过音频信号处理和模式识别算法，实现了对猫叫声的自动分类。此外，团队还开放了一个包含 440 段由 21 只猫收集的叫声数据集。
收集二十一只猫，在三种状态的喵喵叫。
发布机构：米兰大学计算机系
包含数量：440 段音频
数据格式：wav
数据大小：20 MB
下载地址：
https://openbayes.com/console/openbayes/datasets/cxuvZ3QDu2S/
开源项目
6. 20美元的宜家台灯算力有多强？运行《毁灭战士》操作丝滑，最初竟是受假新闻启发 | 大数据文摘
GitHub:
https://github.com/next-hack/MG21DOOM
每逢佳节逛宜家的你，或许知道这款神奇的LED电灯。
这款售价大约20美元的电灯TRÅDFRI，可以随时进行调暗或调亮、设定想要的颜色，以及拿来玩《毁灭战士》。
是的，你没有看错。
因为TRÅDFRI的颜色调整功能，可以想象，其内部拥有一个计算机系统，而只要对其稍加改造，《毁灭战士》什么的，根本不在话下。
7. 腾讯优图TFace正式开源，更可信的人脸识别！ | 我爱计算机视觉
Github:
https://github.com/Tencent/TFace
继神经网络推理框架 ncnn、TNN，动作检测算法 DBG，通用目标检测算法 OSD，人脸检测算法 DSFD、人脸属性算法 FAN等众多优秀的框架、算法开源后，腾讯优图实验室又有一项人脸识别算法研究项目——TFace正式拥抱开源啦！
基于可信人脸识别的理念，TFace重点关注人脸识别领域的四个研究方向：精准、公平、可解释以及隐私。经过多年的行业实战经验，优图在每个方向都积累了大量硬核技术，其中很多提炼后作为学术成果发表在相关顶级CV会议中。为了方便研究人员快速复现我们的工作，已发表文章的代码全部在TFace中开源
8. CVPR自动驾驶运动预测挑战赛：轻舟智航夺冠方案 | 我爱计算机视觉
Github:
https://github.com/qcraftai/pillar-motion
在今年CVPR 2021 Workshop on Autonomous Driving 主办的 Argoverse 运动预测挑战赛（Argoverse Motion Forecasting Competition）上，来自国内自动驾驶公司轻舟智航的Blue Team一举夺魁。
运动估计与路径规划是自动驾驶系统智能性的最直接体现，对行驶安全性起到了决定性的作用，因为现实路况的复杂性，运动估计一直是自动驾驶的一大难点。
轻舟智航获胜方案最重要的贡献是一种新的远程图注意力机制，用于对高清地图中的车道图进行编码。
这种设计的动机是，因其观察到城市地区的车道可以通过邻居、后继和前任等基本交互类型的组合形成非常复杂的排列，在这些排列中，车道不仅与直接连接的车道有交互，也会与其他不直接连接的车道相互作用。
9. AI杀入斗地主领域，快手开发DouZero对标AlphaZero，干掉344个AI获第一 | 极市平台
在线试玩：
https://www.douzero.orgGitHub项目地址：
https://github.com/kwai/DouZero论文地址：
https://arxiv.org/pdf/2106.06135.pdf
AlphaGo在围棋界大杀四方时就有人不服：有本事让AI斗地主试试？
试试就试试。
快手团队开发的斗地主AI命名为DouZero，意思是像AlphaZero一样从零开始训练，不需要加入任何人类知识。
只用4个GPU，短短几天的训练时间，就在Botzone排行榜上的344个斗地主AI中排名第一。
而且还有在线试玩（链接在文章最后），手机也能运行。
在线试玩中演示的是三人斗地主，玩家可以选择扮演地主、地主的上家或下家。
选择当地主来玩玩看，可以打开显示AI手牌功能，更容易观察AI决策过程。另外可以设置AI考虑时间，默认是3秒。
在AI的回合，会显示面临的决策和每种打法的预测胜率。
有时可以看到AI并不是简单的选择当前胜率最高的打法，而是有更全局的考虑。
10. 人形机器人踢“世界杯”有经验！主动躲避摔伤风险，跟踪目标精准进球 | 机器人大讲堂
Github:
https://github.com/bit-bots/wolfgang_robot
机器人也踢世界杯？而且还是每年一次？
见过了各种跑酷、跳舞、翻跟头的人形机器人，机器人会踢足球似乎也不是什么新鲜事了。不过有这样一个竞赛，每年都把全世界的人形机器人集结起来，一决高下，还是值得围观一看的。
众所周知，RoboCup是国际上最具水平和影响力的机器人赛事，它每年举行一次，不仅具有很强的趣味性、科普性与观赏性，还为机器人学、人工智能、多智能体系统、模式识别、计算机视觉等前沿学科提供了理想的仿真与实验平台。
由德国汉堡大学制造的WF Wolves战队在此次竞赛中共大放异彩。
机器人不完全依赖于视觉系统，为了防止机器人忘记了球的位置，在不依靠视觉的情况下，研究人员开发了一种基于粒子滤波器来更可靠的跟踪足球，这样即使WF Wolves没有看到球门，也能知道将球踢往哪里。
其他：
这个假发太逼真！GAN帮你换发型，alignment步骤去掉生硬感 | 新智元
使用Python+OpenCV+Keras实现基于车牌的无口罩车辆驾驶员的惩罚生成 | 极市平台
文末福利(自取)
干货！版图基础设计讲义 | EETOP
Git使用的奇技淫巧 | 夕小瑶的卖萌屋
内卷的年代：读博是一种精神追求 | Agent的潜意识
月薪30K的硬件工程师需要哪些技能？ | 记得诚
一位算法工程师从30+场秋招面试中总结出的超强面经—文本检测与GAN篇（含答案） | 极市平台
不采用Verilog，RTL开源！国产香山RISC-V高性能处理器问世！乱序执行、11级流水、6发射！性能堪比A76 | EETOP
你可以添加微信17775982065为好友，注明：公司+姓名，拉进 RT-Thread 官方微信交流群！
???????????? 点击阅读原文进入官网
以上是关于NVIDIA这款自动驾驶芯片有多强的主要内容，如果未能解决你的问题，请参考以下文章
基于nvidia xavier智能车辆自动驾驶域控制器设计与实现(一）
黄仁勋推新自动驾驶芯片！性能飙升7倍，牵手BAT滴滴大秀中国朋友圈