Isaac ROS 2 Humble 预览之全新立体视觉感知→机器翻译←

Posted 2022-05-28 zhangrelay

Isaac 太强啦！

---

→github.com/NVIDIA-ISAAC-ROS←

IsaacSIM 生成的图像，从左到右的列包含立体视觉、原始图像、BI3D 和 ESS

---

BI3D 是用于基于视觉的障碍物预测的 DNN ( https://arxiv.org/pdf/2005.07274.pdf ）。DNN 得到增强，可同时检测自由空间和障碍物，并针对在DLA 硬件上运行进行了优化 . DNN 预测障碍物是否在立体摄像头的 4 个可编程接近场之一内。

基于立体的深度估计是计算机视觉的基石，最先进的方法可以实时提供准确的结果。然而，对于自主导航等多种应用，以准确性换取较低的延迟可能很有用。我们提出了 Bi3D，一种通过一系列二元分类估计深度的方法。它不像现有的立体方法那样测试对象是否处于特定深度 D，而是将它们分类为比 D 更近或更远。这个属性提供了一种强大的机制来平衡准确性和延迟。给定严格的时间预算，Bi3D 可以在短短几毫秒内检测到比给定距离更近的物体，或者通过任意粗略量化估计深度，其复杂性与量化级别的数量成线性关系。 Bi3D 还可以使用分配的量化级别来获得连续的深度，但在特定的深度范围内。对于标准立体声（即整个范围内的连续深度），我们的方法接近或与最先进的微调立体声方法相当。

Stereo-based depth estimation is a cornerstone of computer vision, with state-of-the-art methods delivering accurate results in real time. For several applications such as autonomous navigation, however, it may be useful to trade accuracy for lower latency. We present Bi3D, a method that estimates depth via a series of binary classifications. Rather than testing if objects are at a particular depth D, as existing stereo methods do, it classifies them as being closer or farther than D. This property offers a powerful mechanism to balance accuracy and latency. Given a strict time budget, Bi3D can detect objects closer than a given distance in as little as a few milliseconds, or estimate depth with arbitrarily coarse quantization, with complexity linear with the number of quantization levels. Bi3D can also use the allotted quantization levels to get continuous depth, but in a specific depth range. For standard stereo (i.e., continuous depth on the whole range), our method is close to or on par with state-of-the-art, finely tuned stereo methods.

ESS 是用于立体相机视差预测的 DNN ( https://arxiv.org/pdf/1803.09719.pdf ）。该网络提供基于视觉的连续深度感知，为左/右摄像机遮挡区域提供预测。

 

BI3D 和 ESS 都使用合成针对机器人应用进行了预训练用于商业用途的真实数据；这些预训练的 DNN 没有研究限制。AI 感知功能专为色彩输入而设计，可产生最佳精度，同时保持与单色立体相机输入的兼容性。他们加入了stereo_image_proc，它提供了一个硬件加速的经典CV函数来计算立体深度/视差，为立体相机深度感知提供了一组三个不同的独立函数。

 

（合成相机图像顶部的结果与没有活动投影底部的 RGB 立体相机图像捕获的结果比较；左侧图像，具有地面自由空间的 4 个邻近场的 BI3D DNN 预测，从左起第二位，连续深度的 ESS DNN 预测从右起第二位，和右侧的经典 CV 立体视差函数） 

---