昨天今天明天专题-计算机视觉与图形学001

Posted wx62cecd4679aef

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了昨天今天明天专题-计算机视觉与图形学001相关的知识,希望对你有一定的参考价值。


COORDX:使用分裂MLP架构加速隐式神经表示
COORDX ACCELERATING IMPLICIT NEURAL REPRESENTATION WITH A SPLIT MLP ARCHITECTURE

最近,多层感知器(MLP)隐式神经表示在各种各样的任务中得到了突出的应用,例如新的视图合成、三维对象表示和渲染。然而,这些表示法的一个重大挑战是,使用MLP在大量输入坐标上进行训练和推理,以学习和表示图像、视频或3D对象,都需要大量计算,并且需要较长的处理时间。在这项工作中,我们的目标是通过提出一种新的拆分MLP体系结构CoordX,来加速基于坐标的隐式神经表征MLP的推理和训练。使用CoordX来拆分初始层,分别学习输入坐标的每个维度。最后一层融合中间特征,在相应的坐标点生成学习信号。这大大减少了所需的计算量,并导致了较大的加速在训练和推理中,同时达到与基线MLP类似的准确性。因此,这种方法的目标是首先学习原始信号分解后的函数然后融合它们以生成学习信号。我们提出的结构可以普遍用于许多隐式神经表征任务,而不需要额外的内存开销。我们展示了与用于图像、视频和三维形状表示和渲染任务的基线模型相比,高达2.92倍的加速比。

昨天今天明天专题-计算机视觉与图形学001_人工智能


Eikonal Fields for Refractive Novel-View Synthesis

我们解决了从显示折射和反射对象的2D图像集合中生成新视图图像的问题。目前的解决方案假设沿着发射-吸收模型的直线路径进行不透明或透明的光传输。相反,我们优化了一个3D可变折射率(IoR)场,并根据eikonal光传输定律,跟踪通过该场的光,该场向所述IoR的空间梯度弯曲

昨天今天明天专题-计算机视觉与图形学001_3d_02


CLA-NeRF: Category-Level Articulated Neural Radiance Field我们提出了CLA NeRF——一个神经辐射场,可以执行视图合成、零件分割和关节姿势估计。CLA NeRF在对象类别级别使用无CAD模型和无深度的RGB图像进行训练,但使用一组具有地面真实感相机姿势和零件段的RGB图像。在推理过程中,只需要已知类别内一个看不见的3D对象实例的几个RGB视图(即,几个快照)就可以推断出对象部分分割和神经辐射场。给定一个铰接姿势作为输入,CLA NeRF可以执行铰接软件体绘制,以在任何相机姿势下生成相应的RGB图像。此外,可以通过反向渲染来估计对象的关节姿态。在我们的实验中,我们对合成和真实数据的五个类别的框架进行了评估。在所有情况下,我们的方法显示逼真的变形结果和精确的关节姿势估计。我们认为,无论是少镜头铰接对象渲染还是铰接姿势估计,都为机器人感知和交互看不见的铰接对象打开了大门。请看https://bit.ly/3iWoque对于定性结果。

昨天今天明天专题-计算机视觉与图形学001_计算机视觉_03


更多计算机视觉与图形学相关资料,请关注微信公众号:计算机视觉与图形学实战

昨天今天明天专题-计算机视觉与图形学001_人工智能_04

如果您认为上面的内容对您有一定的价值,可以对我们进行小小的赞助,来支持我们的工作,因为后续打算构建自己的网站,谢谢:


以上是关于昨天今天明天专题-计算机视觉与图形学001的主要内容,如果未能解决你的问题,请参考以下文章

昨天今天明天专题-计算机视觉与图形学003

今天是昨天与明天的分割线

深度学习系列专题

计算机图形学常用术语整理

深度学习之四:卷积神经网络基础

人脸专题1 | 级联卷积神经网络用于人脸检测