使用 python 将 3D 网格渲染到图像中

Posted 2023-02-22

技术标签:

【中文标题】使用 python 将 3D 网格渲染到图像中【英文标题】：Rendering a 3D mesh into an image using python 【发布时间】：2017-09-29 04:37:48 【问题描述】：

我正在使用一个神经网络，它使用 tensorflow 从单个图像进行人脸重建。

我试图弄清楚如何将网络的输出（这是一个 3D 网格）渲染成 python 中的图像。

我发现的大多数库都实时进行 3D 渲染，我只希望渲染和单帧。

我还需要一些快速的东西，因为这可能会成为网络实时预处理的一部分（将网络应用于实时视频。

网格非常简单，它是一个简单的面，大约有 30k 个顶点和 50k 个三角形。

【问题讨论】：

【参考方案1】：

我刚刚遇到了类似的问题，并使用pyrender 及其屏幕外渲染器解决了它。

看看这里PyrenderOSMesaSample.ipynb 的最小工作示例。构建自己的网格并获得场景的渲染 RGB 非常简单。

UPD：这是我的 MWE

import os
# switch to "osmesa" or "egl" before loading pyrender
os.environ["PYOPENGL_PLATFORM"] = "osmesa"

import numpy as np
import pyrender
import trimesh
import matplotlib.pyplot as plt

# generate mesh
sphere = trimesh.creation.icosphere(subdivisions=4, radius=0.8)
sphere.vertices+=1e-2*np.random.randn(*sphere.vertices.shape)
mesh = pyrender.Mesh.from_trimesh(sphere, smooth=False)

# compose scene
scene = pyrender.Scene(ambient_light=[.1, .1, .3], bg_color=[0, 0, 0])
camera = pyrender.PerspectiveCamera( yfov=np.pi / 3.0)
light = pyrender.DirectionalLight(color=[1,1,1], intensity=2e3)

scene.add(mesh, pose=  np.eye(4))
scene.add(light, pose=  np.eye(4))

c = 2**-0.5
scene.add(camera, pose=[[ 1,  0,  0,  0],
                        [ 0,  c, -c, -2],
                        [ 0,  c,  c,  2],
                        [ 0,  0,  0,  1]])

# render scene
r = pyrender.OffscreenRenderer(512, 512)
color, _ = r.render(scene)

plt.figure(figsize=(8,8)), plt.imshow(color);

【讨论】：

【参考方案2】：

nVidia 的 iRay 非常出色，但 50k 以上的三角形对于任何渲染引擎来说都是一项艰巨的任务。

如果您正在寻找照片般逼真的质量，您将在一个简单的光源下以 50k 三角形每次渲染查看几分钟。

您的照明越复杂，过程就越慢。一个简单的基于纹理的阴影渲染要快得多，并且可以实时完成，结果受限于 UV 贴图纹理的质量。

您是从单个图像中捕获表面材质，还是将预先映射的 UV 表面材质应用到您的标准 50k 三角形模型网格？

【讨论】：

【参考方案3】：

根据您的预期结果，您可以使用多种开源和商业选项。我从您的问题推断您已经在利用 GPU，并且您打算利用它们的性能加速来产生单帧结果。有了这些假设，以下是我的两大建议：

1) 如果您正在构建概念验证，我会利用 Blender（特别是 Lux 渲染器）。

首先使用 LuxBlend 2.5 导出场景将 TensorFlow 生成的网格几何体注入到场景文件中调用 Lux 为每一帧渲染这些动态文件

2) 如果您打算开发商业产品，我建议您使用 nVidia 的 iRay 渲染器。您可以获得 SDK 访问权限并利用支持团队的知识来帮助您优化渲染的细节。