unity 从深度纹理重建世界坐标

Posted 2023-04-05

参考技术A

根据深度纹理获取世界坐标很常用，可以实现很多有用的功能，比如简单的雾 / 扫描线等

主要参考

https://forum.unity.com/threads/reconstructing-world-pos-from-depth-imprecision.228936/

准备工作

在 unity 中开启深度贴图
创建一个脚本用来放在 Camera 组件上

根据搜索总结了下，重建世界坐标基本有两种计算方法

第一种最简单最容易理解的就是在 shader 中对深度纹理采样，然后对深度坐标进行矩阵变换，乘以投影变换矩阵和相机变换矩阵的逆矩阵，就可以还原得到世界坐标

第一种方法原理比较简单，但是效率不是很高，毕竟是逐像素计算，

第二种方法可以使用屏幕射线差值的方法，《unity shader入门精要》中有非常详细的推导和解释

物体的世界坐标为相机的世界坐标+物体在相机坐标系的坐标
相机坐标系的坐标 = 点的方向 * 点到相机的距离
点的方向可以通过计算剪裁空间四个角的射线得到
点到相机的距离为

书中使用的是近裁平面推导，好像使用原裁平面更好推导
总结起来就是

由于是在顶点着色器计算线段的差值，所有效率会比逐像素计算要高

为了方便验证计算结果，可以在场景中简单摆放几个物体，使用简单的材质输出世界坐标作为颜色，然后在 camera 组件上添加屏幕后处理的脚本绘制世界坐标，开启 / 禁用 camera 上的后处理就可以对比计算结果

unity urp 获取屏幕深度法向颜色纹理以及从深度纹理重构世界空间坐标

之前写过如何从屏幕空间获取uv，但是讲的不完善，https://blog.csdn.net/qq_30100043/article/details/125883016
而且还没有说如何使用深度重新构建世界坐标。所以，这一篇，讲解一下，获取深度 纹理 以及屏幕空间法向。
接下来，说一下，引擎内置的文件，让我们简单的去获取，再也不用想着去哪抄代码了。

这两个对应的是深度贴图和颜色贴图。在urp里面必须开启才行。
引擎内置的纹理获取文件在

里面的代码也很简单
DeclareDepthTexture

定义define防止多次引入，然后引入Core文件，然后声明纹理，后面再增加一下纹理拾取的方法，剩下的两个都一样的套路


我们在使用的时候就很简单的，只需要在shader里面引入相应的hlsl文件就可以实现相应的贴图的获取，记住，屏幕颜色贴图和屏幕深度贴图再urp里面需要手动开启，不管在配置项还是相机上面。

如何使用？
那就简单多了，先引入一下：

计算出屏幕uv：

拿着屏幕uv去获取深度就行了

real depth = SampleSceneDepth(screenUV);

记住，这个深度不是线性的，可以去我上面带链接的那篇去看。

从深度纹理重构世界空间坐标

这一段直接抄官方的就行了，安全，高效
https://docs.unity3d.com/Packages/com.unity.render-pipelines.universal@10.5/manual/writing-shaders-urp-reconstruct-world-position.html

下面我也列出来相应的代码

    //获取屏幕uv
    half2 screenUV = input.positionNDC.xy / input.positionNDC.w;

    //获取深度
    #if UNITY_REVERSED_Z
        real depth = SampleSceneDepth(screenUV);
    #else
        // Adjust Z to match NDC for OpenGL ([-1, 1]) 意思就行 opengl的不一样，不是0-1 而是-1到1
        real depth = lerp(UNITY_NEAR_CLIP_VALUE, 1, SampleSceneDepth(UV));
    #endif

    // 使用内置的方法去获取世界空间坐标
    float3 worldPos = ComputeWorldSpacePosition(screenUV, depth, UNITY_MATRIX_I_VP);

应用：
那这个有什么用处呢，比如深度，我可以在水面上面去获取和水底的位置，来得出一个大概的水的深浅的效果，

比如这种

颜色贴图我可以做半透明物体后面扰动的效果等。
法向呢，可以做屏幕空间反射。