在 Unity 中实现这种绘画式合成？

Posted 2023-03-23

【中文标题】在 Unity 中实现这种绘画式合成？

【英文标题】：Achieve this painterly compositing in Unity?

【发布时间】：2021-08-30 16:42:58

【问题描述】：

我已经通过合成在 Blender 中实现了这种绘画效果，但我需要知道它在 Unity 中是否可行 - 经过一些谷歌搜索并通过 Unity Asset Store，我什么也没看到。效果——

使用 Blender，这是通过置换和画布图案来实现的。我该如何做这个 Unity，特别是在 VR 中？

编辑：这是我根据下面的答案得到的，但没有实现图像效果：

【参考方案1】：

对于 URP 或 HDRP，有一种实际简单的方法可以以这种方式应用您的全屏着色器 fx，它看起来类似于传统方法“OnRenderImage()”。

首先，你必须注册两个事件：

    Camera Cam;
    void OnEnable()
    
        RenderPipelineManager.endCameraRendering += RenderPipelineManager_endCameraRendering;
        RenderPipelineManager.beginCameraRendering += RenderPipelineManager_beginCameraRendering;
    

    void OnDisable()
    
        RenderPipelineManager.endCameraRendering -= RenderPipelineManager_endCameraRendering;
        RenderPipelineManager.beginCameraRendering -= RenderPipelineManager_beginCameraRendering;
    

第二部分是复制Camera纹理，以及使用着色器的Blit()。

    private void RenderPipelineManager_beginCameraRendering(ScriptableRenderContext context, Camera camera)
    
        Cam.targetTexture = rt;
    

    private void RenderPipelineManager_endCameraRendering(ScriptableRenderContext context, Camera camera)
    
        Cam.targetTexture = null;

        //Apply your shader here
        Graphics.Blit(rt, null as RenderTexture, material);
    

*以上建议的方法是指FM Color，其中包括带有着色器数学的高级绘画风格。

【参考方案2】：

这样的效果通常使用 Image Effect 着色器或 Unity 3D 中的 Compute shaders 来实现。虽然计算着色器往往更高效、更灵活，但它们通常更难实现。以下脚本和图像效果着色器可用于实现与您相似的结果，并可能为您指明正确的方向：

without effect

with effect

（我使用了相当低分辨率的纹理来渲染这些图像，并且通过使用更好的纹理可以获得更好的结果）

使用 Create > Shader > Image Effect Shader 创建一个新的 Image Effect Shader，将其命名为 Painterliness 并将其内容替换为：

Shader "ImageEffects/Painterliness"

    Properties
    
        _MainTex ("Texture", 2D) = "white" 
        _NoiseTex ("Displacement Noise", 2D) = "white" 
        _CanvasTex ("Canvas", 2D) = "white" 
        _DisplacementTiling  ("Displacement tiling", Range(0.0, 10)) = 1
        _Displacement  ("Displacement", Range(0.0, 0.5)) = 0.01
        _CanvasTiling  ("Canvas tiling", Range(0.0, 10)) = 1
        _CanvasStrength  ("Canvas strength", Range(0.0, 5)) = 0.5
    
    SubShader
    
        // No culling or depth
        Cull Off ZWrite Off ZTest Always

        Pass
        
            CGPROGRAM
            #pragma vertex vert
            #pragma fragment frag

            #include "UnityCG.cginc"

            struct appdata
            
                float4 vertex : POSITION;
                float2 uv : TEXCOORD0;
            ;

            struct v2f
            
                float2 uv : TEXCOORD0;
                float4 vertex : SV_POSITION;
            ;

            v2f vert (appdata v)
            
                v2f o;
                o.vertex = UnityObjectToClipPos(v.vertex);
                o.uv = v.uv;
                return o;
            

            sampler2D _MainTex;
            sampler2D _NoiseTex;
            sampler2D _CanvasTex;
            float _DisplacementTiling;
            float _Displacement;
            float _CanvasTiling;
            float _CanvasStrength;

            fixed4 frag (v2f i) : SV_Target
            
                float2 offset = (tex2D(_NoiseTex, i.uv *
                    _DisplacementTiling).rg * 2 - 1) * _Displacement;
                fixed4 col = tex2D(_MainTex, i.uv + offset);
                fixed4 canvas = clamp(1 - _CanvasStrength + tex2D(_CanvasTex,
                    i.uv * _CanvasTiling) * _CanvasStrength, 0, 1);
                return col * canvas;
            
            ENDCG
        
    

然后创建一个材质并在 ImageEffects > Painterliness 下为材质选择此着色器。为“置换噪波”选择彩色噪波纹理（例如this），为“画布”选择（灰度）纹理（例如this）。

创建一个新的 c# 脚本，调用它 ApplyImageEffect 并将其内容替换为：

using UnityEngine;

[ExecuteInEditMode]
public class ApplyImageEffect : MonoBehaviour

    public Material mat;
    void OnRenderImage(RenderTexture src, RenderTexture dest)
    
        if(mat)
            Graphics.Blit(src, dest, mat);
    

将 ApplyImageEffect.cs 添加到您的主相机并将材质分配给它。此时效果应该在您的游戏视图中可见，并且可以在材质中进行调整。

我不确定，如果 VR 支持这样的图像效果，但从理论上讲，这对于立体渲染应该类似。

【讨论】：

嘿。感谢这个细致入微的答案。我按照描述做了所有事情，但没有可见的图像效果。我在回答中包含了屏幕截图

我不认为脚本正在执行。

您是否在使用像 URP 或 HDRP 这样的可编写脚本的渲染管线？因为根据documentation，这种情况下不支持OnRenderImage方法。在我的机器上，这些说明使用创建新项目时可以找到的“3D”模板工作。它似乎也适用于“VR”模板，因为效果在游戏视图中可见，但我没有 VR 耳机来完全测试。

如果您需要可编写脚本的渲染管线，documentation 声明如下：“可编写脚本的渲染管线不支持 OnRenderImage。要在通用渲染管线 (URP) 中创建自定义全屏效果，请使用ScriptableRenderPass API。要在高清渲染管道 (HDRP) 中创建自定义全屏效果，请使用全屏自定义 Pass。"

好的，这很有帮助，谢谢。我正在使用URP。我也会研究，但有没有一种简单的方法可以将 ApplyImageEffect 脚本转换为 ScriptableRenderPass？