使用 C# / Unity 进行图像处理

Posted 2023-04-05 Gipsyz

起因：有个需求要批量按比例调整UI页面大小。并不是简单的缩放，是所有素材都需要按比例缩小。于是，图片首当其冲。这里记录一下解决方案，因为参考了挺多别人的事例，虽然都描述的都差不多，但大部分都只描述了方法，这里记录一下整个完整的方案。

环境：Unity2019.4.10f1
需求是是要把所有的图片按照从 1080x2160 到 720x1440 的等比缩小

直接上代码吧

 
  public static void ChangeImageSize()
    
    	//获取需要处理的文件夹
        var oripath = Application.dataPath;
        string path = oripath.Substring(0, oripath.LastIndexOf("/", oripath.LastIndexOf("/") - 1)) +
                      "/art/UIProject/assets";
   
   		//获取文件夹下的所有文件	
        DirectoryInfo direction = new DirectoryInfo(path);
        //DirectoryInfo.GetFiles返回当前目录的文件列表   
        FileInfo[] files = direction.GetFiles("*", SearchOption.AllDirectories);


		//使用UNITY的进度条来显示处理进度
        var index = 0;
        EditorApplication.update = delegate()
        
            bool isCancel =
                EditorUtility.DisplayCancelableProgressBar("处理中...", files[index].Name,
                    (float) index / files.Length);
        
        	//从所有文件中筛选出来图片资源
            if (!files[index].Name.EndsWith(".png") && !files[index].Name.EndsWith(".jpg"))
            
                index++;
            
            else
            
                string xmlName = files[index].Name.Split('.')[0];
                
                //图片的处理方案
                var myBitmap = new System.Drawing.Bitmap(files[index].FullName);
                var x = Mathf.CeilToInt(myBitmap.Width * 720 / 1080f);
                var y = Mathf.CeilToInt(myBitmap.Height * 1440 / 2160f);
                var b = new System.Drawing.Bitmap(x, y);
                var g = System.Drawing.Graphics.FromImage(b);
                // 插值算法的质量 
                g.SmoothingMode = System.Drawing.Drawing2D.SmoothingMode.HighQuality;
                g.InterpolationMode = System.Drawing.Drawing2D.InterpolationMode.HighQualityBicubic;
                g.DrawImage(myBitmap, new System.Drawing.Rectangle(0, 0, x, y),
                    new System.Drawing.Rectangle(0, 0, myBitmap.Width, myBitmap.Height),
                    System.Drawing.GraphicsUnit.Pixel);
                g.Dispose();
                myBitmap.Dispose();
                //存到原图的位置
                b.Save(files[index].FullName);
                b.Dispose();

                index++;
            
        
            if (isCancel || index >= files.Length)
            
                EditorUtility.ClearProgressBar();
                EditorApplication.update = null;
                if (isCancel)
                
                    EditorUtility.DisplayDialog("取消提示", "取消处理后需要把已处理的文件还原才能再次处理。", "确认");
                
        
                if (index >= files.Length)
                
                    EditorUtility.DisplayDialog("图片处理完成", "处理一次即可，如果误操作，需要把对应目录下所有图片文件还原", "确认");
                
            
        ;

		//原始处理方案，省了Unity进度条等花里胡哨的东西。
  		// for (int i = 0; i < files.Length; i++)
        // 
        //     if (!files[i].Name.EndsWith(".png") && !files[i].Name.EndsWith(".jpg")) continue;
        //     string xmlName = files[i].Name.Split('.')[0];
        //     Debug.Log("imageName:" + xmlName);
        //     var myBitmap = new System.Drawing.Bitmap(files[i].FullName);
        //     var x = Mathf.CeilToInt(myBitmap.Width * 720 / 1080f);
        //     Debug.Log("x:" + x);
        //     var y = Mathf.CeilToInt(myBitmap.Height * 1440 / 2160f);
        //     Debug.Log("y:" + y);
        //     var b = new System.Drawing.Bitmap(x, y);
        //     var g = System.Drawing.Graphics.FromImage(b);
        //     // 插值算法的质量 
        //     g.SmoothingMode = System.Drawing.Drawing2D.SmoothingMode.HighQuality;
        //     g.InterpolationMode = System.Drawing.Drawing2D.InterpolationMode.HighQualityBicubic;
        //     g.DrawImage(myBitmap, new System.Drawing.Rectangle(0, 0, x, y),
        //         new System.Drawing.Rectangle(0, 0, myBitmap.Width, myBitmap.Height),
        //         System.Drawing.GraphicsUnit.Pixel);
        //     g.Dispose();
        //     myBitmap.Dispose();
        //     b.Save(files[i].FullName);
        //     b.Dispose();
        // 
    

这里只是把图片的大小做了变更，其他的属性都可以类比一下更改。

当然需要注意的有一点，就是代码里使用的System.Drawing这个类Unity里面是不包含的。
我们可以通过在Plugins的目录下添加System.Drawing.dll这个文件来达到使用该类的目的。
另外也可以直接通过C#生成解决方案来处理。即直接使用C#使用 原始处理方案 部分代码生成windows桌面程序等来处理。因为很多工具在你创建C#方案时默认是包含该工具类的。

另外有可能在你处理过程中可能会出现如下报错。

这种错误的话可以检查一下自己传递的参数有没有问题，因为你如果是计算出图片宽高的话，很有可能因为四舍五入导致某个数值为0，这时候可能就会报这个错误。

以上。

抽空把工具整理了一下，大家可以下载尝试一下。工程链接
可以下载下面这些来文件来使用。

功能大概就是指定文件或文件夹按格式来处理图片大小。

Unity - Android, C# - C++ 内存泄漏

【中文标题】Unity - Android, C# - C++ 内存泄漏

【英文标题】：Unity - Android, C# - C++ Memory Leak

【发布时间】：2018-10-16 06:21:33

【问题描述】：

我目前正在开发一个在 Windows 和 Android 上运行的 Unity 项目。我基本上是使用 Unity WebCamTexture 类来访问连接的相机，然后将图像发送到我的 C++ 代码（Windows 上的 dll，Android 上等），它与 opencv 一起使用以进行进一步处理。

虽然在 Windows 上一切正常，但完全相同的代码在 Android 上导致内存泄漏（每帧的 RAM 使用率不断增加）。关于如何与我的 C++ 代码共享图像，我已经寻找了几种可能的解决方案。每个解决方案都可以在 Windows 上正常运行，但会导致 Android 上的内存泄漏（图像处理也适用于 Android，只是泄漏是一个问题）

这是一个有效的代码示例：

C#

    Color32[] color = webcamTexture.GetPixels32();
    byte[] data = Color32ArrayToByteArray(color);
    IntPtr unmanagedArray = Marshal.AllocHGlobal(data.Length);
    Marshal.Copy(data, 0, unmanagedArray, data.Length);

    PrepareImage(unmanagedArray, camW, camH);

    Marshal.FreeHGlobal(unmanagedArray);

C++

    void PrepareImage(unsigned char* data,int w, int h)

    cv::Mat textureC4(h, w, CV_8UC4, data);

    cv::Mat textureC3;

    cv::cvtColor(textureC4,textureC3,cv::COLOR_RGBA2RGB);

    

一旦我尝试对 C++ 部分中的“纹理”变量进行任何更改（例如从 4 个通道更改为 3 个），内存泄漏就会开始。

由于我对 C++ 没有经验，因此遇到此类问题我并不感到惊讶，但最让我困惑的是它在 Windows 上运行得非常好。我会很高兴有任何建议将我指向一个新的方向。谢谢！

更新：

关于环境的更多细节：

Unity 版本：2018.2.8f1

经过测试的 NDK 版本：13b 和 16b

经过测试的手机：1 个三星 S9，2 个 Note 8

这些额外的解决方案也已经过测试并给出相同的结果：

Link 1

Link 2

此外，我还尝试在 C++ 上创建指针，让 C# 使用该指针，最后让 C++ 清理内存。这仍然导致相同的泄漏。此时我想知道这是否是设置问题，所以我将创建新项目并稍后更新结果

...我现在创建了一个新的 Unity 项目，它只运行上述代码 + 网络摄像头纹理。仍然是完全相同的行为。在这一点上，我怀疑它是我的 C++ 代码的 Android Studio 项目。

...我现在已经创建了一个 Visual Studio 项目来创建 .so 文件。即使是一个几乎空白的项目，内存仍在泄漏。

【问题讨论】：

通过简单地在 C++ PrepareImage 函数中注释掉代码并查看是否仍然存在内存泄漏，找出问题是否出在代码的 C# 或 C++ 端。如果有那么Marshal.FreeHGlobal 可能无法释放内存

感谢您的回答。当调用“cvtColor”或其他试图使用“textureC4”变量的函数时，内存泄漏发生在 C++ 端。 “ cv::Mat textureC4(h, w, CV_8UC4, data)” 不会造成任何泄漏。

你确定是内存泄漏？我看到的其他可能原因是：1.程序只是弄脏了一些内存帧，但实际上并没有分配它们。 res 内存似乎在增长，但没关系，因为它会在其他应用程序需要它时立即释放。 2. 碎片化，可能是个更大的问题，你可能得把你的malloc换成一些自定义的库。

如果发生内存泄漏，内存使用量将以相同的速度不断增长，直到应用程序崩溃。如果不是，它会增长到某个点，然后放慢甚至停止。那么你的情况是怎样的呢？

感谢您的回答。不幸的是，它会一直增长直到崩溃。每帧它会增加几 MB 到 RAM，这可能是图像被一遍又一遍地保存。

【参考方案1】：

最后还是Android Studio项目的问题。我在第三台计算机上创建了一个新项目。我复制了完全相同的代码。现在一切运行良好，没有泄漏。感谢所有帮助过我的人！ :)