Unity C# Texture发送到C++ dll的方法 升级版

Posted 2021-09-06 王小贝爱吃肉

此方法基于dx11，同时支持dx12，opengl和vulkan

1. Unity官方接口

首先要知道unity提供了C++的接口，具体位置在

unity根目录\\Editor\\Data\\PluginAPI\\

其中标红的就是我们需要的头文件。

2.官方demo参考

 unity官方在文档中介绍了相关接口的使用方法：

http://docs.unity3d.com/cn/current/Manual/NativePluginInterface.html

同时在github上提供了demo：

https://github.com/Unity-Technologies/NativeRenderingPlugin

3.代码解读

C#：

我假设你们是有一定的C++基础的，在成功的运行了官方的demo之后我们可以看到实际的显示效果是这样的：

你可以看到在unity侧的代码没有做什么其他操作，只是把texture和meshbuffer的指针传给了C++

 

 我本身不是做unity的，所以这块各位大佬肯定比我更了解，在CallPluginAtEndOfFrames中注意一下需要用到GL.IssuePluginEvent。

C++：

我们主要来看C++这边的代码

可以看到在这个demo中，我主要看的是RenderAPI的子类 RenderAPI_D3D11.cpp

官方demo是生成了一个动态库（dll），C++对texture的修改都在RenderingPlugin.cpp中，我们重点关注这段代码：

static void ModifyTexturePixels()
{
	void* textureHandle = g_TextureHandle;
	int width = g_TextureWidth;
	int height = g_TextureHeight;
	if (!textureHandle)
		return;

	int textureRowPitch;
	void* textureDataPtr = s_CurrentAPI->BeginModifyTexture(textureHandle, width, height, &textureRowPitch);
	if (!textureDataPtr)
		return;

	const float t = g_Time * 4.0f;

	unsigned char* dst = (unsigned char*)textureDataPtr;
	for (int y = 0; y < height; ++y)
	{
		unsigned char* ptr = dst;
		for (int x = 0; x < width; ++x)
		{
			// Simple "plasma effect": several combined sine waves
			int vv = int(
				(127.0f + (127.0f * sinf(x / 7.0f + t))) +
				(127.0f + (127.0f * sinf(y / 5.0f - t))) +
				(127.0f + (127.0f * sinf((x + y) / 6.0f - t))) +
				(127.0f + (127.0f * sinf(sqrtf(float(x*x + y*y)) / 4.0f - t)))
				) / 4;

			// Write the texture pixel
			ptr[0] = vv;
			ptr[1] = vv;
			ptr[2] = vv;
			ptr[3] = vv;

			// To next pixel (our pixels are 4 bpp)
			ptr += 4;
		}

		// To next image row
		dst += textureRowPitch;
	}

	s_CurrentAPI->EndModifyTexture(textureHandle, width, height, textureRowPitch, textureDataPtr);
}

我们可以看到根据unity传输过来的时间，texture中的纹理会随着时间的变化移动，这个不是重点。我们现在想要做的是吧texture中的图像信息传输到我们自己的代码里来。

我们这里以dx11为例：实际上对texture的访问全都在这里：

 但是这里有个问题，实际上在demo中官方并没有真正的从texture中获取任何数据，而是自己创建了一个空的char数组，对这个数组进行修改，再将修改的数组返回给texture。这就跟我们的目的不一样了。

 因此我们需要将代码做如下修改：

void* RenderAPI_D3D11::BeginModifyTexture(void* textureHandle, int textureWidth, int textureHeight, int* outRowPitch)
{
	ID3D11Texture2D* src = (ID3D11Texture2D*)textureHandle;
	D3D11_TEXTURE2D_DESC texDesc;
	src->GetDesc(&texDesc);
	texDesc.Usage = D3D11_USAGE_STAGING;
	texDesc.BindFlags = 0;
	texDesc.CPUAccessFlags = D3D11_CPU_ACCESS_READ;
	texDesc.MiscFlags = 0;
	ID3D11DeviceContext* ctx = NULL;
	m_Device->GetImmediateContext(&ctx);

	ID3D11Texture2D* des = 0;
	m_Device->CreateTexture2D(&texDesc, NULL, &des);

	ctx->CopyResource(des, src);

	D3D11_MAPPED_SUBRESOURCE mapped;
	ctx->Map(des, 0, D3D11_MAP_READ, 0, &mapped);

	int c = 0;
	if (texDesc.Format == DXGI_FORMAT_R8_UNORM)
		c = 1;
	else
		c = 4;
	int w = mapped.RowPitch / c;
	int h = mapped.DepthPitch / mapped.RowPitch;
	ctx->Unmap(des, 0);
	des->Release();


	const int rowPitch = textureWidth * 4;

	unsigned char* data = new unsigned char[rowPitch * textureHeight];
	//unsigned char* data = new unsigned char[1];
	memcpy(data, mapped.pData, w * h * c);
	*outRowPitch = rowPitch;
	return data;
}

这下我们就得到需要的数据啦！

额外提示：如果你用opencv去显示这个数据的话，会发现图像是倒过来的，而且RGB是反的，需要自己再操作一下，这类网上很好搜的。

这个发传输的图像不会有gc的问题~所以速度变得更快了~