使用渲染脚本将相机 YUV 数据转换为 ARGB
Posted
技术标签:
【中文标题】使用渲染脚本将相机 YUV 数据转换为 ARGB【英文标题】:Converting camera YUV-data to ARGB with renderscript 【发布时间】:2012-11-10 15:42:24 【问题描述】:我的问题是:我在 android 中设置了一个摄像头,并使用 onPreviewFrame-listener 接收预览数据,该监听器向我传递了一个包含默认 android YUV 格式的图像数据的 byte[] 数组(设备不支持 R5G6B5 格式)。每个像素由 12 位组成,这使得事情有点棘手。现在我想做的是将 YUV 数据转换为 ARGB 数据,以便用它进行图像处理。这必须使用渲染脚本来完成,以保持高性能。
我的想法是在一个元素中传递两个像素(即 24 位 = 3 个字节),然后返回两个 ARGB 像素。问题是,在 Renderscript 中,一个 u8_3(一个 3 维 8 位向量)以 32 位存储,这意味着最后 8 位未使用。但是当将图像数据复制到分配中时,所有的 32 位都被使用了,所以最后 8 位丢失了。即使我使用 32 位输入数据,最后 8 位也没用,因为它们只有 2/3 像素。当定义一个包含 3 字节数组的元素时,它实际上具有 3 个字节的实际大小。但是 Allocation.copyFrom() 方法没有用数据填充 in-Allocation,认为它没有正确的数据类型来填充 byte[]。
renderscript 文档指出,有一个 ScriptIntrinsicYuvToRGB 应该在 API 级别 17 中完全做到这一点。但实际上该类并不存在。我已经下载了 API Level 17,尽管它似乎不再可下载。有没有人有任何关于它的信息?有没有人尝试过 ScriptIntrinsic?
所以最后我的问题是:如何将相机数据快速转换为 ARGB 数据,硬件加速?
这就是在 Dalvik VM 中的做法(在网上某处找到代码,它可以工作):
@SuppressWarnings("unused")
private void decodeYUV420SP(int[] rgb, byte[] yuv420sp, int width, int height)
final int frameSize = width * height;
for (int j = 0, yp = 0; j < height; j++)
int uvp = frameSize + (j >> 1) * width, u = 0, v = 0;
for (int i = 0; i < width; i++, yp++)
int y = (0xff & ((int) yuv420sp[yp])) - 16;
if (y < 0)
y = 0;
if ((i & 1) == 0)
v = (0xff & yuv420sp[uvp++]) - 128;
u = (0xff & yuv420sp[uvp++]) - 128;
int y1192 = 1192 * y;
int r = (y1192 + 1634 * v);
int g = (y1192 - 833 * v - 400 * u);
int b = (y1192 + 2066 * u);
if (r < 0)
r = 0;
else if (r > 262143)
r = 262143;
if (g < 0)
g = 0;
else if (g > 262143)
g = 262143;
if (b < 0)
b = 0;
else if (b > 262143)
b = 262143;
rgb[yp] = 0xff000000 | ((r << 6) & 0xff0000) | ((g >> 2) & 0xff00) | ((b >> 10) & 0xff);
【问题讨论】:
我自己找到了答案。诀窍是将图像数据作为全局字节数组传递(只需在根函数上方插入“uchar4 *imagedata;”)。然后使用与图像尺寸匹配的虚拟分配作为输入分配。在渲染脚本中,您只需访问全局数组而不关心输入数据。我不得不稍微修改转换代码,尤其是 yuv420sp[uvp++]-stuff 必须更改。现在我想知道如何有效地显示位图数据... 您好,您可以发布您的 .rs 文件吗?由于某种原因,我无法让它正常工作。 【参考方案1】:我相信您会发现 LivePreview 测试应用程序很有趣……它是最新 Jelly Bean (MR1) 中 Android 源代码的一部分。它实现了一个相机预览,并使用 ScriptIntrinsicYuvToRgb 将预览数据与 Renderscript 进行转换。您可以在此处在线浏览源代码:
LivePreview
【讨论】:
感谢您的回答。我不能给你投票,因为我的“声望”不到 15。我去看看! 这行得通吗?我正在尝试将 byte[] 从 Yuv 转换为 Rgb - 似乎不起作用。 ***.com/q/18435680/387099【参考方案2】:我无法运行 ScriptInstrinsicYuvToRgb,因此我决定编写自己的 RS 解决方案。
这是准备好的脚本(名为 yuv.rs):
#pragma version(1)
#pragma rs java_package_name(com.package.name)
rs_allocation gIn;
int width;
int height;
int frameSize;
void yuvToRgb(const uchar *v_in, uchar4 *v_out, const void *usrData, uint32_t x, uint32_t y)
uchar yp = rsGetElementAtYuv_uchar_Y(gIn, x, y) & 0xFF;
int index = frameSize + (x & (~1)) + (( y>>1) * width );
int v = (int)( rsGetElementAt_uchar(gIn, index) & 0xFF ) -128;
int u = (int)( rsGetElementAt_uchar(gIn, index+1) & 0xFF ) -128;
int r = (int) (1.164f * yp + 1.596f * v );
int g = (int) (1.164f * yp - 0.813f * v - 0.391f * u);
int b = (int) (1.164f * yp + 2.018f * u );
r = r>255? 255 : r<0 ? 0 : r;
g = g>255? 255 : g<0 ? 0 : g;
b = b>255? 255 : b<0 ? 0 : b;
uchar4 res4;
res4.r = (uchar)r;
res4.g = (uchar)g;
res4.b = (uchar)b;
res4.a = 0xFF;
*v_out = res4;
不要忘记将相机预览格式设置为 NV21:
Parameters cameraParameters = camera.getParameters();
cameraParameters.setPreviewFormat(ImageFormat.NV21);
// Other camera init stuff: preview size, framerate, etc.
camera.setParameters(cameraParameters);
分配初始化和脚本使用:
// Somewhere in initialization section
// w and h are variables for selected camera preview size
rs = RenderScript.create(this);
Type.Builder tbIn = new Type.Builder(rs, Element.U8(rs));
tbIn.setX(w);
tbIn.setY(h);
tbIn.setYuvFormat(ImageFormat.NV21);
Type.Builder tbOut = new Type.Builder(rs, Element.RGBA_8888(rs));
tbOut.setX(w);
tbOut.setY(h);
inData = Allocation.createTyped(rs, tbIn.create(), Allocation.MipmapControl.MIPMAP_NONE, Allocation.USAGE_SCRIPT & Allocation.USAGE_SHARED);
outData = Allocation.createTyped(rs, tbOut.create(), Allocation.MipmapControl.MIPMAP_NONE, Allocation.USAGE_SCRIPT & Allocation.USAGE_SHARED);
outputBitmap = Bitmap.createBitmap(w, h, Bitmap.Config.ARGB_8888);
yuvScript = new ScriptC_yuv(rs);
yuvScript.set_gIn(inData);
yuvScript.set_width(w);
yuvScript.set_height(h);
yuvScript.set_frameSize(previewSize);
//.....
相机回调方法:
public void onPreviewFrame(byte[] data, Camera camera)
// In your camera callback, data
inData.copyFrom(data);
yuvScript.forEach_yuvToRgb(inData, outData);
outData.copyTo(outputBitmap);
// draw your bitmap where you want to
// .....
【讨论】:
为什么我的脚本会出现这个错误:error: Compute kernel yuy2ToRgb() cannot have parameter 'v_in' of pointer type: 'const uchar4 *' 原型需要是这样的:_void root( const void *v_in, uchar4 *v_out, const void *usr, uint32_t x, uint32_t y)_【参考方案3】:对于不知道的人,RenderScript 现在包含在 Android 支持库中,包括内部函数。
http://android-developers.blogspot.com.au/2013/09/renderscript-in-android-support-library.html
http://android-developers.blogspot.com.au/2013/08/renderscript-intrinsics.html
【讨论】:
是的。对于 Android Studio 支持,只需复制 jar 等等!以上是关于使用渲染脚本将相机 YUV 数据转换为 ARGB的主要内容,如果未能解决你的问题,请参考以下文章
YUV 转 RGB 和 CreateBitmap ......格式是啥?
OpenCV for Android:使用 Imgproc.cvtColor 将相机预览从 YUV 转换为 RGB