在java中将yuv帧编码为视频文件
Posted
技术标签:
【中文标题】在java中将yuv帧编码为视频文件【英文标题】:Encoding yuv frames to video file in java 【发布时间】:2014-01-08 10:37:06 【问题描述】:我正在尝试用 java 编码视频。 我可以访问单独的帧作为 I420 yuv 帧(这些来自我无法更改的程序的不同部分)。 对于帧的不同平面(+ 尺寸),我基本上有 3 个字节缓冲区。 据我了解,我的格式有 1 个字节用于 y 平面,每个像素为 u 和 v 半个字节。
将这些内容编码为 mp4 视频文件的最佳方法是什么? 我尝试过使用 xuggler API,但似乎找不到直接使用 yuv 帧的方法。 现在,我会先将它们转换为 BufferedImage (TYPE_3BYTE_BGR),然后才能将它们与 xuggler api 一起使用以将它们编码为视频。
但这会产生巨大的开销(我必须将每个像素的 yuv 数据转换为 rgb)并且是不必要的,因为 xuggler 再次将它们编码为 yuv 帧以将它们存储在视频文件中? (不确定。)
那么有没有更简单的方法可以直接在 java 中将原始 yuv 帧编码为视频文件?
感谢您的任何指点。
【问题讨论】:
我正在寻找类似的解决方案,如果有发现请报告。 java中的大部分类都不能识别YUV视频文件!!你是如何从 YUV 文件中提取帧的??? 【参考方案1】:只要 xuggler 没有在您之后重新编码帧,您的计划方式似乎是正确的(手动转换)。
我已经用 python 和 C 完成了这个转换,这个过程仍然和你的一样(逐帧,循环像素)。在 Java 中,这可能看起来像:
public class YUV2RGB
public static void convert(int[] argb, byte[] yuv, int width, int height)
final int frameSize = width * height;
final int ii = 0;
final int ij = 0;
final int di = +1;
final int dj = +1;
int a = 0;
int y, v, u, r, g, b;
for (int i = 0, ci = ii; i < height; ++i, ci += di)
for (int j = 0, cj = ij; j < width; ++j, cj += dj)
y = (0xff & ((int) yuv[ci * width + cj]));
v = (0xff & ((int) yuv[frameSize + (ci >> 1) * width
+ (cj & ~1) + 0]));
u = (0xff & ((int) yuv[frameSize + (ci >> 1) * width
+ (cj & ~1) + 1]));
y = y < 16 ? 16 : y;
// METHOD 1 [slower, less accurate]
/*
* r = y + (int) 1.402f * v; g = y - (int) (0.344f * u + 0.714f
* * v); b = y + (int) 1.772f * u; r = r > 255 ? 255 : r < 0 ? 0
* : r; g = g > 255 ? 255 : g < 0 ? 0 : g; b = b > 255 ? 255 : b
* < 0 ? 0 : b; argb[a++] = 0xff000000 | (b<<16) | (g<<8) | r;
*/
// METHOD 2
r = (int) (1.164f * (y - 16) + 1.596f * (v - 128));
g = (int) (1.164f * (y - 16) - 0.813f * (v - 128) - 0.391f * (u - 128));
b = (int) (1.164f * (y - 16) + 2.018f * (u - 128));
r = r < 0 ? 0 : (r > 255 ? 255 : r);
g = g < 0 ? 0 : (g > 255 ? 255 : g);
b = b < 0 ? 0 : (b > 255 ? 255 : b);
argb[a++] = 0xff000000 | (r << 16) | (g << 8) | b;
来自https://github.com/jyanik/Mocobar/blob/master/Mocobar/src/com/yanik/mocobar/camera/YUV2RGB.java的示例代码
【讨论】:
convert方法的第二个参数是yuv的一个字节,这个是怎么得到的??我的意思是我有一个 YUV 视频,现在第二个参数需要字节 []。现在应该怎么做才能传递第二个参数?【参考方案2】:我不记得这段代码的来源,可能是来自 SO 中的一个问题,但在这里派上用场,因为它是上面使用整数数学的版本,我需要它用于 android 项目!
//Method from Ketai project! Not mine! See below...
void decodeYUV420SP(int[] rgb, byte[] yuv420sp, int width, int height)
final int frameSize = width * height;
for (int j = 0, yp = 0; j < height; j++)
int uvp = frameSize + (j >> 1) * width, u = 0, v = 0;
for (int i = 0; i < width; i++, yp++)
int y = (0xff & ((int) yuv420sp[yp])) - 16;
if (y < 0)
y = 0;
if ((i & 1) == 0)
v = (0xff & yuv420sp[uvp++]) - 128;
u = (0xff & yuv420sp[uvp++]) - 128;
int y1192 = 1192 * y;
int r = (y1192 + 1634 * v);
int g = (y1192 - 833 * v - 400 * u);
int b = (y1192 + 2066 * u);
if (r < 0) r = 0;
else if (r > 262143)
r = 262143;
if (g < 0) g = 0;
else if (g > 262143)
g = 262143;
if (b < 0) b = 0;
else if (b > 262143)
b = 262143;
rgb[yp] = 0xff000000 | ((r << 6) & 0xff0000) | ((g >> 2) & 0xff00) | ((b >> 10) & 0xff);
【讨论】:
以上是关于在java中将yuv帧编码为视频文件的主要内容,如果未能解决你的问题,请参考以下文章