使用 NDK、OpenGL ES 和 FFmpeg 的 Android 视频播放器

Posted 2023-03-13

【中文标题】使用 NDK、OpenGL ES 和 FFmpeg 的 Android 视频播放器

【英文标题】：Android Video Player Using NDK, OpenGL ES, and FFmpeg

【发布时间】：2011-06-08 06:01:56

【问题描述】：

好的，这就是我目前所拥有的。我已经在 android 上构建了 FFmpeg，并且能够很好地使用它。从 java 端传递选择的文件名后，我已经能够将视频加载到 FFmpeg 中。为了节省性能，我在 NDK 中编写视频播放器，而不是通过 JNI 将帧从 FFmpeg 传递到 java。我想将视频中的帧发送到 OpenGL 表面。我无法弄清楚如何获取每一帧视频并将其渲染到 OpenGL 表面上。几个星期以来，我一直在试图解决这个问题，但没有运气。希望有人能指出我正确的方向。

谢谢！

【问题讨论】：

嗨 Kieran，我正在尝试使用 FFmpeg 和 android ndk 转换格式并播放音频或视频。我在网上找不到任何资源或指导。经过长时间的搜索，我找到了这个链接github.com/havlenapetr/FFMpeg。但我无法编译和运行这个例子。请帮助我或给我参考链接 - 我如何在 android 中使用 FFmpeg 文件播放音频/视频....谢谢

Praveenb，我很难让 FFmpeg 最终在 Android 上编译并可用。我不得不玩弄一下配置脚本。我也没有使用最新版本的 FFmpeg。我下载了一个稍旧的版本，它仍然使用 sws_scale 函数来让它工作。我可以尽我所能帮助你让它工作，只是让我知道你现在在哪里以及你遇到了什么类型的错误。构建静态库应该不难。

嗨，我正在努力为 Android 构建 FFmpeg。您能告诉我您是如何设法为 Android 构建静态库的吗？是否有任何 git-repository 或类似的东西可以开始？那个配置脚本怎么样 - 有什么要设置的？

【参考方案1】：

想到的一种方法是将帧的像素绘制到纹理中，然后使用 OpenGL 渲染该纹理。

不久前我写了一篇关于如何解决此问题的博客文章，主要针对基于像素的老式视频游戏，但它也适用于您的情况。帖子是Android Native Coding in C，我设置了github repository with an example。使用这种技术，我已经能够获得 60 FPS，即使在第一代硬件上也是如此。

编辑关于此方法的 glTexImage2D 与 glTexSubImage2D。

调用 glTexImage2D 将为您的纹理分配视频内存并将您传递给它的像素复制到该内存中（如果您不传递 NULL）。调用 glTexSubImage2D 将更新您在已分配纹理中指定的像素。

如果您更新 all 纹理，那么调用其中一个或另一个几乎没有区别，实际上 glTexImage2D 通常更快。但是如果你只更新纹理的一部分，glTexSubImage2D 会在速度上胜出。

您必须使用 2 次方纹理尺寸，因此在高分辨率设备上覆盖屏幕需要 1024x512 纹理，在中等分辨率下需要 512x512 纹理。纹理大于屏幕区域（高分辨率为 800x400-ish），这意味着您只需要更新它的一部分，因此 glTexSubImage2D 是要走的路。

【讨论】：

感谢您的回复！你知道这很有趣我不久前来到你的博客，我用它作为我的应用程序的基础哈哈。直到现在我才再次找到它，所以谢谢你让我知道！现在我终于在屏幕上出现了一些东西，但像素似乎完全搞砸了。我不确定我是否正确创建了我的矩形纹理，或者在 FFmpeg 中转换为正确的 RGB 像素格式是否存在问题。我希望有更多的 OpenGL ES 文档，因为在 OpenGL 中使用四边形很容易做到这一点。有什么建议吗？

您可以使用带有纹理的四边形。只需使用 glOrthof 并设置您的顶点和纹理坐标，就像在常规 OpenGL 中一样。混乱的像素是一个模糊的描述：它们是完全无法辨认的吗？太绿还是太红？也许他们被剪到左边？我的建议：使用与 GLES 重叠的 OpenGL 子集让代码在 PC 上运行，然后将完全相同的代码编译到 Android。这是我通常做的。

好的，谢谢您的信息。抱歉，我所说的混乱像素的意思是，它们是无法辨认的。在 FFmpeg 中，您必须使用函数 sws_scale 将像素格式转换为 RGG，但至于 OpenGL 方面，我仍在学习如何使用它，我不太确定我是否转换为正确的像素格式，或者我是否设置正确设置我的矩形顶点和纹理坐标。另外，由于我正在遍历每一帧，因此应该使用 glTexSubImage2d() 或继续使用 glTexImage2d() 用新帧中的新纹理数据替换当前纹理？

@Kieran：我添加了关于 tex 与 texsub 的注释。

我终于使用 FFmpeg 和 OpenGL ES 将视频帧显示在屏幕上......如果有人对我如何让它工作感兴趣，请告诉我，我会尽我所能提供帮助。它最终成为使用来自 FFmpeg 的正确像素格式转换并将其映射到 OpenGL 中正确的像素格式以及使用正确的纹理坐标的问题。但有一件事是，与 .mp4 解码相比，手机上的 .3gp 解码速度非常慢。在我原来的机器人上，我最多只能获得 ~11fps。虽然 droid x 产生了 ~22fps... 仍在努力改进。