ijkplayer播放器h265解码能力调研

Posted 2022-11-24 有心好书

0x01.h264编解码

H.264: H.264/AVC项目的目的是为了创建一个比以前的视频压缩标准，在更低的比特率的情况下依然能够提供良好视频质量的标准（如，一半或者更少于MPEG-2,H.263,或者MPEG-4 Part2 ）。同时，还要不会太大的增加设计的复杂性。
优势：
1）网络亲和性，即可适用于各种传输网络
2）高的视频压缩比，当初提出的指标是比 H.263，MPEG-4，约为它们的 2 倍，现在都已基 实现;

编码流程：
那么 H.264 其编解码流程是怎么样的呢？其实可以主要分为 5 部分： 帧间和帧内预测（Estimation）、变换（Transform）和反变换、量化（Quantization）和反量化、环路滤波（Loop Filter）、熵编码（Entropy Coding）。

整体结构

帧间和帧内预测（Estimation）、变换（Transform）和反变换、量化（Quantization）和反量化、环路滤波（Loop Filter）、熵编码（Entropy Coding）。差对这几块这感性认知。

想了解更多，可参考下面的书籍链接：
新一代视频压缩编码标准H.264.pdf
http://read.pudn.com/downloads147/ebook/635957/%E6%96%B0%E4%B8%80%E4%BB%A3%E8%A7%86%E9%A2%91%E5%8E%8B%E7%BC%A9%E7%BC%96%E7%A0%81%E6%A0%87%E5%87%86H.264.pdf
H.264官方文档：
https://github.com/jiayayao/DataSheet/blob/master/encode-decode/h264/51CTO%E4%B8%8B%E8%BD%BD-h264%E4%B8%AD%E6%96%87%E5%8D%8F%E8%AE%AE(%E4%B8%AD%E8%8B%B1%E6%96%87%E5%AF%B9%E7%85%A7)H264%E8%A7%A3%E7%A0%81%E6%89%8B%E5%86%8C.pdf

0x02.h265编解码

HEVC编码技术承袭现有的H.264编码技术，包含帧内预测（intra prediction）、帧间预测（inter prediction）、转换（transform）、量化（quantization）、去区块滤波器（deblocking filter）、熵编码（entropy coding）等模块，全新HEVC编码技术为提升压缩率，将这些模块整合成3个单元，分别是编码单元（coding unit，CU）、预测单位（predict unit，PU） 和转换单位（transform unit，TU）。

H.264编码技术的编码单位，每个宏块固定为16×16像素，而HEVC编码技术的编码单位较为灵活，最小可以实现8×8像素编码，最大可以实现64×64像素编码。H.264帧内预测模式支持8种方向调节，而HEVC帧内预测模式支持多达33种方向调节，且提供比H.264编码技术更好的矢量预测计算方法和动态补偿处理效果。

HEVC全新的编码方式有效提升了视频压缩率，仅需原先的一半带宽即可播放相同质量的视频。众所周知，视频编码的码率是可以灵活控制的，以相同的视频质量为基准，HEVC编码技术相比H.264编码技术能够在视频容量减少大约39～74%，并且还能获得比H.264视频更好的信噪比（PSNR）效果。如此惊艳的表现势必巅峰整个显示产业。

具体可参考书籍：
H.265/HEVC――视频编码新标准及其扩展
https://item.jd.com/11970734.html

0x03.什么是软解，什么是硬解

硬解
硬解是硬件解码的简称。简单而言，硬件解码就是通过显卡的视频加速功能对高清视频进行解码。

硬件码优势：更加省电，适合长时间的移动端视频播放器和直播，手机电池有限的情况下，使用硬件解码会更加好。减少CPU的占用，可以把CUP让给别的线程使用，有利于手机的流畅度。

软解
软解即软件解码，常规地直接用CPU解码会极大地消耗CPU的运算能力。

软解码优势：具有更好的适应性，软件解码主要是会占用CUP的运行，软解不考虑社备的硬件解码支持情况，有CPU就可以使用了，但是占用了更多的CUP那就意味着很耗费性能，很耗电，在设备电量充足的情况下，或者设备硬件解码支持不足的情况下使用软件解码更加好！

硬解能够将CPU从繁重的视频解码运算中释放出来，使电脑具备流畅播放高清视频的能力。显卡的GPU/VPU要比CPU更适合这类大数据量的、低难度的重复工作。视频解码工作从处理器那里分离出来，交给显卡去做，这就叫做“硬解码”，例如NVIDIA的PureVideo、AMD的UVD技术等等。与之对应的，以前那种纯粹依靠CPU来的方式则是“软解码”。不过受到技术条件的限制，纯粹的“硬解码”在现阶段是不存在的，CPU依然在发挥一部分作用，只不过硬解码时GPU/VPU已经成为运算的主力。

android怎么支持硬解硬编？
在Android中使用硬件解码直接使用MediaCodec就可以了，虽然MediaPlayer也是硬件解码，但是被封装得太死了，支持的协议很少。而MediaCodec就很好拓展，我们可以根据流媒体的协议和设备硬件本身来自定义硬件解码，代表播放器就是Google的ExoPlayer。

软解码：即通过软件让CPU来对视频进行解码处理，就是通过CPU来运行视频编解码代码，我们最最常见的视频软解码开源看就是FFmpeg。

以上我们从ijkplayer的源码实现中也可以查到的。

0x04.ijkplayer的支持情况

支持h265的硬解和软解
考虑硬解的兼容性问题
Android NDK MediaCodec在ijkplayer中的实践
https://www.cnblogs.com/jukan/p/9845673.html

0x05.h265 vs h264优缺点对比（先看到优点）

优点：
1.面向未来，更好的压缩比，在带宽降低的同时也可以保证情绪度
2.降低带宽成本，HEVC编码方式仅需原先的一半带宽即可播放相同质量的视频（这个数字并不是准确的）
3.目前大多数电视产品都已经具备了4K分辨率，甚至最接近人眼极限的8K电视都已经问世。不过遗憾的是，我们能够看到的4K内容仍然非常稀少，就更不要说8K分辨率的影片了。然而蓝光标准的发布奠定了1080P旷日持久的影响力，而4K视频想要有所作为，蓝光4K标准是极为重要的助推器。如果说H.264编码技术为1080p而生，那么HEVC编码技术则为蓝光4K而生。

缺点：
1.Android设备硬解h265的兼容性问题
2.云端视频格式转换成本
3.编解码效率等

0x06.结论

以上的学习，都是来自于网络blog，具体结论等等还需要自己亲身的实践才行。不过整体上来说，h265是面向未来的技术，最好选择硬编硬解播放。是非常有必要去做和推进的。

0x07.参考资料：

h264
H264 NALU结构
https://www.oipapio.com/cn/article-199122
深入浅出理解视频编码 H264 结构（内涵福利）
https://juejin.im/entry/5833dc86570c35006c22cfb1
H264 编解码协议详解
https://blog.csdn.net/qq_19923217/article/details/83348095
H264编码总结(这篇文章最全面）
https://www.jianshu.com/p/0c296b05ef2a
H264基本原理
https://www.jianshu.com/p/97b4dc8c7f00

h265
虎牙直播首推h265直播
http://www.game234.com/yxrd/20180720/3348967.html
H.265（HEVC）深度解析
https://blog.csdn.net/xiaojun111111/article/details/61199130
初识HEVC/H.265
https://blog.csdn.net/subfate/article/details/48243307
H265码流结构分析
https://blog.csdn.net/u011003120/article/details/83411445
HEVC初探 H.265 vs H.264
https://blog.csdn.net/deliapu/article/details/76267720
H265编码等级以及图像的基础知识
https://www.cnblogs.com/agui125/p/10071320.html
【求教】HEVC / H265 / 4K 究竟是什麼（求掃盲）
http://www.oursilu.com/thread-1226420-1-1.html
复旦大学研究团队发布全球首款开源H.265 Video Encoder IP Core
https://forum.mianbaoban.cn/topic/9018_1_1.html
说出来你可能不信！华为竟是8K技术大佬
https://www.jd.com/phb/zhishi/8f6a69e23454fabc.html
MP4/RMVB/MKV/AVI 等，这些视频格式与编码压缩标准 mpeg4，H.264.H.265 等有什么关系？
http://wd.znds.com/21593.html
4K/8K视频主力H.265编码技术解析！（超级详细）
https://www.4k123.com/thread-6369-1-1.html
关于HEVC/H.265编码的研究
https://www.jianshu.com/p/c53a28489696
H.264和H.265（HEVC）深度解析及对比
https://blog.csdn.net/weixin_42229404/article/details/84639538

硬编码&软编码
Android硬解码与软解码
https://www.jianshu.com/p/e9a5e1fe2ad8
Android视频滤镜添加硬解码方案
https://blog.csdn.net/u010029439/article/details/89494531
性能测试工具 硬解码优势明显！8 款视频类 APP 解码评测报告
https://www.cnblogs.com/jukan/p/9845673.html
手机视频解码的两种方式
https://www.iteye.com/blog/sharley-2369664
IJKPlayer相关指南
https://superdanny.link/2017/05/09/ios-IJKPlayer/
微信团队分享：微信Android版小视频编码填过的那些坑
https://zhuanlan.zhihu.com/p/30618883
Android 硬编硬解退坑指南
https://juejin.im/entry/5b8a5df2f265da431f3727ca