我的音视频技术笔记路线图

Posted 2021-09-19 zhanghui_cuc

恍惚间发现自己的博客文章已经有100篇了（有几篇尚在草稿箱中等待进一步加工），才发觉应该弄一个总目录，让自己心里有数，也让诸位读者看着舒心。

我的文章不同于其他作者，鲜少有手把手入门性质文章（这方面我的师哥雷博士已有许多著作在前），多是以某一个技术点为主题，展开进行较为深入的介绍。

下面即将这些点联结为一棵音视频知识树，供诸君参考：

1. 编解码基础知识

1.1 H264

码率控制

• H.264码率控制算法研究及JM相应代码分析（一）
• H.264码率控制算法研究及JM相应代码分析（二）
• H.264码率控制算法研究及JM相应代码分析（三）

x264

• x264源码分析与应用示例（一）——视频编码基本流程
• x264源码分析与应用示例（二）——码率控制
• x264源码分析与应用示例（三）——浅谈码率控制的优化问题

1.2 HEVC

• HEVC码率控制算法研究与HM相应代码分析（一）——HEVC标准及编码流程介绍
• HEVC码率控制算法研究与HM相应代码分析（二）——新的码率控制模型
• HEVC码率控制算法研究与HM相应代码分析（三）——算法及代码分析

1.3 AAC

• 快速理解AAC编码格式

1.4 硬件编码

• 硬件编码工具简介
• Linux下Intel Media SDK的安装

1.5 性能优化

• 如何比较视频编码器的性能
• 编码效率优化——Per-Title Encoding，Dynamic Optimizer及其它

1.6 其他

• 分享几个Linux下的码流分析工具
• 10bit YUV数据在内存中的存储格式
• 一张图搞懂各种分辨率的别称与尺寸

---

2. 流媒体基础知识

2.1 传输协议

• 自适应流媒体传输（一）——DASH媒体内容的生成
• 自适应流媒体传输（二）——为什么要使用fragmented MP4
• 自适应流媒体传输（三）——和TS格式说再见
• 自适应流媒体传输（四）——深入理解MPD
• 自适应流媒体传输（五）——正确认识码率切换

2.2 流媒体服务器

• nginx服务器负载均衡配置
• 如何在nginx服务器上实现多媒体流的录制和转码

---

3. 开源技术专题

3.1 FFmpeg

源码分析

• ffmpeg源码分析与应用示例（一）——H.264解码与QP提取
• ffmpeg源码分析与应用示例（二）——代码抽取的意义

应用实例

• ffmpeg综合应用示例（一）——摄像头直播
• ffmpeg综合应用示例（二）——为直播流添加特效
• ffmpeg综合应用示例（三）——安卓手机摄像头编码
• ffmpeg综合应用示例（四）——摄像头直播的视音频同步
• ffmpeg综合应用示例（五）——多路视频合并

3.2 WebRTC

• WebRTC VideoEngine综合应用示例（一）——视频通话的基本流程
• WebRTC VideoEngine综合应用示例（二）——集成OPENH264编解码器
• WebRTC VideoEngine综合应用示例（三）——集成X264编码和ffmpeg解码
• WebRTC VoiceEngine综合应用示例（一）——基本结构分析
• WebRTC VoiceEngine综合应用示例（二）——音频通话的基本流程

3.3 VLC

• 深入理解VLC之代码流程
• 深入理解VLC之纵观全局

3.4 IJK

• ijkplayer实现图形字幕的播放

---

4. 移动端多媒体技术

4.1 android多媒体框架

• Android源码树结构介绍

• Android NuPlayer要点详解

• 理解Android音频焦点

• 深入理解Android Tunnel Mode

4.2 Android视频编辑

• Android视频编辑SDK及示例应用

4.3 DRM

• 深入理解DRM（二）——了解Widevine与OEMCrypto
• 深入理解DRM（三）——MediaDRM和MediaCrypto

4.4 投屏

• 深入理解Google Cast（一）基本概念
• 深入理解Google Cast（二）开发一个支持Google Cast的sender APP
• 深入理解Google Cast（三）探寻原理

4.5 体验优化

音画同步

• 深入理解Android音视频同步机制（一）概述
• 深入理解Android音视频同步机制（二）ExoPlayer的avsync逻辑
• 深入理解Android音视频同步机制（三）NuPlayer的avsync逻辑
• 深入理解Android音视频同步机制（四）MediaSync的使用与原理
• 深入理解Android音视频同步机制（五）如何从零开始写一个音视频同步的播放器

性能优化

• 花式读取Android CPU使用率
  
• 多媒体性能优化（一）-减少丢帧

其他

• Android实现音频淡入淡出效果
• Android常用调试命令记录
• Android native crash解析

---

5. 图像质量评价

• 利用matlab计算Pearson和Spearman相关系数
• 视频主观质量评价方法总结

---

6. QoE

6.1 理论

• 浅谈QoE的研究方法
• 翻译ITU-T-REC-G.1080《IPTV的体验质量（QoE）要求》系列文章

6.2 应用

• 播放器色觉辅助功能开发，助力提升色觉障碍用户的视频观看体验

---

7. 音视频测试

• 浅谈音视频自动化测试
• DXOMark是如何评价音频质量的

---

8. 学术与行业会议见闻

• 分享一些做课题调查的方法
• 如何在一天内为你的实验室做一个网站
• 分享一些在ICME2016会议上获得的多媒体领域学术与科技动态
• CES2019前瞻：影音技术如何改变我们的生活
• 岁岁年年人不同——LVS2019多媒体会议见闻（一）
• 岁岁年年人不同——LVS2019多媒体会议见闻（二）
• 技术人看OTT市场：为何华为，一加等纷纷入场

9. 年度盘点

• 2018年多媒体技术圈年终事件大回顾
• 2019年多媒体技术圈年终事件大回顾