音视频处理之基础知识20180131

Posted yuweifeng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了音视频处理之基础知识20180131相关的知识,希望对你有一定的参考价值。

1.视频播放器的原理
编码好的音视频流叫码流
2.信息查看工具

3.封装格式
1).MPEG2_TS格式
没有文件头,文件损坏一部分也能播放
2).FLV格式
包含文件头,文件丢掉了头部或者说文件损坏了就不能播放
4.视频编码数据
视频编码的作用
将视频像素数据(RGB,YUV等)压缩成为视频码流,从而降低视频的数据量
视频编码分析工具
Elecard Stream Eye查看视频编码格式(也叫码流分析工具,可分析h264)
红色的表示I帧,蓝色的表示P帧,绿色的表示B帧,方块表示宏块的划分方式,划分为16x16的小块,每块都有不同的类型(用不同的颜色标识)
左侧坐标表示数据量
I帧不依赖其他的帧,只压缩当前画面的数据。
P帧只会存和红色框(运动矢量)不一样的信息,和前面I帧不一样的信息。
B帧还会存和绿色框(运动矢量,和后面不一样的)不一样的信息,会参考前后的帧

H264格式简介
数据由大小不固定的NALU构成
最常见的情况下,1个NALU存储了1帧画面的压缩编码后的数据。

5.音频编码数据
将音频采样数据(pcm等)压缩成为音频码流,从而降低音频的数据量

aac格式
类似h264的地位,目前大多数都是使用aac格式

6.视频像素数据
最为常用的是YUV420,YUV格式像素数据查看工具yuv player
ps:BMP文件中存储的就是RGB格式的像素数据。
YUV格式简介
相关实验表明,人眼堆亮度铭感但对色度不敏感。所以可以将亮度信息和色度信息分离,
并堆色度信息采用更狠一点的压缩方案,从而提高压缩效率。也就是说YUV格式的像素数据
也是压缩的。
YUV格式中,Y只包含亮度信息,而UV只包含色度信息。
以YUV420P为例,首先存储了整张图像的Y信息,然后存储整张图像的U信息(数据量只有Y的一半)
,最后存储了整张图像的V信息(数据量只有Y的一半)
YUV格式没有保持文件头信息,也就是没有保持宽,高等信息,所以需要自己配置才能正常播放

7.音频采样数据
保存了音频中每个采样点的值。
假定采样率为44100HZ(1s采样44100次,绝大多数用这个采样率,由人耳所能听到频率的音取两倍,为何取两倍由抽样定理得到 防止混叠效应),采样精度为16bit(一个采样值大小),左右声道(立体声,2倍数据)
则一首4分钟的PCM格式(采样数据,完全无损)的歌曲体积为:
4*60*44100*2*2=42.3MB

音频采样数据查看工具:Adobe Audition
采样数据,即PCM格式数据,同样没有文件头信息,所以同样需要设置采样率,分辨率(采样精度),通道等信息

PCM格式简介
单声道的情况下按照顺序存储每个采样点的数据。
双声道的情况下按照左右,左右的顺序存储每个采样点两个声道的数据
pcm格式其实就是由一个个幅值不同的采样点组成,而一个采样点放大来看就是一个方波。

以上是关于音视频处理之基础知识20180131的主要内容,如果未能解决你的问题,请参考以下文章

视频图像处理基础-获取图像的仿真数据流

视频技术处理之javaCV视频图像灰度处理,附代码

视频技术处理之javaCV视频图像灰度处理,附代码

Python基础之数据类型和变量

音视频处理之编码原理20170905

MYSQL进阶学习笔记四:MySQL存储过程之定义条件,处理过程及存储过程的管理!(视频序号:进阶_11,12)