mtk支持265编码的
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mtk支持265编码的相关的知识,希望对你有一定的参考价值。
可能在很多人对H.265这个标准还不怎么熟悉的时候,国内两个视频网站——迅雷和PPS就已经推出H.265高清视频专区栏目了。我们对这一点的意外,就如同半年一年前,很多人才刚刚开始看上全高清节目,彩电厂商就都一下子推出4K超高清电视一样意外。算起来H.264标准从2005年开始推广,到现在已经过去8年。而超高清4K和8K分辨率的提出也只是在2010年,但到2013年就已经开始在彩电厂商中普及了。虽然广电还在继续采用MPEG-2标准在制作和传播节目,但现实的情况是,视频编解码技术已经迎来了新的编解码标准H.265/HEVC。
2012年8月,爱立信公司推出了首款H.265[1]编解码器,而在2013年初,国际电联(ITU)就正式批准通过了HEVC/H.265标准,标准全称为高效视频编码(HEVC)。几乎是同期,博通公司在2013国际消费电子展发布了BCM7445。这是世界上第一个支持HEVC/H.265视频编码技术的超高清家庭网关芯片,这意味着新一代的视频解码标准正式开始走进了产业中。
是什么原因促成H.265标准的制定与推广进行得如此迅速?这个标准对于产业究竟会有多大的帮助?在现实中又有多少用处?带着这些问题,笔者采访了多家处理器IP和芯片公司,以及整机企业的工程师,了解到了业界真实的需求。
上一代视频编码技术的瓶颈
前面已经讲到,在全高清时代,H.264 High Profile可在低于1.5Mbps的传输带宽下,实现1080p全高清视频传输。但是H.264的压缩效率比MPEG-2提高了1倍多,其代价是计算量提高了至少4倍,导致高清编码需要100GOPS的峰值计算能力。
比起H.264/AVC,H.265/HEVC提供了更多不同的工具来降低码率,以编码单位来说,H.264中每个宏块(marcoblock/MB)大小都是固定的16x16像素,而H.265的编码单位可以选择从最小的8x8到最大的64x64。
在相同的图象质量下,相比于H.264,通过H.265编码的视频大小将减少大约39-44%%。目前,有线电视和数字电视广播主要采用的仍旧是MPEG-2标准。好消息是,H.265标准的出台最终可以说服广播电视公司放弃垂垂老矣的MPEG-2,因为同样的内容,H.265可以减少70-80%%的带宽消耗。

图1:各种高清视频对于带宽的需求
FPGA芯片厂商Xilinx在高清广播视频节目制作和传输技术上占有很大的市场,该公司近年来一直在推广“Smart Vision”的市场理念,他们认为下一代的视频处理能力体现在沉浸式显示、实时视频分析和智能化传输三方面。相比全高清(FHD 60Hz)要求的带宽,4K×2K 120Hz或是8K×4K 60Hz对于带宽的要求提升了10倍,如果是3D视频,更是提升了100倍。
可能在消费类电子产品中,我们还会认为这些要求离我们有些远,但现实的工业级应用里,包括先进的汽车安全辅助系统、遥控飞机成像、城市监控和流水线成像,甚至是医疗影像方面,都已经有了这些超高清的应用。

图2:赛灵思推出的ZYNQ-7000 All Programmable SoC能够胜任H.265视频编解码的需求。
从上述的硬件限制来看,在这些前瞻性的应用领域,FPGA芯片确实能够提供更灵活的解决方案。而针对新的解码标准,ASIC或ASSP方案本身的限制,必须要在相关标准完善之后才有可能实施。
虽然FPGA厂商能够在前沿应用抢着先机,但事实上大规模的商业应用,尤其是与消费类产品相关的领域,例如超高清彩电或是视频监控等,其设备的成本也是必然要考虑的因素,而集成H.265解码器的处理器或CPU将是这类市场应用最佳的选择。在这些领域,IP厂商必须要走在前面。
H.265相关IP供应商支持并积极应对
采用英特尔或AMD这些强大的CPU再加超大内存的方式时,只需要安装或升级更新相关的H.265软解码器就可以实现。正如文章开头所说的迅雷和PPS已经有了H.265超高清电影节目频道一样,如果用户可以在自家的PC端安装相关软件,再加上有足够的带宽,就可以播放相关的节目资源了。这类方式,暂不在本文的讨论之中。
此外,H.265最先应用的主要市场将会是4K内容创建与发布,包括DSLR、摄录影机、OTT TV等。它也会被用在带宽有限的1080P视频会议系统。不久的将来,它将可能成为主流标准,但是既有标准仍将存在很长的时间,不会那么快消失,这就好比MPEG-2目前仍广泛应用在电视广播市场一样。
下一代的电视主芯片或是手机平板电脑的处理器都不可能采用这样的方式来处理H.265格式的编解码,而是需要内置相关的IP内核。除了自己来开发之外,大多数处理器厂商都会通过取得授权的方式来实现新一代标准的视频编解码能力,而这个功能也必然会成为他们的产品的新的卖点。
ARM作为半导体知识产权提供商一直以来紧密的跟踪着H.265即HEVC标准的变化和发展。 ARM亚太区生态系统市场经理章立在接受《电子工程专辑》的采访时表示,“HEVC有着非常出色的数据压缩效率, 虽然我们认为它的大规模市场化仍然需要几年时间。但是ARM已经很早就开始和我们的生态系统伙伴一起推动HEVC在消费电子设备上的推广和部署了。”
对于芯片厂商在设计新的芯片时会不会遇到很大的挑战这个问题,章立给出了乐观的回答。他说:“幸运的是,HEVC的设计比H.264要并行化得多。类似于HEVC中Wavefront coding,Titles等技术在ARM Neon? SIMD指令集,特别是在ARM最新的Mali?-T600系列GPU上运行的非常好!ARM最新的Mali-T600系列GPU是全球第一款已经量产的支持OpenCL Full Profile GPU 计算的嵌入式GPU. 这一切都意味着具备明显灵活性优势的软件解码实现将能在广泛存在的ARM平台上实现高清的HEVC的流畅播放。”
ARM一直在和众多的软件编解码方案提供商保持着紧密的合作,旨在ARM Cortex A系列CPU和Mali-T600系列GPU上优化HEVC软件解码方案,比如Ittiam,Aricent,VisualOn等。现在ARM已经有了1080P 30帧的HEVC软件解码方案,更在Mali-T600 GPU上也实现了1080P的HEVC解码。运用Mali-T600 GPU的计算能力来实现HEVC解码不仅能取得更好的性能以降低CPU的负荷,更能明显的降低功耗。
IP厂商Imagination是H.265(HEVC)标准委员会的重要成员,从软硬件配置的角度提供如何实现HEVC编解码最佳解决方案的建议。全球采用其视频编解码IP的芯片客户出货累计已超6亿颗。
伴随显示面板技术的演进,可利用HEVC更高的压缩率,通过增加解析度和位深的方式来提供更好的色彩逼真度。Imagination将会是市场上第一家提供HEVC 10bit解决方案的IP厂商。
Imagination对H.265将能带来的市场商机感到非常兴奋,特别是它对4K电视的益处,以及加速4K技术广泛采用的潜力。此外,尽管此技术带来的最大优势通常是针对较高解析度的应用场景,但低解析度应用也可因为HEVC的较低码率需求而在功耗,带宽和性能方面获益。
就市场渗透而言,从基础架构和内容的角度来看,H.264的发展已经非常完备。如今市场上的许多设备已有H.264的完整硬件支持,该公司预计HEVC要花几年的时间才能达到相同的市场渗透率。针对较低解析度的应用,现在的网络和存储功能都已经非常适合用于H.264和1080P视频功能,它不认为H.264技术近期内会从市场消失。
其他的编解码器,如VP8,也将持续在视频生态系统中占有一席之地,因为此编解码器的功能适用于某些特定应用,而且对于低成本(或要求更多选择)的编解码器需求也会一直存在。
同时,针对其他市场,像RealVideo、AVS和MPEG2这些编解码器也会持续有需求。
基于以上的市场理解,Imagination认为应当支持多标准的产品演进策略,这也是为什么公司的视频/编码解决方案选择支持市场所需的不同标准而非为单一标准设计。
由于初期的H.265软件解决方案性能有限,而且功耗较高,所以并不符合HEVC所针对的市场应用目标,对于某些非移动,低解析度应用,软件解决方案或许是可接受的,但对4K和移动应用来说,HEVC的大量商业化部署还是要依靠完整硬件解决方案才有可能。因此HEVC的广泛采用还需要一段时间。Imagination将会是市场上第一家提供HEVC 10bit解决方案的IP厂商,已经做好准备支持更高级的YUV格式,当标准组织完成4:4:4和4:2:2规格的定义后,便能将这些产品迅速推向市场。
芯片厂商的进展够快吗?
在今后可能的H.265的相关应用中,最重要的领域无疑会是平板、智能手机、彩电、数码相机、摄像机以及目前在全球大量采用的高清监控系统。这些领域大多会通过DSP+ARM处理器或是CPU+GPU的架构来实现。如文章开头所讲,不少芯片厂商已经在快速布局,甚至有相关的芯片发布。
高通:骁龙处理器可支持H.265播放
目前已经有包括Qualcomm在内的超过40家公司参与到HEVC编解码器(也称为H.265)的标准化当中。高通公司通过标准化会议以及在CES和MWC等关键技术事件上的公开展示等行为表达了对H.265标准化的支持。
美国高通技术公司产品管理总监Paul Torres在接受采访时表示,视频是网络数据流量爆炸式增长的一个主要驱动力,而H.265的压缩效率要比H.264多出近40%%,所以我们认为H.265将在业内有非常好的表现。下面是他的采访回复:
视频压缩是一种计算密集型任务,通常需要半导体上专门的电路来运行。我们一直强调Qualcomm对H.265的支持,只是目前还没公开声明过骁龙处理器将在半导体层面上支持H.265制式。
但与此同时,我们的业界领先的骁龙处理器配备高集成度高性能的Krait CPU和Hexagon DSP,可以轻松有效地处理计算密集型多媒体任务,如H.265播放。我们预期一些合作伙伴和客户将基于骁龙处理器的强大能力,在新一代骁龙处理器上实现H.265格式。
博通公司宽带技术事业部高级经理Wade Wan在接受采访时表示,HEVC/H.265相对于AVC/H.264的最大优点是成倍提高了编码效率,具有良好的市场前景。下面是他的采访回复:
在HEVC/H.265标准的形成过程中,我们一直积极跟进和参与HEVC/H.265的标准化过程,确保此标准的可实现性,并确保此标准可以平衡压缩效率和执行复杂度。HEVC/H.265标准将编码效率提高一倍,我们相信此标准已经促生成功、高级的视频编解码器,推动行业淘汰目前的 AVC/H.264标准。新的HEVC/H.265编解码器在视频方面拥有广泛的应用。
该技术使用更高效的比特率输出分辨率更高的视频,进入了超高清电视((UltraHD TV))的新时代。该技术拥有更高的压缩率,使我们的客户——包括消费电子产品制造商和服务提供商——提高所有消费设备的视频传输速度。HEVC/H.265标准允许服务提供商以更低的比特率提供更高质量的流媒体服务,以同样的比特率提供相同甚至更多内容,因此服务提供商也可以从中获益。博通预计HEVC/H.265技术的应用前景良好,目前正同编码器供应商和运营商合作,共同开拓市场。
HEVC/H.265相对于AVC/H.264的最大优点是成倍提高了编码效率。正如我们之前所说,关于如何利用这种更高的效率,服务提供商有多种选择——可以在相同的带宽下加入更多通道,可以使用一半的比特率提供同样质量的视频,也可以使用相同的比特率提供更好的服务。
2013年1月博通在CES上发布了BCM7445。BCM7445是世界上第一个支持HEVC/H.265视频编码技术的超高清家庭网关芯片,该技术促成超高清(4000x2000的分辨率)电视进入家庭,大屏幕上的图像质量得到极大提高;视频带宽使用率降低50%%;任何屏幕上的内容均可通过IP网络同步传输四组转码高清视频流;实现前所未有的21000DMIPS的应用性能,同时以网络域安全功能保护高价值内容。
博通预期HEVC/H.265在超高清电视的部署过程中将发挥关键性作用。新的编解码器技术将减少传输带宽,使超高清电视通过卫星、电缆或者IP通道传输成为可能。
美满电子:将提供针对电视、机顶盒和其它领域的H.265的方案
美满电子是电视和机顶盒市场中重要的主芯片供应商,该公司的美满电子智能电视事业部高级产品市场经理Chris Scott接受采访时表示,业界对于H.265的标准将于2013年开始正式部署,公司也将从今年起陆续推出H.265的解决方案。但他同时也指出,享受这一格式的好处,可能还需要几年的时间。下面是他的采访回复:
Marvell公司认为H.265标准对视频编解码格式是一个重要演进。我们预期H.265会成为一个成功的视频格式。 Marvell已规划了相应的产品路线图来应对这一视频格式的重要演进。我们预计H.265会于2013年开始部署,我们期待看到该标准得以广泛采用,特别是在服务运营商领域。但要享受该格式带来的好处可能还需要几年的时间,因为无论是发射端还是接收端设备的升级,都需要进行大量工作。
从技术上来说,H.265在同等图像质量下进一步提升了压缩效率,正如H.264相对于MPEG-2的提升。这对于服务运营商来说是很重要的,因为在带宽有限的状况下,它实现了对可用带宽更有效的利用。H.265让有线电视运营商可以在他们的产品库中加入更多频道,还可以让基于VDSL的IPTV运营商提升图像质量,并提供更多有用的功能,如“同时观看/录制最多4个频道的节目”。当然,H.265将让所有运营商都能实现超高清内容播放。
Marvell公司了解H.265对于超高清的重要性,在高效的H.265编码标准下,超高清分辨率比高清分辨率提高了4倍(对于4K来说,8K则提高了16倍)。从传输的角度来看,服务提供商希望在无需重新设计他们现有物理网络的前提下,处理提升的分辨率,希望实现高质量的超高清视频交付,H.265为此提供了解决方案。整个数字娱乐生态系统都将从这个新标准获益。
Marvell公司正在开发支持H.265标准的产品。2013年起,针对电视、机顶盒和其他数字娱乐设备,Marvell公司H.265解决方案将会陆续推出,以满足这些市场的需求。我们不希望电视BOM组件成本结构发生任何根本性的变化来支持H.265。
联发科:技术保密但积极准备
在新一代视频编解码标准的推进过程中,来自国内彩电芯片市场最重要的供应商联发科的声音自然不可忽略。《电子工程专辑》也曾多次尝试就这个主题通过媒体公关渠道来采访这家公司,但都没能得到官方正式的回应,理由是未能上市的产品不方便披露,但细心的笔者还是联系到了他们的客户,探听到了一些声音。
这位不愿意透露姓名的客户表示,联发科已经在研究开发支持H.265功能的电视主芯片,甚至相关芯片都已经有了正式的型号,最快会在2013年下半年将样品交给客户试用研发。如果真是这样,这意味着2014年国产彩电厂商就会有可能发布支持H.265的彩电。
不过,笔者还是有些担心,原因是H.265的标准还处在演进当中,即使是支持,也是会在某种程度上的支持。但这可能并不非常妨碍消费者的体验,毕竟相关的节目内容格式标准也一定会是逐步提升的。
海思半导体:音视频标准的重要参与者和推动者
海思作为国内最重要的机顶盒主芯片提供商,多次在媒体上表态对H.265的标准的跟进。但涉及到其芯片的规划和具体路线时,本刊联系到的其公司市场部工作人员表示只能匿名接受采访。
海思暂时没有公布具体的支持H.265的芯片计划,但他预计目标市场需求在2015年以后。至于新标准是否会对中国厂商收费,海思认为“音视频标准都会收专利费,收费策略为针对面向消费者的终端设备”。
他同时也表示,海思编解码技术均为自主研发,且在HEVC标准中已预埋多件专利。要推出支持相关标准的产品在技术实现上不难,但是否推出是以市场需求为前提。
系统厂商的声音
新的标准推出是否会被市场接受,这都需要从终端厂商来考虑。前面所说的迅雷和PPS对H.265的支持,毕竟是通过PC终端实现的,而消费者的硬件配置成本几乎没有。但在广播电视、安全监控或其它领域,硬件的增加与投资回报则一定是市场上必须考虑的因素,甚至是决定性的因素。
北京奥维视讯(AVST)总经理王福宇认为,H.265首先突破的市场将是互联网市场。他表示:“广电市场是一个相对缓慢,封闭,稳定的市场,而互联网市场是一个朝气蓬勃的市场,任何新的变革性的技术在互联网市场都会找到舞台。H.265芯片在2014-2015年会出现试验样机,产业成熟需要2-3年时间。AVST在2011年就已经和一家在做H.265芯片的公司签署了合作伙伴关系,会率先推出H.265的网络视频系统解决方案。”
同时他也表示了对新标准的专利费的担心,当年的MPEG2机顶盒专利纠纷,到Google的html5浏览器不支持H.264就可以看得出,新标准推广的核心问题将会是专利问题。
另外,本刊也采访了深圳某监控系统公司的资深工程师,电子工程专辑网站的资深读者王久东,他分析了H.265进入监控市场的前景。
王久东认为,H.265短期内还是比较难以进入监控市场的,因为存在设备兼容性的问题。目前在监控行业支持最普遍的还是H.264和MPEG4标清的方案。前端是模拟输出,存储端的要求是要可以编和可以解。在高清时代一般编码在前端,存储解码在后端。因为前端不编码,使得数据太大,加上网络带宽有限,因此就没有办法传输了。后端存储,在需要查看的时候就需要将编码的数据解码出来显示,这是一个一一匹配的关系。无论前后端哪个模块的升级都要求整个系统同时升级,这样才可以有比较好的匹配。
“在实际的监控应用中不太可能一次性的淘汰原来所有的设备,这样做成本的代价太大。”他认为高清监控大规模设备替换的难度非常大。 参考技术A CPU部分,Kompanio 520 和 Kompanio 528均为“2+6”大小核架构。大核为Cortex-A76架构,区别在于Kompanio 520的大核最高运行频率为2GHz,Kompanio 528的大核最高运行频率为2.2GHz。GPU方面两者同为Arm Mail G52 MC2 2EE。存储方面,两款芯片都支持最高频率为3733MHz的LPDDR4X内存及带有硬件命令队列功能的eMMC 5.1。
其他方面,两款芯片均支持VP9
audio开发指导文档
一)背景
MTK T750平台,相比T700平台,原生支持call以及voice功能。同时,T750原生支持SI32185的SLIC芯片。
二)代码路径
2.1)SI3218X相关原厂API初始代码
H:\\MTK\\T750\\mtk\\ext_kernel-4.19\\sound\\soc\\codecs\\proslic
2-2)MTK提供的voice功能函数
H:\\MTK\\T750\\mtk\\package\\system\\audio
三)MTK提供voice功能函数,解读
mtk_phonecall_ioplugin
向alsa-lib注册插件,插件的名称为mtk_phonecall,从名称可以看出,是call相关的。
我们使用alsa-utils提供的amixer工具时,amixer -D mtk_phonecall 指定设备或者插件 mtk_phonecall,可以获取下述信息,主要是一些mixer
现阶段,我们主要使用Speech_on开启音频流。完成上下行声音的收发。
audio-ctrl-
以上是关于mtk支持265编码的的主要内容,如果未能解决你的问题,请参考以下文章
Codecs系列x265编码器:preset支持工具集和优化分析
Qt音视频开发29-ffmpeg中x264/x265编码库支持
H265编码视频流媒体播放器EasyPlayer.js支持9宫格视频同屏播放的写法