为什么相比芯片,我们更在意深度学习框架的中国化?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了为什么相比芯片,我们更在意深度学习框架的中国化?相关的知识,希望对你有一定的参考价值。

这两天美国宣布对中兴进行封锁,可谓在科技圈掀起了从上到下的一股龙卷风。

4月16日美国商务部发布命令,禁止美国企业向中兴通讯销售元器件,时间长达7年。假如这一纸禁令真正生效,意味着中兴通讯旗下全产业链所依靠的芯片等核心元件失去获取渠道,基本意味着庞大的中兴通讯将面临无法继续经营的最坏可能。

中兴通讯股价随之快速下跌,已相当于两个跌停板,其美国供应商的股价在“禁令”发布后也遭遇不同程度的下跌。

19日,中国商务部新闻发言人高峰在新闻发布会上表示,美方行径引起了市场对于美国贸易和投资环境的普遍担忧。

随着中美贸易战延伸到科技领域,似乎一夜间我们又回忆起了缺失核心研发能力的恐惧。“缺芯之痛”转瞬弥漫在舆论氛围里,甚至关于“中国科技到底行不行”的讨论又一次尘嚣直上。

技术分享图片

当然了,出问题就无限夸大其实并没有太大意义。客观来说,美国的芯片禁令无法持久,毕竟这背后涉及的美国本土产业链、利益群落与工作岗位非常庞大。一旦接连失去中国大客户,美国引以为傲的科技产业本身就会撑不住。

另外我们需要认清的是,半导体行业今天的国际格局并不是几个月,甚至几年内造成的。而是整个半导体工业时代发展和遗留下来的产物。中国以及全世界更多市场的计算机、工业、通用电子系统上本土芯片占有率都是零。

事实上,中兴这样的中国企业,在技术上的锐意进取是有目共睹的。但芯片研发制造能力的国际垄断,是几十年积累下来的产业现实,是大量的科技因素与市场封锁、贸易规则制定综合得出的结论。是一两家公司,甚至是集合整个科技集群都难以改变的。

换句话说,中国科技公司面临可能出现的困境,除了加强研发投入也没有什么别的办法。过去我们无法改写,但今天我们能改变的东西,叫做未来。

技术分享图片

就像几十年前的半导体技术是核心中的核心。今天提起能改变未来世界的技术,AI绝对是当仁不让。尤其值得注意的是,这个刚刚兴起、充满变化的技术领域里,中美之间的价值突围和技术博弈其实更加激烈。

AI的国家战略重要性是毋庸质疑的,而针对产业链上游核心技术的争夺正在逐步呈现白热化。假如我们希望若干年后整个产业界,甚至整个国家不会再因为一纸封锁领而恐慌,那么AI这个战场的基础设施,才是真的不容有失。

或许对于大部分人来说,AI的底层之争在今天还有些陌生,但它确实很可能像曾经的半导体一样,产生新时代的世界科技格局垄断效应。比如说每个AI开发者都会用到,所有AI应用产生的基础——深度学习开发框架。

在这个普通人很陌生的领域,中国科技公司和万千开发者,正在一点点刷新着中国科技的存在感。

被忽略的深度学习框架

芯片为什么重要?原因在于它是一切运算的基础,是最后端的的东西,没有它一切硬件都玩不转。所以当垄断形成,就能对其他经济体的科技发展形成底层制约。

同样的道理,在AI时代也体现在开发框架这件事上。我们知道,AI开发者不能每开发一个模型就从最底层重新来过,所以想要进行算法训练、模型开发、应用部署,都必须在一定的开发平台上来完成。AI发展到今天,这个平台的角色主要依靠大学和企业提供的深度学习框架来扮演。

在中国,深度学习框架相对来说是一个科研和开发领域的事情,但在美国,产业界围绕开发框架的争夺战早已经火星四溢。

比如说,很多美国媒体都认为,谷歌今天在云计算、硬件、语音助手、AI教学等业务中,全都展现出“TensorFlow First”的特点,用尽各种办法将开发者引导至自己的开发平台上,并且坚决不兼容其他开发框架。

技术分享图片

而Facebook、微软则对TensorFlow的封闭深恶痛绝,形成了以caffe、Python结盟形式的“反谷歌联盟”,希望以兼容性和社群开放等优势,打破谷歌一骑绝尘的战略格局。

对开发框架的重视,隐藏着科技企业和背后国家经济体对AI未来的押注。试想无数应用都在自己的平台上进行开发,那么所有数据、算法创新和模型训练过程就都留在了平台当中。企业和平台收获的,是作为地基的产业地位。而国家经济收获的,是可以从源头上控制其他经济体AI应用的“上游效应”。

幸运的是,已经吃够了“下游之苦”的中国,在深度学习框架这件事上并没有落后。

技术分享图片

为了解决当时主流开发框架仅支持但GPU应用,无法进行大规模数据处理的问题。百度从2013年就开始研发自己的深度学习框架PaddlePaddle,经过长期内部应用后,在2016年正式将其进行开源。

这也让百度成为继谷歌、Facebook、IBM之后,全球第四家、中国第一家开源深度学习开发框架的科技公司,从而让中国在这个关键领域没有陷入长期滞后。百度之后,国内的其他相关企业也纷纷在框架上展现动作,在AI之争可能打响的前夜,中国产业壁垒的高度已和过去不再相同。

可能出现的中美AI对决中,开发框架或是轴心武器

就目前中国AI的整体行业氛围而言,似乎普遍更关注AI“用”的一面,容易忽略在应用之前的开发与创新,以及为创新提供的基础设施,是整个AI商业想象力的原点。

事实上,假如我们将中美两国看做处于竞比关系的两个AI技术群落,那么深度学习框架的质量和接受度,很可能会影响到整个产业竞赛的进程甚至结果。

技术分享图片

或许可以从三个角度,来看为什么中国一定要有自己的深度学习框架,以及中国开发者为何更应该支持“国货”。

1. 中国AI无法离开中文:我们知道,AI的一个重要领域是语言与对话的交互。那么未来在中国市场应用的,必然是基于中文的AI开发。但在NLP与语音交互、神经网络翻译等技术上,国外主流开发框架很少有中文数据集,也缺乏在中文领域的技术探索。如今来看,开发者想要开展这方面的工作,几乎必须依赖PaddlePaddle这样的国产框架所提供的开发基础和数据集、文档。

2. 产业链的安全风险:去年,谷歌的TensorFlow曾经被爆出重大安全漏洞。虽然没有造成实质影响,但当时专家评估,类似的漏洞完全可以影响甚至摧毁所有基于该平台开发出的AI模型。要知道AI大量涉及安防、识别、城市交通、公共服务等国家事务核心领域应用,这些应用如果在国外框架中开发运行,那么安全风险不言而喻。这个层面来看,百度开源PaddlePaddle这类的举措,也是在AI与国家科技安全提供了更妥善的解决方案。

3. 产业应用需求不同:相比于美国,中国对AI开发这件事的需求其实有很大不同。比如说传统企业多、开发者的应用需求大、商业期待迫切、开发人才处在发展阶段。那么相比于前沿探索类的开发,中国开发者更需要在开发框架提供高效、灵活的开发方案,以及快速部署、弹性学习的能力。这些因素当然是远在天边的欧美开发平台不会考虑的,比如偏底层考虑的TensorFlow,就需要开发者考虑大量细碎问题,但PaddlePaddle就更偏重于高层开发,强调开发者可以尽快投入应用。显然,只有类似百度这样深谙中国开发者需求和中国AI市场生态环境的企业,才会进行针对性价值提供。

不难看出,基于应用性、安全性和中文开发的必然性,中国开发者都应该选择“支持国货”,而PaddlePaddle也可以说是目前最符合中国开发者需要和国情真实境况的开发框架。

但是有个问题要搞清楚:说一千道一万,国货必须足够优质才能让开发者支持。好在,今天来看PaddlePaddle等平台并没有让我们的爱国之心失望。

“国框”的进击:从PaddlePaddle到中国AI并未缺席

确实在科技领域,“理性支持国货”显得尤为重要。毕竟不能为一些大局层面的考虑,牺牲货真价实的成本与效率。好在从PaddlePaddle今天的成绩来看,“国框”已经在很多层面上足可与欧美一较高下。

Caffe 的创始人贾杨清在评价PaddlePaddle时,也认同其在简洁、灵活、快速等领域功力不俗,并且解决了Caffe早期的不少遗留问题。从技术逻辑到开发者的应用价值上,我们可以分为三层来评价PaddlePaddle的特点。

技术分享图片

首先需要看到的是,在开发者需求的核心特性上PaddlePaddle已不落后:比如说PaddlePaddle的快捷流畅一直饱受好评,在RNN算法上其速度比主流框架快1-2倍,而且占用的显存资源更少。

另外PaddlePaddle最开始就是为了解决大规模集群计算问题而生。所以相比TensorFlow来说,能给予开发者更多的可伸缩性与灵活性。比如其支持多种集群框架,可实现GPU集群资源的动态分配。这样开发者会更快上手,更加容易贴近模型的应用化。

其次,我们可以看到PaddlePaddle已经带来了一些功能上的独特创新。在AI开发的世界,没有点绝招显然是不好出来混的,毕竟开发大牛们的眼光那叫一个挑剔。在强敌环伺的开发丛林里,功能独创性确实很难,但好在“国框”已经有了进展。

比如说PaddlePaddle的最新版本fluid中,开发过程更加接近高级语言。这就保证了开发过程的透明化和可控,从而有效抵消了深度学习开发过程中的“黑箱问题”。让开发者不再模模糊糊做开发,这个能力是今天主流框架共同争夺的,但PaddlePaddle已经不落人后。再比如说PaddlePaddle支持弹性的使用计算资源来完成深度学习训练,根据计算需求来调节资源使用,这就节省了开发者的大量成本。

技术分享图片

再有一个,也要看到今天的开发框架之争绝对不仅仅是框架内部的技术矛盾。更多时候开发者要看重平台的生态性、应用度以及商业前景。比如谷歌让Facebook等公司忌惮的,其实是整个谷歌AI产业封闭起来的排他特征。

而在生态与商业价值层面,百度显然给开发者提供了足够优质的选择。围绕PaddlePaddle,百度正在几个领域搭建与开发者的紧密合作网络,为硬件、无人驾驶、智能服务等主要市场实时注入发展动力。并且不断输出新的AI开发者培植方案,同时为开发者提供了快速进入商业世界的通道。

综上所述,今天“国框”已经不能说是为了爱国而爱国的强硬选择。在很多层面上,AI开发的自主、自有、自生态,已经可以在中国这个世界第二大AI技术实体与市场独立完成。也许我们并没有想要争夺什么,但冲出技术封锁,可以说是一切关于未来想象的前提。

结束语:别是一风景

或许对于中美贸易战,以及可能的科技禁运等情况,我们还是有些过于敏感了。

诚然,硬件和底层技术有差距,是必须要承认的事实;但在新的领域,在争夺未来的原点上,中国科技工作者、开发者以及无数企业,一直都没有停止奔跑。中美之间的差距,今天也在以肉眼可见的速度缩小。

对待中美科技之争,更合理的方式或许是承认差距的同时,认清很多关键领域本土的并不比国外差。

没有必要盲信,但也没有必要盲目悲观。国家自信这件事,在科技领域从来没有比今天更真实过。

坚定支持国家和产业打造技术核心竞争力;开发者、资本和平台有效组织产业聚合;营造更好的创新土壤,那么中国终有一天不会再被人牵着鼻子走。

星河流转之后,或许别是一风景。


以上是关于为什么相比芯片,我们更在意深度学习框架的中国化?的主要内容,如果未能解决你的问题,请参考以下文章

为何相比芯片 我们更在意深度学习框架的中国化?

相比芯片,我们更该在意深度学习框架的中国化

卧槽,我的深度学习框架竟然学错了~

详解神经网络 | 深度学习框架是如何搭建的

三天挑战自己构建深度学习框架,你敢来尝试吗~

十个热门开源深度学习框架