华为天才少年主攻存储领域研究

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了华为天才少年主攻存储领域研究相关的知识,希望对你有一定的参考价值。

参考技术A

自古英雄出少年。

本年度的华为天才少年项目再次引爆眼球。一位是从普通本科一路“逆袭”到华中科大博士,并成为唯一拿到本年度最高档年薪的青年才俊;另一位则是在多种A类期刊发表论文,集智慧与美丽于一身的美女博士。这两位成功入围项目的华中科大博士迅速成为街头巷议的热门话题。

值得关注的是,本年度入围的两位华为天才少年在校研究方向均跟数据存储有着紧密联系。因此,这二位不约而同地选择华为做存储相关的研究,让人不得不感叹华为存储对于基础研究与人才的重视。

事实上,从十八年前正式起步开始,华为存储一路发展始终与各大高校科研机构保持着紧密联系,高校科研机构不仅是华为存储人才重要的来源地,也是华为在存储基础领域联合创新的重要合作对象。如今,华为存储已经成长为全球Top 5、中国Top1级别的重要厂商, 在存储技术的产、学、研、用上逐步 探索 出一条价值闭环,真正让基础研究的创新成果加速走向落地,并利用市场成果不断反哺基础研究的创新

以本次入围天才少年项目的美女博士为例,其研究方向之一的非易失性存储器(NVM)、NVMe协议是当今存储产品中最为重要的技术趋势,而华为存储正是端到端NVMe全闪存当之无愧的领导者。华为存储的产、学、研、用价值闭环在端到端NVMe全闪存这个存储细分领域体现得淋漓尽致。

天下武功,唯快不破。

同样,在存储产品中,性能是衡量存储是否优秀的重要指标之一。在单位时间内IO越高、延迟越低,存储的性能就会越好,也意味着可以承载更多应用和更加及时响应业务请求,让用户体验更好。

NVMe正是存储领域一门关于快的武功。如果将为机械硬盘设计的SAS协议比喻为红绿灯多、卡口多的省市级公路;那么专为闪存而生的NMVe协议则是不限速的高速公路。初看NVMe可以让数据真正放飞自我,但是如何让NVMe这条数据高速公路修的更加合理、智能,让数据在高速公路上“不翻车”,则绝对需要常年修炼、不断打磨才能实现。

这是因为在数据中心这张数据网络中,IO路径涉及到服务器、存储、网络等多种设备,还有FC、IP、IB、PCIe、SAS等多种网络协议,经常面临数据传输路径过长、协议互相转化等挑战。因此,NVMe的落地往往“牵一发而动全身”,需要对整个数据中心数据传输网络进行规划和设计,仅仅是一两款NVMe SSD或者NVMe闪存控制器是远远不够的。

华为正是NVMe全闪存领域的顶尖高手,用“老司机”形容不为过。 作为存储行业SSD盘片级专利最多的厂商之一,华为对于NVMe协议进行了长期深入研究,在业界唯一端到端开发了NVMe SSD盘,NVMe 闪存控制器和NVMe全闪存操作系统,并且在业内率先实现了全系列端到端NVMe全闪存。

华为是如何做到这些的?让我们一探究竟。

华为之所以对于NVMe十分重视,是因为NVMe与闪存有着紧密联系,可谓是闪存性能潜能释放的关键所在。而华为早在2005年就开始对闪存进行研究,对于NVMe如何走向落地和价值如何实现有着深刻的洞察与实践。

2010年,NVMe最初作为一种硬盘接口协议诞生,充分释放出闪存性能。但要想真正释放数据中心包括计算、存储和网络的性能,NVMe作为硬盘接口协议是远远不够的。因此,NVMe经过多年发展,逐渐发展到存储网络领域,NVMe over RoCE技术孕育而生。

NVMe over RoCE(Non-Volatile Memory Express over Remote Direct Access Memory over Converged Ethernet)作为新一代高性能存储技术,将NVMe协议和网络领域中RDMA技术结合,它的出现真正让数据中心的数据高速公路成为一种统一的网络,拥有性能、组网便利性和方案成本等多种优势。但是它也存在着链路故障感知时长、网络实验稳定性、部署易用性等方面的挑战。


为此,华为集合全公司重量级产品线力量,从存储和网络两个方面对标准NVMe over RoCE方案进行增强,推出了NOF+增强方案。

具体到产品方面,华为是业内唯一端到端开发了NVMe SSD盘、NVMe闪存控制器和NVMe全闪存操作系统,率先实现全系列端到端NVMe全闪的厂商。

比如,华为去年推出的全新OceanStor存储Dorado系列,其性能高达2000万IOPS、极致时延达到0.05ms,各项指标远超市场上同类竞品。

在华为OceanStor存储Dorado系列全闪存中,同时提供32G FC-NVMe和NVMe Over 100G RDMA全IP组网设计,实现前端网络连接、后端硬盘框连接、scale-out的控制器互联均采用同一种网络协议;OceanStor存储Dorado系列全闪存还针对NVMe设计了一套IO调度机制,彻底取消原来IO路径上的盘级互斥锁,避免了IO下发时队列锁冲突,降低软件开销,实现最佳性能。

此外,华为OceanStor存储Dorado系列全闪存在操作系统层面针对NVMe进行了优化,智能芯片、FlashLink智能算法,充分发挥了多核优势,并且通过智能学习统计IO规律,提升读缓存命中率和缩短批处理时间,大幅提升了性能与效率。

为了让数据的高速公路更加稳定与可靠,华为OceanStor存储Dorado系列全闪存在组件层提供了充足的保障。

例如,为增加端口可靠性,华为自研SSD支持原生双端口技术,而不是采用内部Switch实现双端口的方式,端口独立、互不影响,为整个全闪存提供了牢固的硬件基础和可靠性;此外,华为通过PCI-E多年的技术积累,具备完善的PCI-E链路管理、异常处理、热插拔技术,支持SSD盘在任何时间、任何方式拔出,并提供端到端PCI-E系统可靠性,保障单盘更换或发生故障时不扩散。

针对大容量SSD使用容易造成数据丢失的情况,华为OceanStor存储Dorado系列全闪存采用创新的RAID-TP软件技术,基于Erasure Code算法,在3块盘同时失效的情况下能够容忍数据不丢失、业务不中断。华为成为业界唯三可以同时容忍3块盘失效的厂商,并且是三家厂商中唯一可以实现15分钟/TB 高效重构,重构速度领先其他两家厂商20倍。华为OceanStor存储Dorado系列全闪存还拥有诸如快照、克隆、远程复制等完备的数据保护技术。

当前, 华为通过十多年的技术积累,华为已经拥有1000多个NVMe全闪存成功案例,用户涵盖到金融、政府、制造、能源等多个领域。

例如,成立于1996年的南华期货,是全国期货公司Top 10,主要从事期货经纪、资产管理、证券投资等业务。南华期货在大交所、郑商所、深交所、嘉兴联通、香港PCCW等行业数据中心和电信运营商处租用VIP机房和机柜,就近部署交易系统。

这样做的目的只有一个:“快人一步”。南华期货的业务是典型的“时间就是金钱”,一点点时间差往往可能带来利润的大幅变动,这种交易型的业务决定了其对时延要求极低,通常需要小于1ms。南华期货通过部署华为OceanStor存储Dorado全闪存来承载综合交易平台,不仅稳定可靠,性能还提升3倍,为投资者提供了极佳的用户体验。

可以说,华为存储的“快人一步”让用户在业务中也“快人一步”。

十八年风雨兼程,华为存储如今已经成长为全球Top 5、中国Top 1级别的厂商,在全球布局了12个研发中心,拥有超过4000名研发工程师、800多项存储专利,服务了全球超过12000家涵盖各个行业的用户并且连续十九个季度位列中国市场第一,更是在全闪存领域连续多个季度实现全球增速第一。

在这十八年中,技术创新是华为存储的信仰,技术创新的脚步永不停止让华为在高端存储架构、NVMe、智能存储等多个领域不断实现突破,逐渐从市场的跟随者成长为业界当之无愧的技术领先者。去年,华为存储更是首次针对数据基础设施技术难题设置了“奥林帕斯奖”,鼓励和奖励全球在数据基础设施领域取得突破性贡献的科研工作者。

未来,随着更多华为天才少年以及其他人才的不断加入,华为存储有望在舞台中央施展更多精彩。

201万年薪,华为天才少年路径可以复制吗

去年华为的“天才少年”计划在网上引发热议,8位入选人年薪最低的为89万,年薪最高的达到了201万。

“初出茅庐”为何就能一骑绝尘,拿到很多人可能一辈子都无法企及的薪酬呢?

细细了解不难发现,选中的这些人中大多都在AI行业中有突出的表现,如华中科大白翔(计算机视觉领域OCR方向专家)教授的学生廖明辉就是其中之一,跟随白翔教授专攻计算机视觉领域,研究场景文字检测与识别,在CVPR、ECCV等顶级期刊发表了一些论文。

除了华为的“天才少年”外,国内的顶尖互联网公司也都有各自招揽人才的“计划”,如百度推出的“少帅计划”、阿里推出的“阿里星”计划,也都在竞相招揽机器学习、深度学习等方向的优秀人才。

1

进入该行业需要学习什么?
但无论哪种计划,想进入都不容易。
对于“金九银十”中求职的毕业生和社招求职者来说,AI(人工智能)无疑是当前社会中就业前景最好的几个领域之一。
我们都知道,腾讯、阿里、美团、字节跳动等企业,每年都招聘大量AI方面的人才。面对动辄50万甚至上百万元以上的年薪,以及高大上的工作环境,对所有的求职者来说,这种吸引力都是无法拒绝的。但如何进入该行业,以及进入该行业后,学习什么知识才能快速涨薪,这是很多想转行的人想了解但不得要领的地方。
执行力强的同学可能已经开始了相关的搜索:

(1) 计算机视觉招聘需求是啥?我需要具备哪些知识技能?

(2) 先是查找机器学习、深度学习等各种词汇。

(3) 搜索如何学习,紧接着开始研究机器学习的各种算法;

(4) 逐渐被那些数学知识(包括复杂的公式)、推荐系统等内容给难住;

(5) 再考虑考虑,然后成功实现了从入门到放弃。

更有行动力的可能已经在网易云课堂、B站搜索机器学习视频,准备报相应的在线学习视频班,当然,也有人去知乎提问了“想转行计算机视觉领域,待遇如何?该从那儿学起?”并邀请自己了解的行业前辈或以前校内的的师兄师姐回答。也有人迅速到脉脉上看从业者的薪资爆料、职场环境等。

但有一点AI基础知识的人都知道,AI中并不是只有算法。

算法研究固然非常重要,但那是上述“天才”及专家的事情。对于大部分求职者来说,更多要做和学习的是根据企业的需求来掌握相应的实现方法,如字节跳动的推荐系统、美团的大数据分析和视觉识别等,企业选择研究AI更多的是为了应用,如人脸识别、自动驾驶等。

2

从招聘要求看学习需求
所以作为从业者,我们没有必要一条道走到黑。
理论很重要,但现在的框架和库都将相应的算法封装好了,我个人觉得,如果不是做新算法研发的同学可以不用深究相应的算法,而应该更多的关心相应的应用。
下面以计算机视觉方向为例,来看看各个平台给多少薪资待遇,下图是在某招聘网站上的招聘信息,有1-3年工作经验的本科生薪资待遇是3万~6万元每月,如果是有1~3年工作经验的硕士生则直接跳涨到5万~8万元每月,即年薪百万元。

相比现在市场上平均月薪不到万元的北京、上海等一线城市,这样的月薪是不是颇具吸引力,再加上相应职位的年终奖等福利,年薪百万是一条可以实现的道路,而且部分企业还能提供上海落户的额外福利,可谓是诚意满满。

不过,不能只看到薪资就心动,再看看相应的职位要求,即可找到自己的努力方向。

你现在工作的要求是否满足?满足了,薪资待遇是不是也在行业合理的范围内;不满足,就可以看看自己的努力方向。做到了,并不一定要跳槽,但保持有跳槽的能力选择。所谓“铁饭碗”,并不是你一辈子只呆在一个地方,而是,你去哪儿,都有人抢着要你。

3

从需求端出发,找到学习切入点
从招聘的具体要求以及行业内的研究动向来看,归纳起来主要就是以下几点:
(1)掌握常用的计算机视觉算法:图像分类、目标检测、图像分割等;

(2)掌握常用的图像处理库:OpenCV等;

(3)掌握深度学习框架:Tensorflow、Keras等;

(4)有模型部署经验(或称实践经验、算法落地经验),包括模型优化(压缩、量化)。

层层递进的内容看起来很多,不容易实现?而且,现在的各种培训动辄几千上万元,还不一定能教会,更重要的是,行业内虽然很多公司已经不再996了,但学习时间仍然不足。

现在,只需要通过一本书,就可以逐步搞懂这些知识。先来看目录是否符合以上招聘的要求。

招聘第一点:目标检测、图像分类(见下图中《深度学习计算机视觉实战》一书的第2、3章)。也就是《深度学习计算机视觉实战》一书的第一部分所包括的内容,这些内容主要讲解了计算机视觉领域的经典网络,如特征的提取、目标检测算法,有关的算法论文在介绍时都有指出,读者可以查看国内外最前沿的论文原文,与行业前沿知识保持一致。

招聘第二点:图像处理库(见下图中《深度学习计算机视觉实战》一书的第3~6章)。主要讲解基于OpenCV库的图像处理知识。通过个应用案例,让读者能够清晰地看到图像处理的效果,增加对知识点的理解。

招聘第三点:深度学习框架(见下图《深度学习计算机视觉实战》一书的第9~12章,以及第1章)。详解了这些框架的内容。

招聘第四点:模型部署经验或称实践经验、算法落地经验,包括模型优化(压缩、量化)(见下图《深度学习计算机视觉实战》一书的第13章)。基于 TensorFlow Lite 进行模型部署的讲解,选用此框架一方面是因为 TensorFlow 的受众较广、热度很高;另一方面是因为该框架在各平台都有对应的支持与优化加速,性能较高,文档完备,比较容易使用。

在这部分中也讲解了部署中的模型转换、模型优化、部署中可能遇到的问题及解决办法,这些都是在工程应用中的经验总结,遇到的问题也是在部署过程中亲历并顺利解决的,在此讲解是希望帮助读者少走弯路,以最小的代价实现自己的需求。

除此之外,书中还有针对计算机视觉中的实战项目。本书讲解时依照实战应用的结构讲解,包括数据预处理、网络搭建和模型训练三个模块,这些算法模型经过转换之后的应用效果在本书中也有介绍,让读者能够理解设计意图。

是不是觉得这就是你需要的那本书?

当然,更重要的是,针对很多转行业的“新人”,本书所有知识都使用各种案例来讲解其实现原理,以及实现方法,通过案例来进行进一步的实操。我们都知道,只看理论知识,很多人可能多少都知道一些实现方法,但通过计算机练习则能快速上手。而且,除了图书外,购书的朋友还能通过扫描书中的二维码,下载书中的案例源码文件,免除你的输入之忧。

更附赠世界知名计算机视觉相关的学术论文,让你与全世界最新前沿技术保持一致!

当你认真研读并深刻理解了这些计算机视觉算法工程师招聘的岗位要求,然后再阅读本书,就能根据招聘中的需求来研究相应的知识点及对应的原理。相信每位认真研究本书的读者都可以在计算机视觉领域大展拳脚,可能我们仍旧无法复制华为“天才少年”的成功之路,但掌握了“天才少年”的学习方法和方向,离你自己的成功就会更近一步。

以上是关于华为天才少年主攻存储领域研究的主要内容,如果未能解决你的问题,请参考以下文章

201万年薪,华为天才少年路径可以复制吗

武大94年暖男型博士入选华为“天才少年”计划,最高年薪201万

华为首次自曝“天才少年”成果:入职不到一年算法研究用于千万台 Mate/P 系列手机,网友:值 200 万年薪

华为“天才计划”的四个人是凭啥入选的?

华为再发“天才少年”全球召集令,有人曾放弃360万年薪加入

从绩点 1.8 逆袭的复旦博士,华为天才少年!