头条谷歌发布全新TensorFlow 库tf.Transform;百度将Ring Allreduce算法引入深度学习

Posted AI开发者

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了头条谷歌发布全新TensorFlow 库tf.Transform;百度将Ring Allreduce算法引入深度学习相关的知识,希望对你有一定的参考价值。

谷歌发布全新 TensorFlow 库“tf.Transform”


谷歌表示,tf.Transform 将改善 TensorFlow 的数据预处理和格式转化难题。

以下是谷歌对tf.Transform 的技术介绍:


“今天我们正式发布 tf.Transform,一个基于 TensorFlow 的全新功能组件,它允许用户在大规模数据处理框架中定义预处理流水线(preprocessing pipelines),同时还可以将这些流水线导出,将其作为 TensorFlow 计算图(TensorFlow graph)的一部分。


用户可以通过组合 Python 函数来定义该流水线,然后在 Apache Beam 框架下通过 tf.Transform 执行。(注:Apache Beam 是一个用于大规模的、高效的、分布式的数据处理的开源框架)目前,基于 Apache Beam 框架的流水线可以在 Google Cloud Dataflow 平台上运行,并计划在未来支持更多的平台(可能包括 Apache Apex,Apache Flink 和 Apache Spark 等)。值得一提的是,通过 tf.Transform 导出的 TensorFlow 计算图还可以在模型预测阶段将这种数据预处理步骤复用(例如,通过 Tensorflow Serving 提供模型时)。”


GitHub:https://github.com/tensorflow/transform

谷歌博客:http://research.googleblog.com/2017/02/preprocessing-for-machine-learning-with.html


百度将 Ring Allreduce 算法引入深度学习


Ring Allreduce 本是 HPC (高性能计算机)领域的一项技术。日前,百度硅谷 AI 实验室已成功将其移植到深度学习平台,借此来加速 GPU 之间的数据传输速率。目前,在 GPU 并行计算中,它们之间的通信瓶颈是制约深度学习模型训练速度的主要障碍之一。百度宣布,Ring Allreduce 算法的引入将移除该瓶颈,大幅提升多 GPU 和分布式计算环境下的深度学习模型运算效率。雷锋网获得消息,该技术已被百度成功应用于语音识别。


该算法以库和 Tensorflow 补丁的形式向开发者开源,分别为 baidu-allreduce 和 tensorflow-allreduce,已在 GitHub 上线。


GitHub:https://github.com/baidu-research/baidu-allreduce

https://github.com/baidu-research/tensorflow-allreduce


详情:http://www.leiphone.com/news/201702/QaSmvdQNbiY4CxBy.html

百度博客(英文):http://research.baidu.com/bringing-hpc-techniques-deep-learning/


卡巴斯基发布操作系统 Kaspersky OS



与 Linus、Windows,Mac OS 等优先系统兼容性和通用性的考虑不同,Kaspersky OS 的设计目的有且只有一个:最大化安全。因此 Kaspersky OS 采用了 Flux 高级安全内核架构(FLASK)。卡巴斯基不但表示 Kaspersky OS 要做世界上最安全的操作系统,还宣称, Kaspersky OS 的密钥只有量子计算机级别的计算能力才能破解。


AI研习社获知,该系统面向的并非消费者终端(PC),而是网络设备、工业控制系统和物联网设备。它同时兼容 X86 和 ARM 两大架构平台。值得注意的是,卡巴斯基声称该系统和 Linux 没有任何关系,从头到尾完全自行设计,并因此耗费了巨大人力——公司 CEO Eugene Kaspersky 表示,该系统秘密研制已有 14 年。


法国研究人员实现用深度学习预测衰老长相


【头条】谷歌发布全新TensorFlow 库tf.Transform;百度将Ring Allreduce算法引入深度学习

众所周知,此前的深度学习技术虽然能将输入的年轻人脸图像,输出为老年图像,但在这过程中会失去一些面部特征与识别信息,其结果并不准确——严格来说,输出的图像不能说是对同一个人衰老长相的预测。


但现在,法国的一组研究人员成功实现了用深度学习算法,将同一个人的面对照片做“衰老”或“年轻化”处理。换句话说,既能预测老年相貌,也能重现年轻时的面容。上图是研究结果示范。


该研究发表于 ArXiv,题目为“Face Aging With Conditional Generative Adversarial Networks”。


“老得不敢拍照片”或许将退出历史舞台。美图对此怎么看?


ArXiv:https://arxiv.org/abs/1702.01983


AMD 八核十六线程 Ryzen“锐龙”CPU 全球同步预售


【头条】谷歌发布全新TensorFlow 库tf.Transform;百度将Ring Allreduce算法引入深度学习


AMD 于昨晚 AMD Ryzen Tech Day 正式发布 Ryzen。这来得有些突然——此前媒体与行业人士普遍估计 Ryzen 将在 MWC 发布。不过,Ryzen 发货时间仍然是 3 月 3 日,目前预售开启。


我们来看看预售的三款八核十六线程 CPU 国行售价:

  • Ryzen 7 1800X 3999 元

  • Ryzen 7 1700X 3099 元

  • Ryzen 7 1700 2499 元

不同电商平台上有 200~300 元不等的预订优惠,感兴趣的抓紧。


AI研习社提醒:由于事出突然,全世界范围内 Ryzen 的评测还没有放出。目前我们对于它的所有了解,完全基于 AMD 官方宣传信息,以及此前泄露的工程版本芯片跑分。因此,对于这三款芯片之间的性能差距到底有多大、是否值得这中间的差价,尚无定论。业内对“X ”版本性能强在哪里、与非 X 版本的超频潜力差别也尚有疑虑。仅给正在选择的买主做个提醒。


史上最强凌动 英特尔发布 Atom C3000


【头条】谷歌发布全新TensorFlow 库tf.Transform;百度将Ring Allreduce算法引入深度学习


这是凌动产品线首个 16 核 CPU,它整合了多项多见于服务器芯片中的技术:比如 RAS 功能,该功能可即时修正数据错误,并防止网络和存储设备崩溃。 与现有凌动产品线面向移动设备的定位不同,Atom C3000 的服务对象将是存储阵列、网络设备和物联网设备。将为它们带来更强大的数据处理能力。

简而言之,这是款与消费者无关、但关乎网络设备开发商的凌动。 


推荐阅读





 点击“阅读原文”跳转到文章详情页

以上是关于头条谷歌发布全新TensorFlow 库tf.Transform;百度将Ring Allreduce算法引入深度学习的主要内容,如果未能解决你的问题,请参考以下文章

播客类今日头条诞生记:TensorFlow 成共享秘方?

谷歌发布深度学习库TensorFlow Fold,支持动态计算图

学 Python 有啥用?谷歌 TensorFlow 指定开发语言!

要替代TensorFlow?谷歌开源机器学习库JAX

谷歌开源推荐系统库(TensorFlow Recommenders)

TensorFlow-谷歌深度学习库 图片处理模块