Amazon EMR深度学习框架，让人工智能操作更便捷

Posted 2021-04-29 电子人物联网

今天，AWS 很高兴地宣布 Amazon EMR 将支持 Apache MXNet 和新一代 GPU 实例类型，让您可以在进行机器学习工作流程和大数据处理的同时运行分布式深度神经网络。此外，您还可以在采用 GPU 硬件的 EMR 群集上安装并运行自定义深度学习库。通过使用人工智能深度学习框架，您可以使用新工具包来处理多种使用案例，包括无人驾驶车辆、人工智能、个性化医疗和计算机视觉。

Amazon EMR 提供一个 Hadoop 托管框架，可以让您轻松、快速且经济高效地使用Apache Spark、Apache Hive、Presto、Apache HBase 和 Apache Flink 等框架处理 Amazon S3 中的大量数据。您可以通过人工智能低成本安全、高效地处理大量大数据使用案例，包括日志分析、Web 索引、数据转换 (ETL)、财务分析、科学模拟、实时处理和生物信息。

多年来，EMR 一直致力于帮助您运行可扩展的机器学习工作负载。2013 年，我们增加了对Apache Mahout 的支持，以帮助您使用 Apache Hadoop MapReduce 来运行分布式机器学习工作负载。2014 年，客户开始利用 Apache Spark (我们在 2015 年增加了官方支持)，以便利用 Spark ML 中提供的各种开源机器学习库来轻松构建可扩展的人工智能机器学习管道。

现在，您可以更轻松地在 Amazon EMR 上实施深度学习。我们增加了对 Apache MXNet(0.12.0) (一种可扩展的深度学习框架)、Amazon EC2 P3 和 P2 实例、EC2 计算优化型 GPU 实例的支持，并预先加载了所需的 GPU 驱动程序。现在借助最新的 GPU 硬件，您只需单击几下即可快速轻松地创建适用于分布式培训的可扩展式安全群集。此外，您还可以安装并使用 BigDL 或 CaffeOnSpark 等自定义深度学习库，方法是在自定义 Amazon Linux AMI 上预加载这些库或使用引导操作来自定义群集。此外，EMR 将很快增加对TensorFlow (另一个热门的深度学习框架) 的支持，让人工智能不断发展壮大。

借助 EMR，您可以在开发工作的数据探索和预处理阶段轻松开发和培训深度学习模型。首先，您可以轻松且经济高效地使用各种开源大数据框架 (包括 Apache Spark、Apache Hadoop 和 Apache Hive) 来探索和处理 S3 中的大量数据集。在 EMR 控制台中，您只需单击几下即可使用 Spark、MXNet、Ganglia 监控和 Zeppelin 笔记本快速创建一个拥有一到数千个节点的 EMR 群集。

启动群集后，即可打开 Zeppelin 笔记本并开始使用 Spark 和 MXNet 探索数据和构建模型。

享控智能科技有限公司

      公司成立于2013年，专注于物联网技术与人工智能技术挖掘整合，让企业运营更容易。目前公司主要产品与解决方案有：电子人物联网--企业物联网云服务一体化解决方案（基于物联网的云企业中心+电子人智能工作APP）、享控云网--聚焦工业服务的工业互联网平台（包括工业服务市场，工业物联网、工业维保通）。