研发管理阿里云高级技术专家吴威：KafkaSpark和Flink类支持流式计算的软件会越来越流行

Posted 2021-04-13 阿里云云栖号

摘要： 大数据领域一定会朝着更加实时、更加智能、数据更加多样化的方向前进。Kafka、Spark和Flink之类的支持流式计算的软件会越来越流行，同时各类机器学习平台和工具也会越来越成熟。

杭州·云栖大会将于2016年10月13-16日在云栖小镇举办，在这场标签为互联网、创新、创业的云计算盛宴上，众多行业精英都将在这几天里分享超过450个演讲主题。

参会报名>>>点此进入

为了帮助大家进一步了解这场全球前言技术共振盛会的内容，云栖社区采访了各个论坛的大咖，以飨读者。

以下为正文：

吴威，阿里云高级技术专家。E-MapReduce产品是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务，他在其中参与产品设计讨论、平台性能调优等工作，并为用户提供技术支持。

吴威表示，对于开源大数据产品的尝试和实践分很多阶段，从刚开始利用开源产品解决问题，到每天日常使用成为工作流程的一部分。过程中可能会遇到Hadoop集群的各种问题，包括硬件故障、集群容量不足、新版本升级和使用、运维自动化策略等等。

一般把Hadoop或Spark等开源技术用的比较好的公司都需要配备一支强有力的运维团队，“阿里的经验是由一支专业的队伍负责底层Hadoop平台的建设，包括数据存储、资源调度和通用数据工具开发，在平台上面可以长出各种类型的数据业务，数据开发人员和分析师无需关注大数据平台底层的实现细节，两方面分工协作，让数据创造真正的价值。阿里云对外开放的E-MapReduce服务也秉承同样的理念，为外部用户提供稳定好用的大数据服务。”

在本次云栖大会上，吴威将给大家分享开源Hadoop平台10年来的发展历程以及他的一些看法。他说：“阿里是开源技术的重度使用者和参与者，从2008年就开始使用Hadoop技术，并在内部搭建了上千台规模的集群，在过程中遇到并解决了很多问题，我会简单回顾一下。最后，阿里云希望能把我们在Hadoop和Spark等开源大数据平台上的积累通过服务的方式提供给公众，我也会分享一下我们是怎么考虑的。”

之所以分享这个话题，吴威称，初衷是为了和外部的大数据用户做一些交流，互通有无，也希望让大家感受到阿里对开源大数据社区的诚意。

对于这个领域的未来，吴威指出大数据领域一定会朝着更加实时、更加智能、数据更加多样化的方向前进。Kafka、Spark和Flink之类的支持流式计算的软件会越来越流行，同时各类机器学习平台和工具也会越来越成熟。

2016杭州 • 云栖大会——开发者技术峰会

架构

2016年10月15日

杭州·云栖小镇

峰会议程

这是架构师最好的时代。物联网、移动、云计算、大数据、人工智能等新技术在行业的深入应用不断驱动着企业IT系统的变迁。作为系统的灵魂，架构师的思想、设计、技能和经验，影响深远。峰会将深入分享构师们在高可用、高并发、高性能应用架构搭建与实践的经验与心得体会，以及自我驱动成长、Docker带来的架构设计理念等方面的收获，帮助更多伙伴学习和成长。

13:30-13:40 致辞 杨名 阿里云业务运营事业部总经理

13:40-14:20 架构实战或架构师成长之路 旭卿 阿里云资深专家

14:20-15:00 Docker大规模应用带来的架构设计新挑战 吴峥涛 蚂蚁金服高级技术专家

15:00-15:40 微博混合云，极端流量下的峰值应对与架构挑战 王关胜 新浪微博资深运维架构师

15:40-16:20 千万级用户直播App服务端架构设计和思考 雷涛 一直播CTO

16:20-17:00 基于机器学习的阿里智能助理在电商领域的架构构建与实践 海青 阿里巴巴高级技术专家

扫码直入活动页：