深入HBaseSparkAlluxioGreenplumStreamSQL等大数据技术及其架构设计

Posted 2021-04-19 CSDN大数据

2017年6月10-11日，由CSDN主办的将在深圳举办，峰会秉承干货实料的内容原则，邀请业内顶尖的架构师、大数据总监和PMC共话弹性计算、大数据平台构建、优化提升大数据平台的各项性能、Spark部署实践、企业流平台实践，以及实现应用大数据支持业务创新发展等核心话题，旨在通过来自国内一线互联网公司的实践案例，为开发者提供一个最有价值的高效技术交流平台。

日前主办方也公布了大数据技术实战峰会的日程：

大数据技术实战峰会出品人（6月11日）

陈敏敏 苏宁云商

陈敏敏，苏宁云商大数据中心总监，主要负责智能推荐、数据仓库和数据应用等部门的研发团队，并负责建设支撑供应链、物流、财务、运营等的统一数据平台。成电本科，上交硕士，《Storm 技术内幕与大数据实践》一书作者（人民邮电出版社、出口台湾），中关村大数据产业联盟专委会委员，2012年牵头成立三星电子研究院上海分部技术委员会（把关 Code Review 和技术架构），后在1号店分别任资深开发经理、精准化部门总架构师，目前主要关注推荐系统、应用架构、数据平台、OLAP等相关技术。

讲师

毕洪宇 饿了么

饿了么大数据平台部总监 毕洪宇

个人简介：曾在eBay，PPTV任职DBA。2012年加入唯品会，依次经历从0到1参与数据库基础建设、大数据基础平台和实时计算平台的工作；2016年加入饿了么负责大数据基础架构，主要负责数据平台工具链及数据仓库。

演讲主题：《饿了么大数据平台的工具链、技术选型及架构设计》

演讲简介：随着接入需求方越来越多样化，对大数据的数据使用、数据存储与计算的需求也越来越多样化，业务的飞速发展及集群的规模急速扩大。如何在这样的场景下通过有限的资源来构建大数据平台、稳定支撑住业务的发展是一个不小的挑战。本次分享主要谈一谈从数据平台工具链、技术选型及架构设计出发的一些个人经验。

听众受益：

1. 了解如何在效率与规范、隔离和共享间平衡；

2. 学习与之相应的技术选型和架构设计；

3. 借由饿了么在业务快速发展过程中构建大数据平台从0到N的经验获得启发。

周雷皓 百度外卖

百度外卖大数据平台负责人 周雷皓

个人简介：百度外卖资深研发工程师，负责百度外卖的大数据平台，致力于大数据引擎的研究和大数据平台架构的设计和研发。

演讲主题：《Greenplum在百度外卖大数据架构的应用实践及性能优化实践》

演讲简介：

1. GPDB架构介绍；

2. GPDB在百度外卖大数据架构中的角色以及应用场景；

3. 在生产环境中如何对GPDB进行性能优化；

4. 平台化之路，自动化性能优化平台设计思路以及架构介绍。

听众受益：

1. 了解MPP原理以及GPDB的架构；

2. 大数据查询引擎优化经验分享。

周建军 腾讯

腾讯数据平台部高级工程师 周建军

个人简介： 2015年加入腾讯，供职于TEG数据平台部，主要负责StreamingSQL及实时计算平台的相关工作。在加入腾讯前曾供职于京东商城、聚美优品，有多年的大数据相关工作经验，尤其擅长分布式存储、HBase、实时数据采集等领域。

演讲主题：《StreamSQL实时计算平台的挑战及解决方案》

演讲简介： StreamSQL是一个通过SQL描述实时计算业务需求并将其转换成实时计算任务的开发平台。相对于传统实时计算平台Storm，StreamSQL内建丰富的字符串处理、时间、统计、复杂数据结果处理等各类计算函数，除了支持标准SQL之外还根据流式数据特点新增窗口统计特性，具有强大的统计计算能力。StreamSQL解决了传统Storm原生API使用复杂、上手难度高的问题，减少了用户对复杂实时计算框架和编程语言的学习成本，让用户具有更加良好的流式开发体验。

听众受益：

1. 深入了解StreamSQL实时计算平台；

2. 理解StreamSQL的设计目标并从中获得启发：让用户通过通用的SQL查询语言完成实时计算需求，减少用户对复杂实时计算框架及编程语言的学习成本，提高实时计算任务的开发效率。

程浩 Intel

英特尔软件与服务部门大数据研发经理 程浩

个人简介： Intel亚太研发中心Spark团队研发经理，Apache Spark活跃开发者，致力于Apache Spark框架在Intel平台架构上的性能分析与优化。

演讲主题：《Apache Spark大数据计算性能调优之部署最佳实践》

演讲简介：性能调优在Spark大数据应用中一直是大家普遍关心的话题。本次分享将主要探讨以下内容：

1. 如何收集硬件利用率来分析Spark应用程序性能瓶颈，从而进行有效调优？

2. 新硬件采购时，怎样的硬件配置对Spark应用可以有最佳的效能或者最好的性价比？

3. 通过展示不同特性的典型Spark应用的性能分析和调优手段，揭示如何释放硬件性能，监控硬件性能发挥，并在此基础上，测试不同硬件配置诸如内存、网络、磁盘、CPU选型，对于Spark大数据应用程序性能的影响，指导运维人员决策购买或者升级新的硬件零部件。

听众受益：针对硬件性能监控来调优Spark应用程序性能，并揭示Spark应用的最高性价比环境部署最佳实践。

张翰之 滴滴出行

滴滴出行基础平台部研发工程师 张翰之

个人简介：就职于滴滴出行基础平台部，负责HBase、Spark相关开发。

演讲主题：《HBase在滴滴出行的一站式服务平台实践》

演讲简介：面对企业的快速发展，每天几百亿业务访问、数据的疯狂增长和多租户场景下，到底企业该如何面对HBase集群规模不断扩展、集群管理、资源隔离、风险管理、服务保障、成本账单、业务监控及集群运维所带来的问题。

听众受益：

1. 使用哪些技术保障HBase稳定的服务；

2. 在多租户的背景下如何打造HBase一站式服务平台。

黄振贤 魅族

魅族高级数据架构师 黄振贤

个人简介： 2016年加入魅族，主要负责数据应用平台的规划、架构设计和落地实现。

演讲主题：《魅族大数据之用户洞察平台架构设计和实践》

演讲简介：魅族DMP（用户洞察平台），通过对三方受众数据的汇聚、清洗、智能运算，构建了庞大的精准人群数据中心，提供丰富的用户画像数据以及实时的场景识别力。 
对内：无缝对接各类业务平台的数据应用，如广告平台、PUSH推送、个性化推荐之间建立了数据通道，支持公司级的精准营销，消息及时送达服务等场景。 
对外：完善对数据的管理及输出流程，以开放接口形式为全行业从业者提供标准的精准人群标签，帮助优化投放并提升营销效果。达到对受众的精准投放，释放数据真正价值。 
本次分享将介绍用户洞察平台所采用的架构，探讨其间遇到的技术难点和解决过程，回顾目前架构的不足之处以及将来改进的方向。

听众受益：

1. 了解大数据时代下的用户洞察，用户画像、精准营销；

2. 了解族用户洞察平台的架构设计和实践。

顾荣 南京大学

南京大学计算机系助理研究员 顾荣

个人简介：博士毕业于南京大学计算机系，Alluxio PMC成员。参与完成了Alluxio社区很多工作，包括性能测试框架Alluxio-Perf、Alluxio缓存策略优化、Alluxio与Hadoop生态系统多个组件的整合等。已经以一作身份在分布式并行计算领域一流期刊/会议上发表论文10篇等，并且参与编写书籍《深入理解大数据》。同时是南京大数据技术Meetup组织人，多次在国内外知名技术大会上演讲。曾在Microsoft Research、Intel、Baidu、星环科技从事大数据系统实习工作。

演讲主题：《Alluxio系统的最新原理特性、案例分析与发展方向》

演讲简介： Alluxio是一个开源内存级分布式大数据虚拟存储系统。在三年多的时间里，Alluxio开源社区已有来自全世界近500名的贡献者，成为大数据领域内历史上成长最快的项目之一。Alluxio系统已经部署在包括百度，巴克莱银行，华泰证券，英特尔，华为和去哪儿网等许多公司当中。在其中一些生产环境中，Alluxio已经行了一年多，管理数据PB级别的数据。Alluxio项目最新几个版本极大提升了系统性能，Scalability和用户体验，并增加了一系列新功能，包括统一命名空间、REST API等更加方便用户使用Alluxio。Alluxio未来将让更多用户人群可以使用Alluxio，着重提高安全性支持，支持新语言binding，以及进一步增加稳定性和对资源有效使用。此外，还会探索新的API，让应用程序能够更有效地访问数据。

听众受益：

1. 了解Alluxio项目最新版的新特性；

2. 学习Alluxio系统合适的应用场景与性能调优；

3. 交流Alluxio项目的发展方向。

---

将于2017年6月10-11日于深圳南山区中南海滨大酒店举行，集阿里、腾讯、百度、滴滴出行、Intel、微博、唯品会的资深架构师和一线实践者，纳知名研发案例，遇见苏宁云商大数据中心总监陈敏敏、Apache RocketMQ联合创始人冯嘉、饿了么大数据平台部总监毕洪宇等大牛。 
目前八折优惠售票中，五人团购立减1000元，更多嘉宾和详细议题关注和票务点击。