技术与架构，解析如何将大数据最快落地到实践
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了技术与架构，解析如何将大数据最快落地到实践相关的知识，希望对你有一定的参考价值。
免费开通大数据服务：https://www.aliyun.com/product/odps
直播回顾： https://yq.aliyun.com/webinar/history?spm=5176.8067841.wnold.1.rLvSkQ
3月9日14点，业内首个结合技术与应用的在线大数据技术峰会即将展开，届时6位阿里技术大咖与4位行业资深实践者将从技术与业务两个方面，与大家探讨大数据如何最快落地到实践。较为有看点的是：
最深入的实践：本次在线峰会上，6个阿里规模的大数据实践将被深入分享，包括大数据平台的性能调优、流式增量计算、持续发布与演进、机器学习平台打造等。同时，在技术分享之外，你还可以与嘉宾进行问答互动，免费的学习机会就在这里！
最真实的应用：技术的价值在于赋能业务，然而真正结合起来并不简单，本次峰会上，地产、医疗、电商、社区等实际场景大数据应用案例将被放出，这里有帮助你打开大数据赋能的钥匙。
技术实践篇
伟林 阿里云资深专家
嘉宾简介：阿里巴巴大数据事业部资深架构师，原微软Cosmos/Scope核心开发人员， 现负责阿里巴巴大数据计算平台总体架构，该平台是阿里巴巴核心计算分析平台，承担阿里内部绝大数计算任务。林伟作为一名分布式系统研究员，在国外一流会议OSDI, SIGMOD, NSDI, VLDB发表多篇论文。是大数据存储，分布式计算，数据查询优化，分布式调度等领域的专家。具有10多年研究和开发经历，分别打造微软和阿里内部大型数万台级别数据中心的计算平台。
演讲议题：MaxCompute 2.0 性能优化揭秘
直播时间：3月9日 14:00-14:40
议题简介：分布式系统性能优化核心，以及基于代价的大数据平台优化器打造。
振禹 阿里云高级专家
嘉宾简介：20年业界经验，在数据与分布式系统的应用与开发方面有丰富的经验。目前负责MaxCompute SQL大数据语言的设计与开发，致力于提高MaxCompute的用户体验。
演讲议题：MaxCompute——大数据语言的新发展
直播时间：3月9日 14:40-15:20
议题简介：MaxCompute是全新一代的ODPS，基于完全自主研发的ODPS2.0 SQL引擎。MaxCompute SQL大数据语言在易用性，兼容性，性能与可扩展性方面取得长足进步。此演讲将向您逐一介绍这些新功能。
听众预计受益：对于MaxCompute的现有用户，能够知道基于ODPS2.0的SQL引擎给大家带来的易用性改进与新功能，提高开发效率，降低维护成本，提高性能。对于潜在用户，能够知道基于ODPS2.0的SQL引擎在兼容性方面的改进，知道如何利用这些特性方便迁移使用MaxCompute，并知道使用MaxCompute在易用性与可扩展性方面的优势。
布民 阿里云高级专家
嘉宾简介：2015年加入阿里巴巴，现为阿里云高级专家、技术委员会成员，及大规模流计算与图计算平台负责人。布民之前在微软亚洲研究院任主管研究员，主要研究兴趣为大规模分布式计算。至今已在相关领域顶级会议(如OSDI，NSDI，EuroSys等)发表多篇论文，曾获得EuroSys 2012的最佳论文奖(亚洲首篇)。多项研究成果已被转化为产品并应用于实际生产。
演讲议题：大规模流式增量计算及其在阿里巴巴的应用
直播时间：3月9日 15:20-16:00
议题简介：实时化是大数据应用及分布式系统设计的重要发展趋势，其中流式数据处理又是核心场景之一。本演讲首先介绍一系列典型场景以及它们带来的商业价值。随后结合阿里巴巴真实场景，谈谈流式计算的技术挑战及系统设计的关键问题。特别的，将介绍独特的增量计算需求，及其与系统其它关键能力(如容错)的设计交互和抽象。最后结合我们过去几年的工作和思考，谈谈对未来流式计算应用及系统发展的展望。
听众预计受益：听众可以了解PAI机器学习平台的模型演进，尤其是阿里在面对大规模分布式机器学习难题的时候的解决思路。
-
了解大数据应用实时化趋势下，流式数据处理的典型应用场景和商业价值。
-
了解流式数据处理在阿里巴巴真实场景中的应用与技术挑战。
-
了解真实场景驱动的系统设计核心问题，及阿里云在服务阿里巴巴集团内外场景中积累的思考和对未来的展望。
九丰 阿里云高级专家
嘉宾简介：九丰，阿里云大数据事业部高级专家，14年加入阿里云，一直从事PAI机器学习平台的建设。
演讲议题：PAI分布式机器学习平台计算模型演进之路
直播时间：3月9日 16:00-16:40
议题简介：随着训练数据规模的持续扩大，模型特征的持续增长，常用的机器学习算法面临着越来越多的挑战。从很多人熟悉的R语言，到基于MPI的多机的计算框架，再到支持超大规模特征的Parameter Server架构，再到如今的深度学习计算框架，机器学习平台上的编程模型也在不断演进，以满足业务上持续的挑战。本次主题主要和大家分享PAI分布式机器学习平台的多种编程模型的演进过程。
听众预计受益：听众可以了解PAI机器学习平台的模型演进，尤其是阿里在面对大规模分布式机器学习难题的时候的解决思路。
朋春 阿里云高级技术专家
嘉宾简介：阿里云高级技术专家，5年以上高吞吐数据传输平台的研发经验，目前是MaxCompute数据通道团队负责人。
演讲议题：MaxCompute数据上云与生态
直播时间：3月9日 16:40-17:20
议题简介：玩大数据的第一件事情是如何将数据上传到MaxCompute。在前台存储多样化的形式下，数据上传存在着多种多样的需求；另一方面，网络质量的好坏又对传输过程中的时效性、吞吐量和容错能力带来了不小的挑战。
本次演讲会从MaxCompute提供的离线、实时数据通道入手，延伸到DTS、Logstash、DataX等官方/开源软件，向大家介绍如何从数据库、本地文件等多种存储向MaxCompute导入数据。除此之外，还会涉及一些在Python和R语言中使用MaxCompute的介绍。
听众预计受益：1、了解如何利用现有工具，快速地向MaxCompute导入数据；2、了解不同网络环境和存储类型下的导入导出工具选择；3、通过示例了解如何在Python和R环境中使用MaxCompute。
无庸 阿里云高级技术专家
嘉宾简介：阿里云大数据计算服务MaxCompute框架负责人、高级技术专家，专注于高可用大规模分布式系统的平台开发。
演讲议题：高可用大数据计算平台如何持续发布和演进
直播时间：3月9日 16:40-17:20
议题简介：大数据服务如何持续发布和演进一直是业界的一个难题。成熟的大数据服务必须具备高可用、高稳定、高安全、高效率等特点，与此同时，为了满足用户不断增长的需求和规模，大数据服务需要不断地完善功能提高性能，两者之间存在着天然的矛盾。本次演讲将会介绍阿里云大数据计算服务MaxCompute在解决这个难题中的一些方案和实践。
听众预计受益：1) 大数据服务新功能在保障数据安全和用户知识产权的前提下高覆盖、高效率的测试方法；2) 大数据服务保证高可用高可靠前提下灰度发布上线的方法。
场景应用篇
许鹏 佰腾科技CTO
演讲议题：专利大数据的云上裂变之路
直播时间：3月9日 14:00-14:40
议题简介：专利大数据的大不在于数据的“多”，而在于数据的“宽”，专利数据每
拓宽一个比特都需要对原始数据进行多次的拆解和分析，传统的计算技术很难满足这种大
规模的数据挖掘需求，而阿里云的数加平台为我们提供了更大的存储、更高的性能、更好
的分析，让我们实现了专利数据的快速裂变。
刘峥 明源云大数据负责人
嘉宾简介：明源云大数据负责人，多年来探索传统行业大数据应用与变现，现在地产垂直领域负责行业大数据管理平台整体规划与建设。
演讲议题：地产大数据趋势与应用实践
直播时间：3月9日 14:40-15:20
议题简介：大数据能够对地产行业的拿地决策、营销、服务等业务带来哪些帮助；明源如何通过阿里云将大数据业务场景落地；明源云大数据管理平台的技术架构
王洋 小红唇
个人简介：王洋, 毕业于北京邮电大学计算机科学与技术系，研究生学历。曾在IBM中国研发中心和Polycom中国研发中心从事软件开发及管理工作。2014年作为创始团队加入北京小鱼儿科技有限公司，负责管理云端及移动端APP的开发。2016年加入小红唇网络科技有限公司，全面负责公司的研发管理。精通云服务、移动APP的架构设计与开发，在大数据、实时音视频系统等方面具有丰富的经验。
演讲议题：用大数据打造你的变美频道
直播时间：3月9日 15:20-16:00
议题简介：阿里数加平台完整的大数据技术栈和易用性，使小红唇公司快速建立了自己的数据分析、个性化推荐、机器学习等大数据核心应用。为小红唇不断扩大的业务提供了强有力的数据支撑，使用户获取变美内容和商品变得易如反掌。普通的开发人员通过数加平台迅速转变为数据工程师，而几乎零运维又使得工程师们能够专注于数据，不断使数据产生的收益最大化。
刘立兼 网聚宝首席架构师
个人简介：上海云贝网络科技有限公司首席架构师，数年来一直奋战在电商大数据领域。经历了一个又一个618/1111/1212。对面向大数据的高可用、高性能、易扩展的分布式架构技术有着深刻的理解，特别擅长基于云计算的系统架构。
演讲议题：云上大数据，零售新思维
直播时间：3月9日 16:00-16:40
议题简介：大数据的发展给各行各业都带来了变化。网聚宝基于5年的零售业的数据服务沉淀，结合云上大数据能力，给企业客户带去了更多的可能性。
以上是关于技术与架构，解析如何将大数据最快落地到实践的主要内容，如果未能解决你的问题，请参考以下文章