大数据包围你我，技术人如何走知识分享之路

Posted 2021-09-30 华为云

本期推荐：【云享人物·大咖面对面】华为云首席产品官方国伟独家专访：当下云发展有待突破的并不是技术问题；现在为什么是#华为云# 的最佳时机；以不变应万变，什么是云产品规划的三个关键出发点；生态对于云的意义是什么？戳此处，一起来听技术大咖聊聊云的故事。

摘要：这些数据是如何一步步包围你我的生活？在大数据行业从业五年有余的华为云专家周培源有话说。

本文分享自华为云社区《【披荆斩棘的开发者】华为云·云享专家周培源：大数据包围你我，技术人如何走知识分享之路》，作者：我们都是云专家。

从2014年大数据首次被写入政府工作报告，7年的时间，我们的生活已经被各种各样的数据包围。网络环境下的每一个操作，都有着自己的数据戳，再加上AI、物联网、5G等技术的快速发展，大数据的价值正在被最大化地挖掘使用。

这些数据是如何一步步包围你我的生活？在大数据行业从业五年有余的华为云专家周培源有话说。

如果兴趣与工作重合，再好不过

周培源从大学期间开始接触计算机基础技术和C++编程，便产生了浓厚的兴趣，大学毕业后，他选择从事大数据研发相关工作，因为“如果兴趣与工作重合，那再好不过了。”

做了几年的大数据工作，周培源对国内大数据行业的发展也有比较清晰的认识，他列举了这个行业发展迅猛的三个关键因素。

一、人口众多，产生数据量巨大。第七次全国人口普查数据显示，全国人口总数为14.12亿人，我们社交、购物、看病、旅游，每时每刻都在不断产生新数据，构造着新的数据大厦。这些通过移动设备、数据库、日志、爬虫等收集的数据，经过分析后会产生巨大的商业价值。

二、国家政策支持。目前全国有二十多个地区出台了大数据相关的政策，很多地区设立了专门的大数据管理机构，比如上海的“大数据局”和贵州的“云上贵州”，高校也开设大数据相关专业，为行业培育大量人才。

三、互联网行业的发展。国内一分钟会发生什么？移动支付金额3.79亿元，7.6万件快递被收发……互联网行业的迅速发展，让大数据技术有了用武之地，同时，大数据也在推动着互联网行业的发展。

在周培源看来，大数据技术可以完美地解决海量数据的收集、存储、计算、分析等问题，它的发展是迎合互联网时代的刚需。

而互联网公司的工作经历也让周培源走上了一条特殊的技术之路，

“一开始是整理自己工作中遇到的问题和解决办法，并发布到博客上，渐渐地收到了一些粉丝的好评，同时也明显感觉到自己过往工作中积累的零散技术点，在整理过程中逐渐长成了‘一棵树’，并且不断冒出‘枝丫’，这让我感到兴奋。”

做了近一年的大数据技术总结输后，周培源收获了40000+粉丝的关注和支持，也荣获了一些平台授予的专家称号。

从线下到线上，大数据的“魔力”

周培源分享了他经历的几个比较典型的大数据项目建设，从业务出发，去挖掘出数据的价值，并反哺业务。

某二手车早期业务数量较小，采用的是传统数据库，随着公司数据线上化建设和业务量的增加，到2018年底，数据查询量激增300%，数据库出现查询延迟或失败，已经无法满足总部及城市运营人员查看数据报表的需求，甚至影响线下交易流程的正常进行。

在项目实施过程中，周培源设计了增量计算方案，将计算时效从1小时压缩到5分钟，并开发数据质量监控程序解决数据丢失问题。

和团队成员经过半年时间的共同努力，项目成功上线，有效保障了线上业务流程的正常进行，系统可用时长从95%提升到99.99%；也为行业内带来了一套成熟的实时计算的解决方案，并作为案例回馈到开源社区。

另一个令周培源印象比较深刻的案例是某中介平台的集中签约数据项目，该平台在全国开放了300多个签约中心，但只覆盖了7%的合同。他们计划99%以上的二手房合同将通过集中签约完成，然而缺少数据线上化建设，业务流程中存在大量数据指标缺失及获取限制，总部及城市无法准确评估签约中心运营情况，造成整体服务效率低。

针对这些痛点，周培源从品质、规模、效率三个维度搭建出一套集中签约指标体系，开发了经营看板供总部和城市查看数据指标。通过这些指标体系和数据报表，该平台实现了对签约中心进行有效管理，实现线上线下一体化、智能化运营，场地利用率和人员效率明显提升。

知识分享，星火燎原

在从事大数据相关工作的这些年，周培源也明显感受到了行业的变化。许多传统企业逐渐转型升级为数据驱动的企业，借助大数据技术的力量，传统的生产、流通和消费等环节呈现出前所未有的“信息化”、“扁平化”和“无界化”。基于大数据的分析与研究，对消费者行为规律、需求内容、结构、方式及其发展变化的预测更趋科学性。

大数据的存储、计算等技术也在迅速发展，从传统的关系型数据库到分布式数据库；从离线批量数据抽取到流式的数据实时抽取；从分钟级数据查询响应到秒级查询响应；从服务器本地部署到云上部署。

周培源强调，对于处在一线的开发者来说，需要不断提升技术水平以适应互联网行业的要求。“在技术知识学习方面，华为云开发者社区为我们提供资源工具、学习交流、应用实践、大赛活动等一站式服务。一些棘手的技术问题，总能在上面找到答案或思路。”比如华为云学院中就有很多免费且高质量的学习课程，对大数据有兴趣的可以阅读《Python编程学习路径》，通过学习+考试的方式进行学习，查缺补漏，夯实基础。

周培源补充道，“我也时常在华为云社区上整理分享一些大数据生态系统知识、技术解决方案、程序员故事等内容。”（点击直达周培源的博客主页）

最后，星火燎原，周培源希望能够通过他的技术输出，为国内技术社区蓬勃发展贡献一点绵薄之力。

点击关注，第一时间了解华为云新鲜技术~