阿里玄难对软件不确定性的见解

Posted 2021-01-29 zourui4271

特别说明：本文中所说的软件都指代面向最终用户的偏业务的软件，不包含操作系统、中间件等系统软件。

 

1、软件发展的几个阶段

 

软件工具和信息化阶段：软件最早是为了数值计算，以工具的形态出现的。包括PC时代我们非常熟悉的Excel，Word这些好东西。以及典型的企业内部管理的信息系统，例如：企业流程审批、进销存管理系统等等。

互联网服务阶段：随着PC互联网兴起，淘宝、QQ、Google、新浪这些全新的互联网服务逐步进入了我们的日常生活。

社会基础设施阶段：随着移动互联网、IOT、人工智能的出现和高速发展，各种各样的软件进入社会经济生活的方方面面，软件之间相互连接，构成了一个纷繁复杂的生态系统，变成了不可或缺的社会基础设施。

 

随着软件形态的变化，过去非常高效的系统架构和组织形态遇到了全面的挑战。因为我们所处的环境已经从量变到质变，突破临界点，产生了本质的不同。

 

阿里巴巴就是这个过程中的典型代表。从过去单一的电商业务演变成了复杂的经济体，没有了确定性的业务边界，蓬勃发展的业务不可预测。比较典型的特征就是：

 

从过去的一个淘宝演变成了几十个事业部和公司，新零售、云计算、文娱健康等等几百种业务，还在不断地快速演进；

从曾经的一个Denali系统，通过分布式架构演变成了上万个系统的群落，各种业务逻辑交织在一起横贯众多系统，说不清道不明；

从曾经几十个人的协同演变成了几万人的协同，每个人都像在原始热带雨林，不知业务全貌，盲人摸象；

从曾经的可停机发布演变成了不可中断，连续进化的社会基础设施，不仅要系统稳定性，更要业务连续性。如何确保这个基础设施的安全、高可用性，同时提供给业务方高效无障碍的创新支持，就是我们必须去解决的核心问题。

 

针对这些问题，我们对软件设计产生了几点基本思考。

 

2、传统软件设计：外延的确定性

 

作为程序员，我们都知道：软件要能符合预期，我们需要确定性。不确定性对程序设计来说是致命的。所以我们经常会听到抱怨“需求又变了”，网上很多段子都是程序员讨伐业务方和产品经理不停变更需求。

 

软件在“工具和信息化”时代，本质上是把原来的人工工作，用计算机软件来模拟，实现电子化，因此有个典型的特征：业务领域、软件职责和功能边界都相对清晰。因此最经典软件工程理论是瀑布模型：收集需求、画UserCase、确定功能集合、模型抽象、概要设计、详细设计、编码、单元测试、集成测试、用户测试、上线运行。然后投入下一个版本的迭代。传统的软件开发大多数都是这种模式。这种模式特别强调文档质量和变更的全流程一致。

 

在互联网服务时代，用计算机软件实现了靠人肉无法完成的能力，为人类社会提供了很多全新的服务能力。我们继承了传统的软件工程理论，也做了适度的改良。为了缩短版本迭代的时间，更快地验证产品想法获取用户，大多数团队采用敏捷模型。本质上是把需求批发模式变成了零售模式。这种模式最大的好处就是对产品需求的快速响应，但致命的是每次敏捷大多数情况下是在不断地打补丁，软件架构快速腐化。要不了两年，敏捷事实上变成了蜗牛。再熬两年，受不了了，就重构。但所谓的重构事实上是推倒重来。这种模式下几乎没有可用的文档了。

 

在前面这两个阶段的软件设计理论都有一个基本假设：软件边界是确定的，我们通过归纳总结和适度的预测（避免过度设计）来进行模型抽象。通过模型抽象，我们设计了各种可配置性来快速接入需求，提升效率，也就是我们常说的产品化。通过接口设计和模块化设计来进行组织分工协作。通过系统架构的开放性来应对不能配置的变化。变化一般来自两个方面：

 

首先是用户量增长，通常是用分布式来解决，分布式数据库，分布式缓存、分布式服务，多机房多单元，CDN等等。在这方面阿里巴巴应该是做的非常优秀。从五彩石开始至今，阿里巴巴的架构基本上都是这一指导思想的落地实施和优化完善，也仍是应对用户量快速增长的良方。

 

第二个方面业务功能的变化，我们通常说的系统可扩展性。通过传统数据库的大字段或者NoSQL，用“元数据+K-V存储”的方式来应对数据信息的不确定性；通过流程引擎来满足工作流程的快速响应；通过规则引擎来代替程序中的大量If-Else，实现界面配置来实现规则的变化。通过UI组件化，配合UI的编辑器来快速调整用户界面的变化。通过插件技术来将容易变化，且相对复杂的逻辑从主流程中剥离出来进行扩展。我们去看目前比较的套装优秀软件都大致如此。

 

截止目前，我们的软件研发，都是面向一个确定性的问题，类似一个圆圈，他是有需求边界的，我们从四周向内聚，做抽象，就是我们的业务抽象或者建模；它就是我们的房子，被四个边角承重墙划清了边界，里面的装修可以根据主人的爱好和阶段性诉求重构，但没法向外延展；它的特点是框架结构，业务领域模型抽象、组件化、版本化、外延向内；

 

3、思考角度的变化：内核的确定性

 

随着移动互联网，IOT，人工智能的发展，软件变成了社会的基础设施，我们每个人被软件牢牢地控制了，一天黏在手机和电脑上。人其实是作为终端接入软件网络。社会形态是没有边界的，是连续变化的，不可预测的。阿里目前的业务也是没有确定性边界的，不知道明天会变成什么样，它不是版本化的，是在不断在生长和变异。就没有确定性的软件外延。如果没有确定性的外延，而软件的运行又是需要确定性的，我们就只能去寻找确定性的内核。

 

如何理解这个变化。我们可以从机器学习的发展来类比。传统的机器学习有很多的算法模型，线性回归、决策树、随机森林算法、逻辑回归、SVM、朴素贝叶斯、K最近邻算法、K均值算法等等。我们要解决，首先要尝试分析问题领域，才能选择匹配的算法模型，才能得到好的结果。如果是个非线性问题，但错误的选择了线性模型，就拿不到结果。这种解决问题的思路，就是要先寻找一个确定性的问题边界，才能向内寻找参数。但深度学习的解决思路有个本质变化，不定义问题域，只定义稳定的结构，BP神经网络，有输入层，多个隐藏层和输出层。如果我们把图像数据输入进去，就构建图像分类和人脸识别的能力，语音输入进去，就构建出语音识别的能力（当然没有说的这么简单）。深度学习是由内而外的自我学习和生长的。

 

软件工程也遇到同样的问题，需要从外沿确定性转变为内核确定性。从逻辑推理的角度来说，传统软件工程是以归纳法为主，局部使用演绎法，而要面对外延不确定性的领域来看，需要找到稳定的内核基础，然后以演绎法为主，局部使用归纳法。我们先去寻找内核，内核向外生长和变异，原来的确定性是寻找外沿的确定，现在我们要寻找内核的确定。原来是归纳法，现在我们要演绎，找到不变的是什么，就像人由基因控制的一样。当然你也可以说这是一种跨业务领域的更高阶的抽象。

 

 

 

4、文档即代码

 

纵观计算机发展历史，软件研发效率提升就是弥合现实世界和计算机二进制世界的鸿沟。从二进制编码到汇编，到C语言，到面向对象的C++、JAVA。每一次升级都是用人类更容易理解的方式抽象描述现实世界，然后通过一个编译程序无差异的翻译成低阶，直到计算机能直接运行的二进制。每一次升级都带来软件研发效率的指数级提升，同时让能参与软件设计的人也是指数级增加，给整个社会带来巨大的进步。这其中最大的功臣毫无疑问是编译器。我们最核心的资产是编译前的源代码，而不是编译后可运行的二进制代码。因为我们编译后的代码不容易理解，也不可能通过逆向工程还原出源代码。丢掉了源代码，基本上就失去了所有。

 

回到当下的业务领域，我们都声称自己是做业务的，例如业务平台就声称支持了淘宝、天猫、拍卖、盒马生鲜、天猫超市、飞猪机票、火车票等等上百种业务。但我们的代码中完全寻觅不到这些核心业务概念。我们都知道电商最核心的交易模式担保交易、预售、团购、货到付款等等也不可能在代码中找到。我们也没有准确的文档来描述这些东西。这是传统的软件工程方法和技术局限导致的。

 

我们所做的需求分析，概要设计，详细设计到最后的Java代码，其实就是业务逻辑到计算机世界的一次编译过程。这其中最大的问题就是人肉编译，而不是机器无差别编译，这个编译过程因人而异。因为这种不确定性，导致所有的设计文档随着时间的推移，与实际运行的代码之间产生不可弥合的鸿沟。一个业务系统的文档越来越没有用处，也就越来越没人写了。如果不能实现文档即代码，我们就不能留下真实可用的文档。

 

我们需要把设计和实现融合在一起。我们看自然世界，所有的设计文档图纸其实就是DNA，而DNA是在生命体的每一个细胞中都存在的。DNA的传承就是生命的传承。所有外化的文档最后都容易消失。就像秦始皇一把火就把人类多少年的沉淀和传承毁掉了。但DNA里面的生物的本能传承是一代代的得到了传承和优化。

 

目标：不存在独立于可执行系统之外的文档。所有的信息都蕴含在系统之中，只是通过一些工具进行可视化，增强可读性。所有的信息都不能凭空存在，都必须属于一个业务对象。

 

5、面向功能的组件化设计到面向业务的对象化设计

 

我们的世界可以按熵变化的方向，分为熵增的无机体和熵减的生命体。

 

无机体是靠设计、图纸，自顶而下的层层分解细化设计，然后组件化拼装出来的。典型特征：标准组件化设计和批量生产来进行协同和提效。

 

生命体，是由内而外的生长和变异的。虽然看上去是组件化的，但因为基因不同，事实上不同生命体是不可替换，会产生排异反应的。所有组成部分是在基因的控制下同步生长的。生命体的生长和变异是连续的。

 

所有组件化构建出来的无机体，如果要有质变，都是推倒重来。就像我们的城市总在不断拆迁中膨胀一样。再如我们的7号楼，在设计结束，就决定了它只能是6楼，或许可以利用冗余盖到8楼，但如果增加到20楼，他一定会崩溃。要想盖20层，只能推倒重来。

 

因此按抽象归纳，组件化设计的软件系统，随着业务发展，补丁越来越多，运行几年就会被推倒重来是它的宿命。

 

有机体单个个体的复杂度也是有限的，是靠群体协作来形成巨大的规模和力量的。群体的进化是靠单体的变异和自然选择来演进的，生命的进化是不可预测的，正如父亲对儿子的成长和未来是不可预测的。

 

现在我们的业务系统都是由组件化系统，例如购物车、店铺、详情、库存、交易、营销、资金、支付、结算、财务体系构成。所有的业务实现，其实是数据在这些组件系统中流动来实现的。在这个运行系统中，我们看不到天猫、淘宝、盒马、天猫超市、担保交易、预售、团购这些我们耳闻目详的东西。都体现在一个个分散的数据字段和IfElse中。

 

我们的设计思路是，回归到业务本质，用对象化设计来让业务可生长、继承和变异。最基本的思路：整个系统的根基是业务。你将会看到一个实实在在的Class叫淘宝，天猫，他们有个父亲叫市场，天猫超市是独立存在的Class，它天猫的儿子。所有继承了他们父亲的基因，有独立的品牌心智的业务都会在运行期真实的存在。通过对象来去除兄弟之间的相互影响。核心控制性基因是不可变的，但新能力的创造就脱离父亲的影响能独立发展，也可以创造出新的子业务。

 

同时我们还要建立一套业务对象协作机制，天猫和淘宝互相协同，大麦和飞猪是可以协同的，让业务和业务之间产生连接，共同构成一个动态繁衍的生态体系。如果我们能把整个阿里巴巴商业体系图示化出来，买家卖家进入淘宝天猫就会像接入游戏，进入天猫超市就像真的进入一家超市，做拍卖真的要敲锤一样，做出虚拟世界的真实感觉。

阿里巴巴业务平台的演进：以功能为中心→以商业能力为中心→以业务为中心，我们在路上。