探讨使用UML设计机器学习特征工程与深度学习建模等大数据分析软件

Posted 2021-05-19 肖永威

大数据人工智能软件产品研发，是在传统软件工程的基础上，增加了数据特征分析、人工智能算法建模及模型训练过程，同时也增加了很大的不确定性。

0. 前言

本文以程序员视角，以客户流失为案例，使用UML方式设计机器学习特征工程和深度学习建模与模型训练等大数据分析软件，通过此项研究工作，希望能帮助高级程序员快速参与到大数据人工智能研发工作中，也为有意向成为人工智能开发者分享经验。

首先，我们回顾UML和主要图例。

UML（Unified Modeling Language）统一建模语言，又称标准建模语言。基于UML的可视化模型，使系统结构直观、易于理解。模型是系统的蓝图，它可以对开发人员的规划进行补充，模型可以帮助开发人员规划要建的系统。

参与者角色

用例

用例图用于捕获用例和操作者和主题 （系统） 之间的关系。

时序图

序列图是把参与者的操作或行为作为一系列、顺序步骤的结构化的表示，并随着时间的推移。

1. 数据分析用例图

1.1. 用户视角用例

以软件直接使用者，我作为用户的视角，我们都在做什么工作，怎么分析业务数据：可以简单的归纳为分类问题和趋势分析问题。

1.2. 数据分析开发者视角用例

我们以数据分析开发程序员、算法工程师的视角，我主要工作是采集数据、处理数据、提取特征、建模并训练模型。

2. 数据分析时序图

2.1. 数据分析特征工程过程时序图

我们的时序图，更贴近软件结构和代码，按分析过程控制相关的类/对象，完成我们的分析工作。

2.2. 数据分析算法建模训练过程时序图

3. 类包图

类包图是上面时序图所涉及到的类/对象进行分类归集，与程序结构/代码保存结构对应。

4. 活动图

我们的活动图，更多的是表达数据的详细处理过程和逻辑，例如在“提取数据特征（也叫特征工程）”的用例下，一个交易特征提取处理过程，另外还有客户流失特征提前、分析处理过程等等。

5. 总结

本案例的UML结构是以用例为自顶向下开始，逐步细化、展现，系统化的描述了大数据人工智能软件设计体系结构。

每个用例下包括活动图，用于描述数据处理过程（或业务处理流程），以及类/对象，用于描述业务的软件结构和数据、过程；而时序图是以软件结构和组件的视角描述了实现业务的过程。

图形是人类最好的沟通、表达方式之一，通过UML可视化后，我们将会发现：大数据人工智能的数据分析软件产品，内部结构将非常接近，对于程序员来说，最有挑战的就是特征提取和算法建模，其他的对于程序员相对较为简单。

参考：
《UML与软件工程专题集锦》 CSDN博客 ，肖永威 ，2021年3月
《通过客户流失预测案例感悟数据分析设计方法思考——数据驱动、AI驱动》 CSDN博客 ，肖永威 ，2021年2月