轻松构建复杂数据集，永洪自服务数据查询功能详解

Posted 2021-03-17

现在的报告样式多种多样，越来越炫酷以至于让人应接不暇。如果想从数据结果上进行溯源，由于数据处理过程盘根错节且技术性过强，让业务人员捉襟见肘。如何让业务人员清晰可视化的看到数据从来源、加工到展示的一步步操作，永洪科技为您排忧解难。

今天这篇文章，主要介绍永洪自服务数据查询，这种方式提供强大、便捷的数据准备和整合方式，用户可以通过在图形化界面上只需要进行简单的拖拽和可视化的操作，便可以构建复杂的数据集。

数据准备过程主要涉及三类功能节点：输入节点（用于实现数据库表连接、导入EXCEL数据、创建内嵌数据）、中间节点 (对输入节点进行关联和数据操作的节点)及查询结果节点。

一、输入节点

输入节点即数据源入口节点。可以通过连接数据库表、导入Excel、创建内嵌数据方式，将来自不同类型的查询数据作为自服务数据操作的输入节点。

二、关联&转换节点

操作功能区中系统内嵌了关联（联接、联合）和转换（逆透视表、分组和汇总、自循环列、镜像、去重）两类数据处理节点。

1、关联节点-联接 (Join)

通过联接节点将数据表与表之间按既定连接类型进行关联、数据整合。如果数据库表之间定义了外联接信息，联接节点会基于这些外联接信息将缺省的联接做好。

2、关联节点-联合 (Union All)

通过连线的方式，联合节点可以将列数相同的表的数据 (包括重复数据行)拼接在一起。

举例：A表包括1日到20日的交易信息，B表包括21日到30日的交易信息，现通过联合节点将两表数据整合到一起，从而能够查看到1日到30日的全周期交易信息。

3、转换-逆透视表 (Unpivot Table)

逆透视表节点是将多维转为一维的一种数据处理操作。

举例：如下图同一用户有数学、语文、英语三类不同科目成绩，现需通过数据处理对各科成绩整合到单列中形成新数据集，便于进行每位同学的汇总成绩分析。

在逆透视节点中，设置数据保持不变列为保留列和需要从多维转一维的列为转换列。
即可应用该数据集按班级、人员进行各科成绩的汇总分析，转换结果如下图所示。

4、分组和汇总 ( Aggregate)

分组和汇总即对数据进行分组聚合。

举例：在上例的基础上，现对每位同学的成绩进行分组，并汇总每位同学的总成绩。

5、自循环列 ( Autoloop)
自循环列就是根据设置自动分出层级关系的列，每个查询只能创建一个自循环列。

通常我们会遇到一列中数据存在层级关系，如河北省、石家庄、正定县，三个区域存在所属关系，在区域ID上也存在父子级关系。通过自循环列操作可实现各个区域的层级划分。

通过自循环节点进行层级处理后结果如下图所示：

6、镜像

通过连线镜像节点，任意节点可以被复制一个或多个，在需要对同一输入节点并行进行多种数据处理的场景下应用。

7、去重
通过连线的方式，去重节点可以把连线节点的重复记录去掉。

举例：A表中用户1和用户数据2存在重复数据，现对其进行去重，原数据如下。

连接去重节点之后重复记录被去掉。

三、查询结果节点

查询结果节点是所有节点数据处理的终结点，查询结果节点只能有一个输入。可通过操作查询结果节点将自服务数据集导入数据库。

四、实时性能检测

自服务数据准备中，数据执行的绝对快慢很难得知，可以通过连线的颜色进行实时性能检测，连线颜色为绿色时表示性能快，连线为黄色时表示性能慢，用户可以根据性能快慢进行性能调优。

如图则性能一般，需要进一步调优。在调整后可以点击画布左上角性能检测，小球会沿着输入节点的轨迹，开始滚动，在查询结果节点停止，小球的颜色跟连线的颜色相同反应性能。

五、自动布局

自动布局功能为用户提供了节点和节点之间根据既定算法优化布局，让布局更加合理美观。

自动布局前：

自动布局后:

总结

在自服务查询中，用户通过可视化的工作流方式，直接利用已建好的查询对数据进行轻度建模与转换，同时也可以将外部多种数据源直接引入进行数据建模及转换。自服务查询不仅仅提供对数据进行分组与汇总、逆透视表转化等转变数据结构的功能，同时新增加多种数据转换功能如：值映射、去除空格、去除重复记录、缺失值替换、拆分列为多列、创建组等。

自服务查询可以使得用户操作过程更流畅，全视图化界面方便用户对数据结构及细节进行查看了解。通过连线颜色及提示信息，实时友好的展示各数据节点的性能指标，并将展示数据模型的整体性能状态及时通告给用户。