一招教你解决大数据量下的各种报表使用问题

Posted 2021-03-14

在我们日常制作报表分析过程中，总会遇到各种问题。比如，报表底层数据日益增多、报表加载超慢，这些情况该怎么解决？

数据库是最常见的能处理大数据的计算方案，而永洪能利用数据库来完成数据计算。但是，有些报表的计算较为复杂，使用SQL实现会非常困难，这时，我们就会采用永洪报表呈现的直观计算方式来完成数据的计算，这种方式导致后台要直接处理大数据，不仅性能低下，而且很容易造成报表加载时间过长。

今天这篇文章，主要介绍永洪数据集市数据集，这种方式提供强大、便捷的数据处理方式，用户可以轻松应对大数据量场景下报表加载过慢的问题。

一、实现功能

将查询结果按天增量导入永洪集市并对集市文件按天打上索引，永洪报表在处理逻辑时只会扫描查询日期内的数据。

二、实现步骤

1、设置参数

创建一个名为TEST_YH的SQL数据集，在查询条件中加上参数<etd_date_lm>，此参数为动态获取昨日日期，后续会提到。

2、新建作业

在调度作业中新建任务，其中类型设置为：增量导入数据，数据集为上一步创建的TEST_YH的SQL数据集，文件夹为存放文件的名称，最后我们选择追加数据。

在任务最下方的脚本中设置可以动态获取昨天日期的参数<etd_date_lm>参数，setMeta("search_data_index",formatDate(a,"yyyy-MM-dd")) 是用来给数据集市文件设定属性的，在数据集市数据集中可通过过滤条件查看这个属性。

file = formatDate(a,"yyyy-MM-dd") 是创建一个数据集市文件的文件名。

3、生成文件

在调度任务中运行此作业，就可以生成文件了。

我们还可以进一步在管理系统下监控预警中的数据集市文件信息统计中进一步查看上一步生成的文件。

4、读取数据

创建数据集市数据集，在文件夹中选择之前生成的文件，文件过滤中根据需求选择前台传递的时间参数。

以上就是关于永洪数据集市数据集的使用介绍，永洪科技强大的产品功能，可以轻松应对大数据量下的报表使用。