帆软发布大数据直连引擎FineDirect，对焦大数据BI

Posted 2020-09-20

摘要：近日，帆软官方正式发布大数据直连引擎FineDirect模块。通过该模块，企业在应用FineBI原有功能的基础上，可直接对接现有数据源，无论是传统的关系型数据库，还是Hadoop生态圈、Mpp构架，都可以直接自助取数分析。

当前，企业对数据的应用，一方面数据仓库和BI结合的方式仍占主导，另一方面越来越多的企业已逐渐引入大数据计算平台。个性化的方案、日益增长的数据，对BI工具的要求越来越高。

Gartner也在2017年的BI报告中指出：未来5年，基于Hadoop/Spark，基于搜索和可视化的数据探索分析功能将作为新型BI和分析平台的组件融合到下一代数据探索分析产品中。

过去， FineBI一直采用FineIndex（原cube）的方式取数分析，也就是“数据库-FineIndex-前端分析”的方式。这里的FineIndex相当于一个中间的多维数据库，用于存储数据表，对数据关联转义，这些都对之后的前端分析处理数据效率有很大的提升。因为直接sql取数，效率受数据库本身的限制，数据量大时，一般分析工具很容易就卡死甚至内存溢出导致系统无响应，这也是FineIndex方案的初衷。FineIndex存在有两个意义，一个是提升效率，一个是对数据进行二次整合处理。

如今，FineBI已有FineIndex引擎（原cube）和新的FineDirect直连引擎，可以搭配使用满足不同的场景。企业可根据实际需求的不同准备两种类型的数据，通过FineIndex模式配置那些不经常更新，实时性要求不高的数据；通过FineDirect引擎来配置大数据量且有实时分析需求的数据。

FineDirect主要是应对数据的实时分析以及大数据量的分析处理。例如金融行业交易风险分析，对每一笔流水实时分析。此外，不少企业已经有了自己的大数据计算平台，例如hadoop、kylin、greenplum、vertica等，FineBI直连引擎提供了对接这些数据平台的功能。

目前，经过多次的内测以及实际场景应用，FineBI直连方案已经在多家公司有了成功的案例：

案例一：上海汽车集团——超大数据量实时分析

上汽集团生产的每一辆汽车每5分钟就会回传一次其在公路上行驶时产生的GPS定位数据，目前数据的积累量在5亿左右，FineDirect数据引擎帮用户解决了这些海量数据的展现问题，可以在5S内得到展现结果。

案例二：江苏银行——跨数据源分析

FineDirect跨数据源的处理能力， 将该行统一的机构表与多个不同系统的数据表进行关联分析，不需要在每个用到机构表的系统中单独维护一张该表，保证了数据的一致性。并且借助FineDirect的参数功能，充分利用业务现有Oracle数据库的索引，实现了更灵活的实时分析。

案例3：贝贝熊 —— HANA数据库实时分析

该公司于2017年初重新搭建了hana数据库以解决大数据实时分析的需求，利用FineBI的FineDirect直连引擎对接hana数据库，解决了困扰已久的实时大数据分析难题。在供应商进货实时分析、销售自由日期实时对比，会员销售实时分析等场景进行了实际应用。

技术细节

1、20种大数据平台对接

支持对接多类大数据平台诸如hadoop，vertica，sap hana，greenplum，kylin等多达20种，让平台自身的计算优势最大化。

2、完全可视化的配置

可视化的SQL引擎，可视化的多维分析，从数据配置到数据展现。覆盖自助BI的两个阶段：自助取数与自主分析。

3、智能化缓存机制

智能化缓存机制，最大化节省计算资源，保证高并发量压力下数据库的可用性，让数据获取速度更优，资源更省。

4、灵活的参数应用

灵活易用的参数配置功能，可视化参数设置界面，支持通过参数来实现更加灵活的数据获取。

5、敏捷易用的数据模型

可视化的数据关联模型配置，智能化模型配置推荐，跨数据源关联消除孤岛，内存化与库化机制自助可选，满足企业绝大多数的实际应用场景。

6、多级权限控制

支持多级权限控制，满足体量更大的集团用户的权限分配和下放。

7、多数据源覆盖

支持通过帆软报表FineReport的服务器数据集连接功能，实现更多数据源直连覆盖。

8、与FineIndex搭配使用

支持与FineIndex同平台应用，企业可以根据自身的应用场景灵活的选择两种模式，满足不同需求。