OpenFEA=AI+BI

Posted 2020-08-21

大数据如今已成为继云计算之后又一个划时代的热门技术。《Nature》于 2008 年出版了大数据专刊“big data”,专门讨论了大数据对各方面的影响与挑战。《Science》也于2011年出版了如何应对数据洪流(data deluge)的专刊“Dealing with Data”,并指出如何利用数据推动人类社会的发展。

    面对大数据热，相信很多人会问大数据最核心的是什么？从海量类型多样、增长快速、内容真实的数据背后挖掘、分析，从中找出可以帮助决策的价值信息、未知的单方/双方/多方关系以及其他有用信息的过程，并结合用户需求有针对性地调整和优化自身，就是大数据的价值。而这种价值正是由大数据分析系统创造的。

大数据分析系统，是对海量数据进行大规模的采集和存储，进行清洗（去燥）得到精准数据之后，以分析模型为依据，通过大数据分析系统的计算框架分析数据，最终挖掘出大数据背后的模式或规律的数据分析过程。目前，市面上优秀的大数据分析系统比较多，可以将其划分为两个维度：一，以MapReduce和Spark计算框架为代表的高性能分析系统，以各种高性能处理算法、智能搜索与挖掘算法等为主要研究内容,也是大数据分析的研究主流。二，以大数据可视化分析(visual analyticsof big data)为主要代表的可视化分析系统，主要以人机交互为主，强调以人作为分析主体，结合可视化图表进行分析。

总体来讲，这些大数据分析系统技术成熟，应用广泛，但OpenFEA与其相比仍具有如下压倒性优势：

一、OpenFEA = AI + BI

目前，一些商业智能系统已开始整合AI功能，但并未深入地融合AI技术,因此难以全面地支持人工智能。同时,大数据本身的新特点也对AI与BI提出了更为迫切的需求与更加严峻的挑战。总体而言，当前商业智能系统对于AI的研究仍十分初步。而OpenFEA在综合AI（人工智能）与 BI（商业智能）各种技术的基础上，提出了大数据分析的第三条道路---有机统一AI与BI功能，打造分析与应用的中件间。

OpenFEA有机整合了AI的交互分析、机器学习、深度学习、内存计算、流计算、图计算等功能，BI的可视化分析、可视化展现、深度交互、DASHBOARD、导航及门户等功能。各个功能部件之间能够进行互操作，并协调操作的一致性和完整性，在大数据分析与可视化应用之间进行调节，以保证高效地处理和展示数据。具备分布式处理的优势，提供完善的各种分析功能，确保分析与应用的完美衔接，是IT技术人员和分析师开发和管理多元分析及应用需求的强有力工具，能解决数据分析项目用户需求变化快、按时交付难的问题。

二、高开放性，最大化促进创新

OpenFEA不是孤立的，而是一个开放式分析环境，既内部开放，又对外开放。系统内部开放，即交互分析、机器学习、深度学习、内存计算、流计算、图计算、可视化分析、可视化展现、深度交互、DASHBOARD、导航及门户等功能，都可以看作是一个子系统，它们相互作用，共同构成OpenFEA的结构。系统对外开放，即OpenFEA允许用户自定义数据源（UDD）、自定义函数（UDF）、自定义导航（UDN）、自定义图形（UDG）。任何人都可以在符合规范的情况下，将数据源、函数、导航、图形等移植到了OpenFEA上，包括各类关系型/非关系型数据源、Hadoop/Spark函数、GIS图形等成熟系统，并且支持不断壮大。

另外，OpenFEA是第一家将程序安装包、技术文档资源、视频资料、在线环境全部公之于众的大数据分析系统（可访问OpenFEA官网http://www.openfea.cn/或http://www.open-fea.cn/获取），其高度开放的成果共享程度，已超过许多专业系统。

三、弹性部署

OpenFEA在部署方式上特别灵活，支持以下几种部署方式：

1、双节点部署

双节点部署，适合于交互式分析，由多名数据分析师使用OpenFEA进行数据分析。要求部署的主机内存比较大，一般在256G到512G，可以配置固态硬盘来存储分析的结果数据，从而加快读写的速度以提升整体的性能。

这种部署方式，适合处理单个作业内存需求很大，又有少量并行作业（几十个）的分析场景。一台作为实时分析节点，一台作为离线分析节点。

2、集群部署

集群部署，适合于执行交互式分析和批量作业并行运行的场合，节点一般控制在10个节点以下，每个节点内存128G到256G，2路6核CPU。这样单个交互分析可以达到128G到256G的内存上线，又可以执行上百个并行调度的作业，做到两种场景的自由切换，用来处理复杂的分析场景。

3、云上部署

云的特点是节点数特别多，但每个节点的配置一般不高。面对这种情况，OpenFEA可以采用每个节点4核，内存64G，20个以上节点的方式来构造一个比较大规模的集群，在进行作业调度时保证单个作业的数据分片时不超过64G即可，适用于数据量不是很大的交互式分析和并发性特别大的并行分析场景。

四、在生产实践中已广泛应用

OpenFEA已在合众数据公司的多个业务部门，以及政府、运营商、金融、交通等领域生产实践，专门负责处理海量数据集，为客户提供大数据交互分析及可视化分析服务，尤其在网络安全态势感知、用户异常行为分析、人物画像等方面表现突出，深受用户赞赏。解决了多元化团队作战造成实施成本高、需求变化快按时交付难、开放性差难以扩展等问题。OpenFEA拥有显著的性能优势，其中规模最大的用例就是对TB 级数据进行分析，大部分的查询请求都能在秒级获取到返回结果，并轻松通过DashBoard或门户展示相关结果，而不再需要借助查询或命令等复杂机制。另外，OpenFEA延续行业专家通过EXCEL分析数据的操作习惯，能够帮助分析师轻松借助自己所为熟悉的工具对更大规模的数据进行充分发掘。

总结

OpenFEA是融合了内存计算、交互分析，可视化分析为一体的一站式大数据敏捷分析系统，在性能、功能、开放性及扩展性方面都表现突出，可以让业务专家成为数据分析师，让数据分析师成为系统工程师，让数据分析师不仅能建好大数据分析模型，而且能建好大数据分析系统。我们欢迎大家加入到OpenFEA分析阵营中来，感兴趣的朋友请点击以下链接以访问OpenFEA官网并获取更多详尽信息：http://www.openfea.cn/或http://www.open-fea.cn/。