直播精彩回顾数据改变社会，BI助力发展！

Posted 2022-12-11 虹科云科技

一、大数据概述

1.大数据时代

从1946至2011年，大数据经历了三个阶段的增长。进入2012年后，大数据一词越来越多地被提及。大数据相关技术、产品、应用和标准不断发展，逐渐形成了包括数据资源与API、开源平台与工具、数据基础设施、数据分析、数据应用等板块构成的大数据生态系统，并持续发展和完善。

数据显示，2019年中国大数据行业市场规模约为353亿元，较2018年上涨了20.08%，意味着中国大数据时代已经来临了。随着大数据产业的快速发展和应用落地，国家政策上的支持也纷至沓来，如《“十四五”大数据产业发展规划》和《“十四五”软件和信息技术服务业发展规划》等。同时，大数据也在金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等各行各业都有应用。

2.数据的价值和作用

大数据真正的价值体现在从海量且多样的内容中提取用户行为、用户数据、特征并转化为数据资源，对数据资源进一步加以挖掘和分析，形成用户画像，实现从产品价值导向到以客户体验价值为中心导向的转换。

数据的作用：

• 帮助企业做出更好的业务决策。
• 帮助企业改进产品。
• 简化业务流程。
• 更快地对竞争对手的决策做出响应。
• 更有效地应对法规挑战。

3.大数据应用案例

大数据应用在日常生活中非常普遍，大到国家事务，小到柴米油盐，时时刻刻影响着我们的生活。比如：刷短视频的时候，平台会收录用户行为信息，通过算法判断用户喜欢的视频类型，并在之后向用户推送相关视频。购物网站会根据用户的页面停留时间、是否查看评论、搜索关键词、浏览的商品等行为，预测用户需求，向用户推送适合的商品。此外，大数据还可以应用于电商行业、广告行业、教育范畴、医疗范畴、生物技术等。

4.企业面临的数据难题

企业面临的数据问题主要包括以下几个方面：

缺乏有效管理机制

许多企业尝试通过生产系统的业务流来控制数据流，但由于缺乏有效的管理机制和某些人为的因素，比如平台间数据标准不一，缺少全局规范文档，信息无法对接应用等，在数据流转过程中，导致了大量的垃圾数据。此外，数据产权不明确，管理职责混乱，管理和使用流程不清晰，也是造成数据问题的重要因素。

存在数据安全隐患

近年来，随着大数据的发展，数据安全事件多不胜数。数据资产管理上，正在由传统分散式的人工管理向计算机集中化管理方向发展，数据的安全问题愈来愈受到人们的关注。

数据质量参差不齐

并不是所有数据都是资产，数据中也有垃圾数据。由于企业各个业务系统或模块都是相对独立的，没有统一的录入工具和数据出口，这造成同样的数据在不同的系统有不同的属性信息，数据完整性无法得到保障，数据质量参差不齐。

IT系统孤岛化，数据流通受阻

目前，很多企业在信息化建设初期缺乏整体规划，大多都是以业务部门驱动的单体架构系统或套装软件，数据分散在这些架构不统一、开发语言不一致、数据库多样化的系统中，导致在企业内部形成了一个个的“信息孤岛”。这些“孤岛”之间缺乏有效的连接通道，数据不能互联互通，不能按照用户的指令进行有意义的交流，导致数据的价值不能充分发挥。

5.如何有效解决数据问题？

近年来同大数据一同爆火的还有BI商业智能。对于无法独立处理海量数据的企业来说，这是另一个福音。商业智能(BI)是支持数据准备、数据挖掘、数据管理和数据可视化的技术的总称。简单来说就是：BI工具可以帮助企业分析数据以获得切实可行的洞察，并改进业务决策。BI完成的工作：从业务出发、获取数据、处理数据、实现业务过程模型到分析模型的转变，通过可视化定位并分析问题、最终又回到业务的过程。

此外，BI正在朝着更人性化的方向发展，它越来越容易使用，可以扩展到更多员工，并且正在向云端迁移，可以嵌入ERP和CMR等软件套件，可以进行数据科学、机器学习等分析。

二、企业大数据解决方案

1.虹科商业智能分析平台

Hk-Domo

相较于市面上的其他软件而言，Hk-Domo拥有更丰富的连接器和图表库，适用人群更广，无论是非技术人员还是数据科学家，都能在Domo中找到适合自己的BI方式。
Domo是一个完全移动的、基于云的平台，旨在为整个公司的决策者提供对业务数据的直接、简化、实时访问，而这个过程IT参与最少。它统一了业务的每个组件并且实现了手机端交付，这个平台使员工能够从手机上获取实时数据和见解，并采取行动。通过该平台，可以收集、存储、准备、组织、分析、可视化和共享整个企业的数据。Domo将算法和机器学习应用于允许触发警报和请求操作的数据，使用户可以在任何设备上接收这些通知，并立即响应请求，之后数据可以回写到原始记录系统。

Domo可以将所有人员、数据和系统汇集到一个地方，以实现数字连接的业务。其仪表板和报告、数据应用程序、连接器、云灵活性以及数据集成等等都做得非常出色。

Hk-Omniscope

Hk-Omniscope功能强大，专业性较强，有非常多的案例，是一款多功能的多标签多视图交互式数据分析、过滤、可视化软件。它以图片、地图、链接等方式可视化的探索数据，并且可以轻松的分享可视化的成果。其提供了沙箱版本可以进行免费试用，在高级分析方面，可以支持回归、聚类、篮子分析、主题建模等等，也可通过Python和R等进行功能扩展，非常适合专业人员进行一些高级数据探索。

2.BI工具的常见功能

BI软件常见的功能如下：

数据集成

数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，进行整合，以获得统一且更有价值的视图的过程。一款优秀的BI软件应该要支持连接多种数据源，能够对数据进行ETL操作。常见的数据集成工具如下：

数据可视化

数据可视化其实就是借助于图形化手段，清晰有效地传达与沟通信息的过程。BI软件一般内置多种可视化元素和统计图，通过设计与搭配，可衍生出成千上万种可视化效果。数据可视化可以：

• 帮助企业快速消化信息
• 了解公司业务和运营情况
• 预测未来发展趋势
• 在竞争市场中获得优势

一些常见图标在Hk-Domo上都可以实现，如箱线图、子弹图、类别散点图、填充仪表、折叠漏斗图、常规漏斗图、雷达图、词云、热图和堆积面积图，除此之外还有很多种图表，大家也可以到Hk-Domo上进行尝试。

在构建仪表板时，可以借助已有的模板框架，进行快速构建，也可以按照自己的想法，进行个性化设计。仪表板中的布局，可以自由调整，可以嵌入图表、网页、图片、智能文本等多样丰富的内容。

数据分析

数据分析就是利用数据来理性思考和决策的过程。数据分析可帮助公司更清晰和更深入地了解流程和服务，为公司提供有关客户体验和客户问题的详细见解。常见的数据分析方法有：描述统计、假设检验、信度分析、回归分析、聚类分析、判别分析、主成分分析、时间序列分析等。像Hk-Omniscope中还提供了情绪分析、篮子分析、AB test、主题建模、文本分析等高级分析方法。下图中左边是Hk-Domo可视化图表进行数据分析的操作界面，右边是Hk-Omniscope的界面。

移动端应用

智能手机是人们日常生活中离不开的东西，因此实现BI的移动端应用是很有必要的。通过移动端实现数据的采集与分析应用，用户可以选择移动端APP来对数据进行浏览和分析，实现移动采集、分析、审批一站式办公，满足用户各种移动分析场景。这在很大程度上简化了用户的办公，也使用户体验感更加。Hk-Domo和Hk-Omniscope都实现了移动端应用。用户可以在移动端进行个性化设置，以使得各功能模块更符合自己的喜好。对于仪表板查看功能，Hk-Domo和Hk-Omniscope都兼容了移动端，用户不必担心在不同设备上显示存在问题。

共享与协作

在一个项目中，往往是需要多方合作的，在数据方面也不例外。Hk-Domo，它有一个类似于微信的Buzz功能，能够在上面与同事聊天、共享资料、数据集、仪表板等等，进而进行协作，简化工具切换过程。在Buzz上，还可以浏览同事的信息，近期相关的热点，及时了解同事动态。
Hk-Omniscope同样可以通过分享链接的方式和其它成员进行共享协作。其设置了四个访问级别，私有访问类似于仅自己可见，报告只能在工作流程中访问。而公开访问就像所有人可见，任何拥有报告链接的用户都可以进行访问。另外两个访问级别分别是通过服务器文件夹权限和设置自定义身份验证进行访问限制，更加的灵活，可以针对特定人员进行开放。共享与协作的功能在未来相信会越来越普遍。

异常管理

由于数据是在不断变化的，因此如果能够及时的发现异常情况，然后采取对应操作，可以帮助企业减少很多麻烦和损失。以Hk-Domo为例，其可以对数据集和卡片上的数据设定指标，当值超过了用户设置的范围，那么就会向用户发送消息，引起用户对该异常的关注。消息发送方式可以是通过短信、邮件、电话等等，用户可以自定义设置。如上图所示，是Hk-Domo警报中心的一个管理界面。

云

在过去，由于业务系统的本地化，大部分的数据还有BI应用等都只能基于本地部署。。但是随着不断的发展，本地部署不太能够满足需求了，云开始衍生并推广，现在很多企业的数据都在云端，BI也可以实现在线的应用并连接到云端数据。HK-Domo和HK-Omniscope也可以实现链接到云数据库，如HK-Domo和HK-Omniscope都可以通过MariaDB连接到阿里云的PolarDB数据库。

三、案例分享

1.HK-Omniscope—新冠病毒传播过程模拟演示

案例阅读链接：【数据可视化】新冠病毒可视化传播过程演示

2.HK-Domo帮助艾默生完成实时供应链管理

案例阅读链接：艾默生通过Domo为易变质产品的供应链提供保障

推荐阅读：
《【直播精彩回顾】数据改变社会，BI助力发展！》
《【直播回放】高性能计算：让数据拥有无限可能！》

若需获取完整回放视频、直播课件、直播Q&A、产品目录等资料，欢迎私信虹科云科技~