浅议如何选择适合的大数据分析工具

Posted 2021-04-27 大数据与微服务

1

大数据分析的主要数据类型

大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。大数据(Big Data)或称海量数据，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到采集、管理、处理、并整理成为帮助企业经营决策更积极目的的数据。大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。因此在进行大数据分析时要明白分析什么数据，大数据要分析的数据类型主要有四大类：

交易数据

大数据平台能够获取时间跨度更大、更海量的结构化交易数据，这样就可以对更广泛的交易数据类型进行分析，不仅仅包括POS或电子商务购物数据，还包括行为交易数据，例如Web服务器记录的互联网点击流数据日志。

人为数据（行为数据）

非结构数据广泛存在于电子邮件、文档、图片、音频、视频，以及通过博客、维基，尤其是社交媒体产生的数据流。这些数据为使用文本分析功能进行分析提供了丰富的数据源泉。

移动数据

能够上网的智能手机和平板越来越普遍。这些移动设备上的App都能够追踪和沟通无数事件，从App内的交易数据(如搜索产品的记录事件)到个人信息资料或状态报告事件(如地点变更即报告一个新的地理编码)。

IoT数据

这包括功能设备创建或生成的数据，例如智能电表、智能温度控制器、工厂机器和连接互联网的家用电器。这些设备可以配置为与互联网络中的其他节点通信，还可以自动向中央服务器传输数据，这样就可以对数据进行分析。机器和传感器数据是来自新兴的物联网(IoT)所产生的主要例子。来自物联网的数据可以用于构建分析模型，连续监测预测性行为(如当传感器值表示有问题时进行识别)，提供规定的指令(如警示技术人员在真正出问题之前检查设备)。

2

对于大数据分析工具的要求

通过上述介绍，我们理清了需要进行分析的大数据类型，为此我们需要选择一些数据分析工具进行分析，根据企业业务场景，我们如何选用数据分析工具才能符合企业大数据分析的要求，数据分析工具达到哪些要求和目的?

• 能应用高级的分析算法和模型提供分析

• 以大数据平台为引擎，比如Hadoop或其他高性能分析系统

• 能够适用于多种数据源的结构化和非结构化数据

• 随着用于分析模型的数据的增加，能够实现扩展

• 集成分析模型的数据可视化工具

• 能够和其他应用技术进行集成

除上述基本要求之外，数据分析工具还必须包含必备的一些功能，包括集成算法和支持数据挖掘技术，包括(但不限于)：

1. 集群和细分：

把一个大的实体分割拥有共同特征的小团体。比如分析收集来的客户，确定更细分的目标市场。

2. 分类

把数据组织进预定类别。比如根据细分模型决定客户改如何进行分类。

3. 恢复

用于恢复从属变量和一个及一个以上独立变量之间的关系，帮助决定从属变量如何根据独立变量的变化而变化。比如使用地理数据、净收入、夏日平均温度和占地面积预测财产的未来走向。

4. 联合和项目集挖掘

在大数据集中寻找变量之间的相关关系。比如它可以帮助呼叫中心代表提供基于呼叫者客户细分、关系和投诉类型的更精准的信息。

5. 相似性和联系

用于非直接的集群算法。相似性积分算法可用于决定备用集群中实体的相似性。

6. 神经网络

用于机器学习的非直接分析。

3

通过数据分析工具了解不同角色用户的需求

1. 从数据科学家们的角度上看，他们想使用更复杂的数据类型实现更复杂的分析，熟知如何设计，如何应用基础模型来评估内在倾向性或偏差。

2. 从业务分析师的角度上看，他们更像是随性的用户，想要用数据来实现主动数据发现，或者实现现有信息和部分预测分析的可视化。

3. 从企业管理者角度上看，他们想要了解数据模型和结论，通过数据分析能够为企业带来什么样的价值体现。

4. 从IT开发人员角度上看，他们为以上所有的用户角色提供具体可以落地实施的方案，并通过编码实现相应的数据模型，向各个角色提供数据可视化应用实现，并提供技术支持。

4

如何选择最适合的大数据分析软件

• 分析师的专业知识和技能

数据分析工具的目标受众根据不同级别的用户有不同的工具集，针对初级数据分析师来说，常用的数据分析工具有Excel、SPSS、SAS、PowerBI等，针对中级数据分析师来说，常用的数据分析工具有Matlab、Weka、Tableau、Gephi等，针对专业数据分析师，常用的数据分析工具有基于分析式计算框架Hadoop、Spark、Storm等通过一定的代码实现或者通过自然语言处理（NLP）实现的数据分析。

• 分析多样性

根据不同的用户案例和应用，企业用户可能需要支持不同类型的分析功能，使用特定类型的建模(例如回归、聚类、分割、行为建模和决策树)。这些功能已经能够广泛支持高水平、不同形式的分析建模，但是还是有一些厂商投入数十年的精力，调整不同版本的算法，增加更加高级的功能。理解哪些模型与企业面临的问题最相关，根据产品如何最好地满足用户的业务需求进行产品评估，这些都非常重要。

• 数据范围分析

要分析的数据范围涉及很多方面，如结构化和非结构化信息，传统的本地数据库和数据仓库、基于云端的数据源，大数据平台(如Hadoop)上的数据管理等。但是，不同产品对非传统数据湖(在Hadoop内或其他用于提供横向扩展的NoSQL数据管理系统内)上的数据管理提供的支持程度不一。如何选择产品，企业必须考虑获取和处理数据量及数据种类的特定需求。

• 团队协作

企业规模越大，越有可能需要跨部门、在诸多分析师之间分享分析、模型和应用。企业如果有很多分析师分布在各部门，对结果如何进行解释和分析，可能会需要增加更多的共享模型和协作的方法。

• 许可证书和维护预算

几乎所有厂商的产品都分不同的版本，购买费用和整个运营成本各不相同。许可证书费用与特性、功能、对分析数据的量或者产品可使用的节点数的限制成正比。

• 易用性

没有统计背景的商业分析师或数据分析师是否也能够通过数据分析工具轻松地开发分析和应用呢?确定产品是否提供了方便开发和分析的可视化方法。

• 非结构化数据使用率

确认产品能够使用不同类型的非结构化数据(文档、电子邮件、图像、视频、演示文稿、社交媒体渠道信息等)，并且能够解析和利用收到的信息。

• 可扩展性和可伸缩性

随着数据量的不断增长和数据管理平台的不断扩展，要评估不同的分析产品如何跟随处理与存储容量的增长而增长。