物联网将对大数据分析产生哪些影响？

Posted 2020-10-04

数据一直在业务中发挥关键作用，但大数据分析的兴起，大量存储的信息可以在计算上挖掘出来，揭示有价值的见解、模式和趋势，使其在现代商业领域几乎不可或缺。收集和分析这些数据并将其转化为可行的结果的能力是成功的关键。

随着物联网的发展，这一过程变得越来越复杂，在日常生活中，从车辆到商店展示，到智能家居自动化技术，如恒温器和水位显示器，都能产生大量的数据。物联网带来了各种新的分析挑战，而更快适应这一新现实的企业将获得明显的优势。

改变基础设施的需求

物联网产生的数据面临的主要问题之一就是它的规模。英特尔公司估计，到2020年，多达2000亿台智能设备将在线运行，以及约54亿个具有物联网功能的B2B设备。这意味着任何寻求利用物联网数据的企业必须首先投资于处理数据量惊人所需的基础架构，其中大部分将是原始的和未标准化的。数据湖和分布式服务器集群可能成为存储此数据所必需的，控制数据流对于管理带宽和网络成本是必不可少的。

新的分析挑战

除了物联网产生的大量数据之外，数据本身也提出了一个问题。大多数传感器产生的数据是相对嘈杂和非标准化的，大部分数据是实时数据流的形式。这些事实需要一种新的分析方法，软件堆栈能够快速分类，处理和分析大量的数据。在数据被正确处理之后，下一个挑战是挖掘这些不同的信息源以产生可操作的数据。

技能分析师日益增长的需求

随着更复杂分析的需要，需要更多和更熟练的数据分析师。从物联网数据流中吸取有用的见解需要高超的技能，不仅要管理数据本身，还要确定最有效的焦点区域。大数据框架(如Hadoop和Spark)以及R数据编程语言的专长正在迅速成为管理物联网生成数据的关键，业务分析越来越依赖于复杂的技能集，其中包括机器学习，复杂算法，深度学习，复杂事件处理等。

从数量提取质量

调查显示，96%的企业遇到通过其接收的数据量进行过滤的问题，而这个问题只会因为大量新数据的涌入而加剧。大数据本身没有什么用途。其它真正的价值在于从这个数量中提取质量并产生有意义的见解。消除噪音的一个重要方法是使用过滤器来消除多余的数据。物联网数据通常是高度粒度的，大多数企业不需要这样的详细信息。使用算法驱动的过滤器将这些数据压缩成更实际的时间间隔中，显着地减少了要分析的数据量，而不会影响其质量，从而使其更有价值。此外，由于物联网传感器已经广泛存在，而且很快就会普及，将有用的数据源从那些不需要的地方进行排序将是最重要的。

新的安全范式

由于物联网由广泛的设备，通信协议和数据类型组成，为了保护其产生的数据，这要求企业必须准备迎接新挑战。许多数据安全专业人员在处理物联网数据方面根本没有太多经验，而且新的来源和技术却快速到来，随着安全威胁的增加，需要企业提高警觉性和灵活性。妥善保护物联网数据将需要所有新的安全措施和协议专门设计来满足这一新的现实。

物联网已经经历了快速增长，似乎有望成为业务分析未来的浪潮，但它仍然是一个新兴的技术。它产生的大量数据将只会增长，并变得更加复杂，现在投资于基础设施和需要处理的技术人员将在未来得到回报。负担得起的，可扩展的，持久的存储将是至关重要的，数据分析师也将具备适应大数据快速变化现实的技能和经验。未来即将到来，必须进行适当的规划和准备。

来源：CIO时代网