解读｜机器数据来了 ，你准备好了没？

Posted 2021-02-10

当你早晨发现上班快要迟到，这时你迅速打开手机，用打车软件叫上一单，你的地理位置信息将会被自动获取，专车几分钟就会来到你的身边。

当你来到公司，掏出员工卡，通过门禁刷卡的方式，十分方便地完成了你的上班考勤。

当你在异地见一个很重要的客户，你发现客户跟你约定的会面场所，你并不清楚它的具体位置，这时你只需借助手机中的导航软件，几秒便可轻松、准确的在地图中找到会面的具体位置。

科技的飞速发展，为人们带来了无法想象的便利，互联网将万物巧妙的联系起来，现在更是衍生出了“物联网”的概念。

那么问题来了，在如此神奇的互联网中，各种终端产品是怎么巧妙的建立联系的呢，是在什么基础上进行通信的呢，这就引出了这次要讲的重点——机器数据。

我们大家都知道，当今现代化科技的高速发展，都是依赖于计算机编程，如果追溯到最根本的源头，都是可以抽象成二进制数据，那么也就是说，互联网万物互联的本质就是数据的交互，当今的世界，可以毫不犹豫的说：

我们将从以下三个方面为大家介绍机器数据

机器数据是什么？

机器数据应用有哪些？

机器数据的未来在哪儿？

机器数据是什么？

大数据中90%的数据都是机器数据。机器数据是由服务器、存储、互联网及物联网中的设备或程序生成的大量结构化、非结构化的数据。相比传统数据库数据，机器数据具有数据量大、增长速度快、复杂性高、种类多样化等特点，其中最重要的一点就是机器数据的价值密度非常低，想要在海量机器数据中挖掘有价值的数据，难度无异于沙中掘金。

据权威IT信息咨询分析公司IDC研究报告预测：全世界数据总量未来几年将从2010年的1.2ZB增长到2020年的40ZB(1ZB=1000EB=1000000PB)，10年将增长34倍，年均增长44%。

下面是几类关键的机器数据来源：

1、应用日志应用日志是应用系统产生的各类日志数据，主要包括操作日志、系统日志、安全审计日志及各类企业中间件产生的日志。

2、SCADASCADA(Supervisory Control And Data Acquisition)系统，即数据采集与监视控制系统。它应用领域很广，可以应用于电力、冶金、石油、化工、燃气、铁路等领域的数据采集与监视控制以及过程控制等诸多领域。SCADA系统会实时产生大量的观察信息、状态信息和故障报警等机器数据。

3、点击流点击流（click stream）是用户访问某一网站时的点击次序或请求页面。用户访问网站的点击会产生大量的日志记录数据，这也是一种非常重要的机器数据，对其分析和挖掘有利于分析用户的网站访问行为，一般用于用户画像和精准营销等场景。

4、GPSGPS是全球卫星定位系统，GPS的数据可以记录设备的精确位置，然后通过连续对全球定位系统事件的分析可以很容易地转换成位置和运动信息，例如在道路上的车辆，通过手机跟踪用户的位置。电信、交通、物流、通讯都在依靠GPS信息的准确性和精密性实现特殊价值

5、物联网物联网就是物物相连的互联网。这有两层意思：其一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；其二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，也就是物物相息。

物联网的最主要特征之一是节点的海量性，除了人和服务器之外，物品、设备、传感网等都是物联网的组成节点，其数量规模远大于互联网；同时，物联网节点的数据生成频率远高于互联网，如传感节点多数处于全时工作状态，数据流源源不断，这些自动生成的数据几乎全部都属于机器数据。

机器数据应用有哪些？

可以说在当今世界，机器数据无处不在，它就真实的在我们身边。下表是在不同行业使用机器数据的应用场景。

1、金融行业：交易欺诈交易欺诈一般是指第三方欺诈，即所发生的交易非持卡人本人意愿的交易。通常是不法分子利用各种渠道窃取信用卡信息，进行伪造卡作案。

交易反欺诈的一种通用做法是采集所有的交易数据，这些数据包括消费金额、消费时间、商户号（可计算地理位置），并结合一些其他来源的信息：已知的欺诈模式、已知的客户旅行计划等等，然后进行综合评分，根据分值判断一笔交易是欺诈交易的可能性。

从2011年8月起，Visa开始将各种大数据分析手段整合到公司的反欺诈检测流程中。截至2013年3月，Visa的反欺诈系统已经识别出价值20亿美元的欺诈交易。

2、电信行业：网络管理与优化在网络营层面，运营商可以通过机器数据分析网络的流量、流向变化趋势，及时调整资源配置，同时还可以分析网络日志，进行全网络优化，不断提升网络质量和网络利用率。

德国电信通过分析无线网络的流量、日志及速率等机器数据，能够做到动态优化无线网络资源的配置。如在白天给CBD地区多分配无线资源，在晚上，则给酒吧地区多分配无线资源，使得无线网络的运行效率和利用率更高。

法国电信通过分析发现某段网络上的掉线率过高，借助对网络日志、网络流量等机器数据的分析，诊断出通话中断的原因是网络负荷过重，并根据分析结果优化网络布局，为客户创造了优质的网络通话环境。

3、能源行业：智能电表北美公用事业公司的区域性智能电表项目，利用传感器可以轻松地采集和共享能耗数据，供用户进行分析。这些电表每隔10~60分钟就会采集一次住宅用户和商业客户的能耗数据，并在当天将这些信息传递给公用事业公司进行计费和分析。相比之下，传统电表和煤气表则迥然不同，它们每月甚至每季度才读取一次能耗数据，并且只根据消费总量进行评估，并不提供关于能源实际消耗时间的洞察分析。

有了智能电表，公用事业公司现在可以向用户提供差异化的计费方式，例如在低谷时段实行低电价，高峰时段实行高电价。针对这一计费方式，公共事业公司非常有效地降低了高峰时段的能耗。

机器数据的未来在哪儿？

据国外专家预测，机器数据分析市场将呈现五大趋势

(注：以下五大趋势预测来源于36大数据):

1、DevOps工具将日趋成熟没有人再怀疑云计算在企业市场将风卷残云般成为主流平台，大幅提高企业业务灵活性和竞争力。云计算的普及意味着越来越多的企业需要新的工具来打破开发团队和运维团队之间隔膜，让企业技术部门持续规模创新的速度能够跟上企业业务发展速度。越来越多的企业需要借助DevOps完成应用开发工作，而传统的监控工具显然无法胜任。

2016年，DevOps领域将出现新一代基于云计算的日志和机器数据分析服务，并进一步整合预测算法。DevOps工具（例如服务器容器和基础设施数据）之间也将能无缝集成，大幅改进持续集成和持续部署流程。

2、CISO首席信息安全官和安全运营团队将在系统智能上投入更多预算过去几年，企业已经认识到大数据在业务决策上的商业价值，如今随着机器学习等技术的成熟，在系统基础设施层面部署大数据分析对企业来说同样意义重大。

对于安全团队来说，机器数据分析将大大提高对系统和用户异常行为、威胁侦测的响应速度，不仅仅能大大缩短MTTI(平均介入时间)和MTTR(平均恢复时间)，而且将促使信息安全主管们重新思考企业的信息安全架构。

企业的信息安全主管们将加强与DevOps团队的协作，通过整合机器分析，在新的企业应用基础架构中嵌入安全功能。

3、日志管理将是IT运维和客户支持团队的重大机遇通过日志分析来监测、管理采集用户和应用信息以及基础架构日志将是应对云计算基础架构复杂性的完美方案。这个领域的供应商已经开始整合，新的厂商也不断涌入日志分析市场。越来越多的企业将重视日志分析在应用开发、信息安全和IT运维方面的重要价值，而日志分析也将成为“分析民主化”的排头兵。

4、“超级架构”的崛起今天的云计算架构可以通过虚拟服务器软件编织起数以千计的微处理器，这让摩尔定律失去了意义。因此，今天的创新型CTO们已经开始拜托传统数据中心的局限，大胆推动新的基于软件的“超级架构”，驾驭私有云和公有云中的庞大计算资源。

5、商业智能的价值从后知后觉转向实时分析从慢数据向实时的快数据的转型是机器分析引发的商业智能变革。通过实施日志数据分析，企业能更快地了解运营和顾客数据，从而实现24/7的持续创新和竞争力提升。