了解大数据的特点来源与数据呈现方式

Posted 2021-02-10 天安永龙

一.分析所采用数据的来源有哪些？

1.国家相关部门统计信息主要包括央行、银监会、证监会、国家统计局、政府网、互联网络信息中心发布的数据统计信息（如通过统计局发布的数据得知春运的客流人数）

2.第三方机构统计数据，主要包括天猫大数据、搜数网、统计网、数据堂、淘宝指数、百度指数、艾瑞咨询、知网数据、万方数据等第三方机构发布的数据统计信息或研究报告。（如春节大数据:消费首破万亿 最佳伴手礼竟是教辅书?中的数据获取）

二.大数据的呈现方式有哪些？

1.面积&尺寸可视化对同一类图形(例如柱状、圆环和蜘蛛图等)的长度、高度或面积加以区别，来清晰的表达不同指标对应的指标值之间的对比。

如春节人口迁徙大数据报告！中

 

 

2.

地域空间可视化当指标数据要表达的主题跟地域有关联时，我们一般会选择用地图为大背景。 这样用户可以直观的了解整体的数据情况，同时也可以根据地理位置快速的定位到某一地区来查看详细数据

如

3.颜色可视化

通过颜色的深浅来表达指标值的强弱和大小，是数据可视化设计的常用方法，用户一眼看上去便可整体的看出哪一部分指标的数据值更突出。

如

4.概念可视化通过将抽象的指标数据转换成我们熟悉的容易感知的数据时，用户便更容易理解图形要表达的意义。

 5.图形可视化在我们设计指标及数据时，使用有对应实际含义的图形来结合呈现，会使数据图表更加生动的被展现，更便于用户理解图表要表达的主题。

三.大数据的特点是什么？对思维方式有何影响?

1.大量化

大数据的特征首先就体现为“大”，从先Map3时代，一个小小的MB级别的Map3就可以满足很多人的需求，然而随着时间的推移，存储单位从过去的GB到TB，乃至现在的PB、EB级别。随着信息技术的高速发展，数据开始爆发性增长。社交网络（微博、推特、脸书）、移动网络、各种智能工具，服务工具等，都成为数据的来源。淘宝网近4亿的会员每天产生的商品交易数据约20TB；脸书约10亿的用户每天产生的日志数据超过300TB。迫切需要智能的算法、强大的数据处理平台和新的数据处理技术，来统计、分析、预测和实时处理如此大规模的数据。

2.快速化

广泛的数据来源，决定了大数据形式的多样性。任何形式的数据都可以产生作用，目前应用最广泛的就是推荐系统，如淘宝，网易云音乐、今日头条等，这些平台都会通过对用户的日志数据进行分析，从而进一步推荐用户喜欢的东西。日志数据是结构化明显的数据，还有一些数据结构化不明显，例如图片、音频、视频等，这些数据因果关系弱，就需要人工对其进行标注。

3.多样化

大数据的产生非常迅速，主要通过互联网传输。生活中每个人都离不开互联网，也就是说每天个人每天都在向大数据提供大量的资料。并且这些数据是需要及时处理的，因为花费大量资本去存储作用较小的历史数据是非常不划算的，对于一个平台而言，也许保存的数据只有过去几天或者一个月之内，再远的数据就要及时清理，不然代价太大。基于这种情况，大数据对处理速度有非常严格的要求，服务器中大量的资源都用于处理和计算数据，很多平台都需要做到实时分析。数据无时无刻不在产生，谁的速度更快，谁就有优势。

4.价值化

 

这也是大数据的核心特征。现实世界所产生的数据中，有价值的数据所占比例很小。相比于传统的小数据，大数据最大的价值在于通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，发现新规律和新知识，并运用于农业、金融、医疗等各个领域，从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。

 

思维方式的变化

《大数据时代》作者舍恩伯格认为，大数据时代，人们的思维方式会发生如下三个变化：第一，人们处理的数据从样本数据变成全部数据；第二，由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求；第三，人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相关关系。

这样我想起同样出自舍恩伯格的理论：“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户”。就像流浪地球中MOSS所说

让人类永远保持理智，确实是一种奢求

星巴克的选址是基于大数据分析而形成的一套独特的选址系统而决定的，效用相当明显。但是很多伴随着星巴克的店，该旺还是旺，该倒还是倒。在西方混沌学看来经济系统由千百万计的个体和组织（大数据）的相互作用所决定，而每一个个体和组织又涉及到数以千计的商品和数以万计的生产过程，因此，个体行为并非是一种孤立的存在，仅仅完备地认识个体的行为并不能使我们掌握整个经济系统的演化状态。

当然，这并不代表我们排斥大数据的重要价值，以及它的模型化运用，但是我们要充分重视商业世界的复杂性和随机性，破除单靠大数据得天下的迷思，也就是避免线性、简单、物理的纯计算机式思维方式，重视不可计量的、感性的、本质的、价值判断的人脑思维方式，并在这二者间寻找到较佳的融合方式。

  简单的输入输出编程练习

 源代码如下

a = input(\'请输入一个名字：\')
b = input(\'请输入另一个名字：\')
c = input(\'再输入一个名字：\')

print(\'拿激光笔射{}的凶手找到了，微博名是{}，本名{}\'.format(a,b,c))

 输出结果如下：