了解大数据的特点来源与数据呈现方式

Posted 2021-02-10 cjvil

1.浏览2019春节各种大数据分析报告，例如：

• 这世间，再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313993
• 春节人口迁徙大数据报告！http://www.sohu.com/a/293854116_679156
• 春节大数据:消费首破万亿 最佳伴手礼竟是教辅书?
• http://news.163.com/19/0211/19/E7OPDBBU0001899N.html
• 大数据中的春节http://www.xinhuanet.com/politics/2019-02/13/c_1124110671.htm
• 春节年味大数据都有啥 90后年味就是抢红包http://news.zol.com.cn/708/7087625.html
• 春节大数据出炉
• http://www.sohu.com/a/223982938_100012490
• 2019年微信春节大数据：收发红包人数超8亿
• http://www.hnbstx.com/zixun/caijingzawen/20190212/124158.html

2.分析所采用数据的来源有哪些？

　　大数据的数据有多种来源，包括公司或机构的内部来源和外部来源。数据来源可分为五大类。

      1) 交易数据 包括 POS 机数据、信用卡刷卡数据、电子商务数据等等。

      2) 移动通信数据。移动设备上的软件能够追踪和沟通无数事件，从运用软件储存的交易数据 (如搜索产品的记录事件) 到个人信息资料或状态报告事件 (如地点变更即报告一个新的地理编码) 等。

      3) 人为数据。人为数据包括电子邮件、文档、图片、音频、视频，以及通过微信、博客、推特、维基、脸书、Linkedin 等社交媒体产生的数据流。

      4) 机器和传感器数据。来自感应器、量表和其他设施的数据、定位/ GPS 系统数据等。这包括功能设备会创建或生成的数据。

      5) 互联网上的“开放数据”来源，如政府机构，非营利组织和企业免费提供的数据。

3.大数据的呈现方式有哪些？

　　通常用的数据结果的呈现方式有条状图、box框线图、饼状图和线状图等。

4.大数据的特点是什么？对思维方式有何影响?

　　(1)数据体量巨大：从TB级别，跃升到PB级别。

       (2)数据类型繁多：各种网络日志、视频、图片、地理位置信息等等。

       (3)价值密度低：以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

       (4)处理速度快：1秒定律，这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

 

5.准备python编程环境

下载安装

https://www.python.org/

https://www.jetbrains.com/pycharm/download/#section=windows 

基础学习

廖雪峰https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000  

菜鸟教程http://www.runoob.com/python3/python3-tutorial.html 

 

6.简单的输入输出编程练习