多大的数据才算“大数据”

Posted 2023-04-18

多大的数据才算“大数据”什么是大数据有一个故事，说的是一位顾客订购披萨时，披萨店可以立即调出这位顾客的许多信息，比如送披萨上门必有

什么是大数据？
列举三个常用的大数据定义:
(1)具有较强决策、洞察和流程优化能力的海量、高增长、多样化的信息资产需要新的处理模式。
——Gartner
(2)海量数据量、快速数据流和动态数据速度、多样的数据类型和巨大的数据价值。
—— IDC
(3)或者是海量数据、海量数据、大数据，是指所涉及的数据太大，无法在合理的时间内被截取、管理、处理、整理成人类可以解读的信息。
—— Wiki
大数据的其他定义也差不多，可以用几个关键词来定义大数据。
首先是“大尺度”，可以从两个维度来衡量，一是从时间序列中积累大量数据，二是对数据进行深度提炼。
其次，“多样化”可以是不同的数据格式，比如文字、图片、视频等。，可以是不同的数据类别，如人口数据、经济数据等。，也可以有不同的数据源，如互联网和传感器等。
第三，“动态”。数据是不断变化的，它可以随着时间迅速增加大量的数据，也可以是在空间不断移动变化的数据。
这三个关键词定义了大数据的形象。
但是，需要一个关键能力，就是“处理速度快”。如果有这样的大规模、多样化、动态的数据，但是需要很长时间的处理和分析，那就不叫大数据。从另一个角度来说，要实现这些数据的快速处理，肯定没有办法手工实现，所以需要借助机器来实现。 参考技术A 多大的数据才算“大数据”
什么是大数据有一个故事，说的是一位顾客订购披萨时，披萨店可以立即调出这位顾客的许多信息，比如送披萨上门必有的家庭、单位等地址和电话，顾客的消费习惯从而推荐适合他的披萨种类，顾客名下的银行卡透支情况从而确定他的支付方式，甚至顾客要自取披萨时，还能根据顾客名下车辆的停放位置预估他的到店时间等等。
从这个故事，我们可以看出大数据的一些关键特征，比如容量大、类型多、关联性强、有价值等等。“大数据是以高容量、多样性、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。”工信部信息化和软件服务业司副司长李冠宇接受经济日报·中国经济网记者采访时说。
仅仅规模大不是大数据
大数据，顾名思义，“大”该是应有之义。“大数据的定义最初与容量有关系。”李冠宇分析说，业界有几种对大数据的定义，其中一个共同点就是数据的容量超出了原有的存储、管理和处理能力。
正如中国电子信息产业发展研究院副院长樊会文接受记者采访时指出的，大数据概念产生就是因为数据量和数据类型急剧增加，以至于原有的数据存储、传输、处理以及管理技术不能胜任，需要全新的技术工具和手段。
信息技术日新月异，大数据的定义也在发生变化。工信部赛迪研究院软件所所长潘文说，数据即时处理的速度(Velocity)、数据格式的多样化(Variety)与数据量的规模(Volume)被称为大数据“3V”。但随着近几年数据的复杂程度越来越高，“3V”已不足以定义新时代的大数据，准确性(Veracity)、可视性(Visualization)、合法性(Validity)等特性又被加入大数据的新解，从“3V”变成了“6V”。
对于“多大容量的数据才算大数据”，潘文说，大数据的规模并没有具体的标准，仅仅规模大也不能算作大数据。规模大本身也要从两个维度来衡量，一是从时间序列累积大量的数据，二是在深度上更加细化的数据。
李冠宇说，比如一份现在看起来很小的数据，但是纵向积累久了也可以变成大数据，横向与其他数据关联起来也可能形成大数据。而一份很大的数据如果没有关联性、没有价值也不是大数据。
运满满研究院院长徐强认为，“大”是必要条件，但非充分条件。基于移动互联网用户规模红利，国内平台型企业比较容易获取大量数据，但数据不是越多越好，无用数据就像噪音，会给数据分析、清洗、脱敏和可视化带来负担。
这也正如阿里巴巴集团董事局主席马云在某次演讲中说的：“很多人以为大数据就是数据量很大，其实大数据的大是大计算的大，大计算+数据，称之为大数据。”
“水涨船高”的大数据
今年麦收时节，在雷沃重工的全国“三夏”跨区作业信息服务中心，显示屏的全国电子地图上有许多大小不一、颜色不同的圆圈，这是每个区域正在作业的收割机。智能化的收割机会自动获得许多数据，包括机器运行情况、收割量、小麦含水量等，数据传回后台汇总后，总体收割情况一目了然。
“大数据概念正是来自信息技术的飞速发展和应用，特别是随着云计算、物联网、移动互联网的应用，数据量迅猛增长。数据来源有两种，一种与人有关，比如政府、企业等为人们服务时产生的数据;另一种与物有关，在移动泛在、万物互联时代，物联网应用的浪潮将带动数据量爆发式增长。”李冠宇说。
这也就不难理解，为何当下数据产生的速度如此之快。正如樊会文所分析的，一方面，信息终端大面积普及，信息源大量增加;另一方面，基于云计算的互联网信息平台快速增长，数据向平台大规模集中。
大数据与云计算、物联网、人工智能等新一代信息技术之间相互影响、相互促进、相互融合。徐强说，运满满通过车联网设备和信息平台，每天获取3TB至4TB的数据，运用先进的大数据算法模型，实现了智能车货匹配、智能实时调度等。
樊会文认为，云计算是硬件资源的虚拟化，而大数据是海量数据的高效处理。简单来说，云计算是大数据的基础，有了云计算才能大量集中数据从而产生大数据。同时，大数据也支撑了云计算应用创新，带动云计算发展。
人工智能的核心在于大数据支撑。围棋人工智能程序“阿尔法狗”打败柯洁，离不开大数据的支持。“大数据技术能够通过数据采集、分析等方式，从海量数据中快速获得有价值的信息，为深度学习等人工智能算法提供坚实的素材基础。反过来，人工智能技术也促进了大数据技术的进步。两者相辅相成，任何一方技术的突破都会促进另外一方的发展。”潘文说。
核心价值在于应用
刚刚过去的“6·18”再次掀起网购热潮。网购消费者基本都被精准推送过广告信息，如曾浏览过电饭煲的消费者，很长一段时间内会在登录页面后看到各品牌电饭煲信息。
阿里、京东、360等互联网平台接触消费者众多，也因此获得了很多数据。但是正如精准推送一样，不对这些数据进行处理、挖掘就没法产生价值。比如雷沃收割机传回的数据进行汇总后还要分析处理，从而得出对收割作业乃至整个农业都有意义的结论才是这些数据的价值所在。
“大数据作为重要的基础性战略资源，核心价值在于应用，在于其赋值和赋能作用，在于对大量数据的分析和挖掘后所带来的决策支撑，能够为我们的生产生活、经营管理、社会治理、民生服务等各方面带来高效、便捷、精准的服务。”李冠宇强调。
我们正在步入万物互联时代。华为预测，到2025年，物联网设备的数量将接近1000亿个。工信部统计数据显示，目前我国网民数量超过7亿，移动电话用户规模已经突破13亿，均居世界第一。
“全球数据总量呈现指数级增长，企业级用户拥有的数据量在快速增加。互联网的社会化生产出巨量数据。”

tcp协议黏包问题的解决方式

# 出现黏包的场景
　　# 连续send两个小数据
　　# 两个recv，第一个recv特别小
# 本质上：你不知道到底要接受多大的数据

 

# 解决
# 首先：发送一下这个数据到底有多大
# 再按照数据的长度接收数据

#这种解决方式的好处：

　　#确定了我到底要接收多大的数据
　　#在文件中配置一个配置项：就是每一次recv的大小 buffer=4096
　　# 当我们要发送大数据的时候，要明确的告诉接收方要发送多大的数据，以便接收方能够
　　# 准确的接收到所有的数据
　　# 多在文件的传输过程中
　　# 大文件的传输一定是按照字节读，每一次读固定的字节
# 服务端：一边读，一边传 ---------------------- 接收端：一边收，一边写
# send这个大文件之前，40000个字节，send(4096) 40000-4096-4096... -->0以此类推，一点点传
# recv这个大文件之前，recv 40000字节，recv(4096) 40000-4096-4096 -->0以此类推，一点点接

#但是为了不让你发送的数据大小也遇到黏包问题，在此引入struct模块

#以shell命令为例

import struct
import socket
sk = socket.socket()
sk.bind((‘127.0.0.1‘,8080))
sk.listen(0)

conn,addr = sk.accept()
while True:
    cmd = input(‘>>>‘)
    if cmd == ‘q‘:
        conn.send(b‘q‘)
        break
    conn.send(cmd.encode(‘gbk‘))
    num = conn.recv(4)
    num = struct.unpack(‘i‘,num)[0]
    res = conn.recv(int(num)).decode(‘gbk‘)
    print(res)
conn.close()
sk.close()

server

import socket
import subprocess
import struct
sk = socket.socket()
sk.connect((‘127.0.0.1‘,8080))

while True:
    cmd = sk.recv(1024).decode(‘gbk‘)
    if cmd == ‘q‘:
        break
    res = subprocess.Popen(cmd,shell=True,
                           stdout=subprocess.PIPE,
                           stderr=subprocess.PIPE
                           )
    std_out = res.stdout.read()
    std_err = res.stderr.read()
    len_num = len(std_err)+len(std_out)
    num_by = struct.pack(‘i‘,len_num)
    sk.send(num_by)
    sk.send(std_out)
    sk.send(std_err)
sk.close()

client