5.数据中台 --- 数据汇聚联通：打破企业数据孤岛

Posted 2022-04-16 enlyhua

第5章　数据汇聚联通：打破企业数据孤岛
	要构建企业级的数据中台，第一步就是要让企业内部各个业务系统的数据实现互联互通，从物理上打破数据孤岛，这主要通过数据汇聚和交换的能力
来实现。在面向具体场景时，可以根据数据类型将汇聚对象分为结构化和非结构化、大文件和小文件、离线与在线等几种。

5.1　数据采集、汇聚的方法和工具
	1.线上采集行为
		线上采集的主要载体可以分为传统互联网和移动互联网两种，对应的形态有PC系统、PC网页、H5、小程序、App、智能可穿戴设备等。在技术
	上，数据采集主要有客户端SDK埋点和服务端SDK埋点等方式。	
		1.客户端埋点
			a)全埋点
				将终端设备上用户的所有操作和内容都记录并保存下来，只需要对内嵌的SDK做一些初始化配置就可以实现收集全部行为的目的。
			这也经常被称为无痕埋点、无埋点。

			b)可视化埋点
				将终端设备上用户的一部分操作，通过服务端配置的方式有选择性的记录并保存。

			c)代码埋点
				根据需求来定制每次的收集内容，需要对相应的终端进行升级。

		2.服务端埋点
			通过在系统服务器端部署相应的数据采集模块，将这部分数据作为行为数据进行处理和分析。常见的形态有HTTP服务器的access_log。

	2.线下采集行为
		线下行为数据主要通过一些硬件采集，如常见的Wi-Fi探针、摄像头、传感器等。通过Wi-Fi信号采集周边移动设备是之前比较常用的方式，
	其主要原理是通过信号探测的协议，当热点附近的移动设备在探测SSID时，会建立网络连接，从网络协议中获取手机的网络设备号。

	3.互联网数据采集
		网络爬虫常用来做网站的自动化测试和行为模拟。

	4.内部数据汇聚
		从数据组织形式来分，数据主要分成三类：
			1.结构化数据
				能通过二维逻辑来表现的数据，如数据库、excel等二维表。
			2.半结构化数据
				数据规则完整，同样严格遵循数据格式与长度规范&