大数据相关介绍

Posted 2020-12-13 马踏飞燕Beautiful

gartner定义big data；
《大数据时代》；
大数据生态应用领域；
target一家企业
twitter
tesco
facebook
婚嫁后推荐（拍婚纱照的价位，品味推后续生活产品）
大数据应用技术

 

语义网（目的：让计算机读懂文档知识）

知识图谱（给AI装个大脑，基于图数据，是图存储，优势是更清晰） 打破元无知
自然语言处理

机器智能>gpu处理硬件处理（深度学习，频繁迭代运算）

历史和应用：
team 91年发明万维网（就是存储数据），之后，提出语义网
2012年谷歌发表一个知识图谱
facebook知识图谱
阿里知识图谱
亚马逊知识图谱

美团大脑
汽车之家
反欺诈应用
企业知识图谱（企查查，天眼）（）
问答系统应用

知识图谱采用三元组模式存储知识
知识图谱验证：不一致性认证

知识图谱的建立：
最耗时的是数据获取（爬虫、深度学习）、数据结构化、数据处理（融合、整理、处理矛盾、判断同义词近义词、全称简称编码、推理关联可需要人手动总结、数据更新知识更新）和存储
知识图谱的查询：（用特有语法查询类似sql）

 

深度学习（机器学习）：2010年复兴
资料：
吴文达deepleaning网站
callsearn
斯坦福公开课
应用：
识别图片猫狗
来源：
编程方法已经不能解决判断猫狗判断橘子甜不甜，所以，让机器复原人的辨别能力（复原人的成长过程），即让机器学会“经验思路，经验总结”即“已有数据总结规律，来进行未知数据预测”，所以，才有了机器学习。

机器学习有开源代码。
机器学习要求分布式计算，特征工程，调参，模型验证，误差分析，上线运行。

硬件发展促进深度学习和神经网络

gpu（图形处理器，计算单元很多，多人小学生干活）

cpu（像老教授，）

npu

tpu（张量处理器，定制化芯片）

神经处理器
深度学习（天生分布式计算，不需要大量的参数提取）
神经网络

 

DMP数据管理平台（用户画像）产品：

京东DMP

阿里DMP（达摩盘+阿里妈妈）

今日头条DMP（人群数据定向+人群洞察+投放（定向or排除））

 

以京东DMP为例：

DMP数据管理平台（用户画像）
功能：筛选数据，实现形成目标客户画像。
数据来源：广告主提供数据+第三方+京东自己的数据

9大行业垂直标签：游戏人群+母婴人群+
龙果学院（什么是画像？）
多端开发工具

ACP Agile Certified Practitioner