大数据实训
Posted 凯西来啦
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据实训相关的知识，希望对你有一定的参考价值。
Frist day
工具
vmware15
Linux centos7.5
Hadhoop3.2.1
Hive3.1.2
SpringBoot
Echart
zk3.4.5
架构
- 编码[内存]
- 磁盘（textfile xml json）
- RDBMS(mysql oracle)
- 分布式、集群 （nosql）
- Hadhoop
数仓架构
离线:批计算——攒了一批数据、计算一次
- 数据来源
（1）业务数据【RDBMS】
（2）行为数据【行为日志】
（3）爬虫数据【api】
（4）第三方交易【api】 - 数据采集
（1）mr
（2）spark
（3）flink
3.数仓搭建
（1）Hive
4.业务流程
实时:流计算——来一次计算一次
1.数据来源
（1）业务数据【RDBMS】
（2）行为数据【行为日志】
（3）爬虫数据【api】
（4）第三方交易【api】
2.缓冲
（1）kafla
3.存储
（1）redis
（2）hbase
（3）sprakstreaming
（4）flink
（5）blink
4.分析
（1）olap分析引擎
（2）kylin
（3）clickhouse
5.展示
Springboot
Echarts
Linux-简单使用部署
以上是关于大数据实训的主要内容，如果未能解决你的问题，请参考以下文章
大数据实时数据同步超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(下)
大数据实时数据同步超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)