大数据知识学习及云计算

Posted 2020-11-07 antball

https://www.cnblogs.com/xing901022/p/6195422.html

介绍知识点

大数据技术原理与应用视频

https://blog.csdn.net/CSDN_fzs/article/details/78984845

http://dblab.xmu.edu.cn/blog/285/

handoop

包括开源项目：

• common

• hdfs 分布式文件系统

• hbase 分布式nosql数据库 随机读写、列数据 实时

• hive、 pig(轻量流数据) 数据仓库(创建一系列mapreduce作业，支持sql,olap联机分析)多维数据分析 impala

• mapreduce 磁盘离线批处理计算

• yarn 计算资源调度

• spart 内存实时计算

• oozie 作业流调度 工作流管理

• zookeeper 分布式协调服务

• flume 日志收集

• sqoop 数据导入导出 传统数据库数据传递 导入到hdfs hbase hive等

• ambari handoop 快速部署工具

计算类型：

• 批处理计算 代表：mapreduce
• 实时计算 代表：spark -- 高效迭代计算
• 图计算
• 交互式查询分析计算

云计算

分布式存储及计算
虚拟化及多租户

• Iaas 底层基础设施即服务
• Paas 平台即服务
• Saas 软件即服务