大数据知识点记录

Posted 2023-03-31 Jack_2085

1、工具：

      大数据知识点记录_江湖行骗老中医的博客-CSDN博客HUE相当于Navicat的一个工具kudu（数据库）------> impalaHbase（数据库）------> HiveAzkaban 调度 ------> jobsqoop : import export -- >mysql我们公司的大数据平台：数据通过魔瞳采集数据，从oracle导入到大数据平台，直接进入kudu里面，然后可以通过impala去查询...https://blog.csdn.net/liming1016/article/details/107105700

HUE相当于Navicat的一个工具

kudu（数据库）------> impala

Hbase（数据库）------> Hive

Azkaban 调度 ------> job

sqoop : import   export -- >mysql

我们公司的大数据平台：数据通过魔瞳采集数据，从oracle导入到大数据平台，直接进入kudu里面，然后可以通过impala去查询
 

2、HiveQL学习笔记（对比MYSQL）

HiveQL学习笔记（对比MYSQL） - 知乎

3、大数据Hue介绍和使用

  小白篇(九)：大数据Hue介绍和使用_belialxing的博客-CSDN博客我的原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247484076&idx=1&sn=99a18b1c04aca4b4388a6ca0e2a5b157&chksm=97ae9b8aa0d9129c555cd804138d8745782c53fe25c1fd7bb20715c7d54db95d956befee49d5&token=1189979899&lang=zh_CN#rd.https://blog.csdn.net/belialxing/article/details/109556824

4、大数据分析工程师入门11-Hue&Zeppelin

     大数据分析工程师入门11-Hue&Zeppelin-大数据分析工程师前景日常数据分析工作中，很多时候都在处理临时性的需求，这种需求要求快速响应和很快得出结果，如果每一个需求都需要写在代码文件中，然后编译打包上传再执行，就会非常浪费时间，尤其是写出来的查询语句频繁出错，需要不断改正再重复打包上传的时候。https://www.51cto.com/article/649033.html

5、HUE安装与使用

  HUE安装与使用https://www.shuzhiduo.com/A/l1dyXVMA5e/

6、

7、

8、

9、

10、

11、

12、

大数据知识点里面的 HBase 是啥意思？

HBase 是什么意思？

HBase是一个分布式的、面向列的开源数据库，基于Hadoop生态圈，在NoSQL蓬勃发展的今天被国内外众多公司选择，应用于现代互联网系统的不同业务。
HBase业务场景
1.标签数据的存储
标签数据是稀疏矩阵的代表，描述了实体的各类属性，主要应用于智能推荐、商务智能或营销引擎等领域。
2. 车联网数据的收集
车联网系统是利用车载设备收集车辆运行时产生的各项数据，通过网络实时上传，在平台进行动态分析和利用。
3. 交易记录的保存
在移动支付领域，保证历史交易记录等敏感信息的安全性是一个重要的话题。当数据中心遭遇自然灾害、外部攻击时，必须保证这些信息不丢，而且从业务角度要保证RTO尽可能短、RPO尽可能为0。
HBase基于底层的HDFS作为存储系统，HDFS实现了三副本策略，按照一定的规则将副本放在不同的节点或机架中，本身具有较高的容灾能力。在工程实践中，也产生了Region replica、主备集群、互备双活等策略来尽可能进行灾备并保证高可用。 参考技术A

HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。了解更多详情