Mysql和Hadoop+Hive有什么关系?

Posted Didi_Liu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Mysql和Hadoop+Hive有什么关系?相关的知识,希望对你有一定的参考价值。

1.Hive不存储数据,Hive需要分析计算的数据,以及计算结果后的数据实际存储在分布式系统上,如HDFS上。

2.Hive某种程度来说也不进行数据计算,只是个解释器,只是将用户需要对数据处理的逻辑,通过SQL编程提交后解释成MapReduce程序,然后将这个MR程序提交给Yarn进行调度执行。所以实际进行分布式运算的是MapReduce程序

3.因为Hive为了能操作HDFS上的数据集,那么他需要知道数据的切分格式,如行列分隔符,存储类型,是否压缩,数据的存储地址等信息。为了方便以后操作所以他需要将这些信息通过一张表存储起来,然后将这张表(元数据)存储到mysql中。为了啥存储到mysql里(实际是远程mysql),因为hive本身就是一个解释器,所以他不存储数据 。

资料连接:https://blog.csdn.net/qq_26442553/article/details/80206562 

以上是关于Mysql和Hadoop+Hive有什么关系?的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop,Hive,Spark 之间是啥关系

为啥hive与mysql整合

Sqoop从本地MySQL导入到Hive为啥要求Sqoop一定要在HDFS中

spark SQL和hive到底啥关系

Sqoop的安装和使用

让你快速了解MySQL,hive和hbase