Mysql和Hadoop+Hive有什么关系?
Posted Didi_Liu
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Mysql和Hadoop+Hive有什么关系?相关的知识,希望对你有一定的参考价值。
1.Hive不存储数据,Hive需要分析计算的数据,以及计算结果后的数据实际存储在分布式系统上,如HDFS上。
2.Hive某种程度来说也不进行数据计算,只是个解释器,只是将用户需要对数据处理的逻辑,通过SQL编程提交后解释成MapReduce程序,然后将这个MR程序提交给Yarn进行调度执行。所以实际进行分布式运算的是MapReduce程序
3.因为Hive为了能操作HDFS上的数据集,那么他需要知道数据的切分格式,如行列分隔符,存储类型,是否压缩,数据的存储地址等信息。为了方便以后操作所以他需要将这些信息通过一张表存储起来,然后将这张表(元数据)存储到mysql中。为了啥存储到mysql里(实际是远程mysql),因为hive本身就是一个解释器,所以他不存储数据 。
资料连接:https://blog.csdn.net/qq_26442553/article/details/80206562
以上是关于Mysql和Hadoop+Hive有什么关系?的主要内容,如果未能解决你的问题,请参考以下文章