Spark学习之路 (二十)SparkSQL的元数据

Posted liuys635

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark学习之路 (二十)SparkSQL的元数据相关的知识,希望对你有一定的参考价值。

讨论QQ:1586558083

 

正文

一、概述

SparkSQL 的元数据的状态有两种:

1、in_memory,用完了元数据也就丢了

2、hive , 通过hive去保存的,也就是说,hive的元数据存在哪儿,它的元数据也就存在哪儿。

   换句话说,SparkSQL的数据仓库在建立在Hive之上实现的。我们要用SparkSQL去构建数据仓库的时候,必须依赖于Hive。

二、Spark-SQL脚本

如果用户直接运行bin/spark-sql命令。会导致我们的元数据有两种状态:

1、in-memory状态:

  如果SPARK-HOME/conf目录下没有放置hive-site.xml文件,元数据的状态就是in-memory

2、hive状态:

 如果我们在SPARK-HOME/conf目录下放置了,hive-site.xml文件,那么默认情况下

 spark-sql的元数据的状态就是hive.

 

以上是关于Spark学习之路 (二十)SparkSQL的元数据的主要内容,如果未能解决你的问题,请参考以下文章

Spark学习之路 (二十三)SparkStreaming的官方文档

Spark学习之路 (二十三)SparkStreaming的官方文档[转]

Spark学习之路 (十八)SparkSQL简单使用[转]

Hive,Hive on Spark和SparkSQL区别

Spark学习之路 (十八)SparkSQL简单使用

Spark学习之路 (十九)SparkSQL的自定义函数UDF