一文教你学会Hive视图和索引

Posted 2023-03-21

参考技术A

         我们在写HQL有没有遇到过数据量特别大的时候比如，使用HQL 处理起来非常复杂，非常慢，这时候我们可以使用Hive给加个索引来提高我们的速度。多了就不说了，我们直接开始。

         Hive 中的视图和 RDBMS 中视图的概念一致，都是一组数据的逻辑表示，本质上就是一条 SELECT 语句的结果集。视图是纯粹的逻辑对象，没有关联的存储 (Hive 3.0.0 引入的物化视图除外)，当查询引用 视图 时，Hive 可以将视图的定义与查询结合起来，例如将查询中的 过滤器推送到视图 中。

创建视图注意事项

准备数据

创建一个测试视图

语法：

示例 ：

通过 desc formatted default.user_view; 详情信息

         Hive 在 0.7.0 引入了索引的功能，索引的 设计目标是提高表某些列的查询速度 。如果没有索引，带有谓词的查询（如\'WHERE table1.column = 10\'）会加载 整个表或分区并处理所有行 。但是如果 column 存在索引，则只 需要加载和处理文件的一部分 。

我们在使用之前上面创建好的 user 表对 id 字段创建名字为 user_index ,索引存储在 user_index_table 索引表中

此时索引表中是没有数据的，需要重建索引才会有索引的数据。

         Hive 会启动 MapReduce 作业去建立索引，建立好后查看索引表数据如下。三个表字段分别代表： 索引列的值 、 该值对应的 HDFS 文件路径 、 该值在文件中的偏移量 。

         默认情况下，虽然建立了索引，但是 Hive 在查询时候是不会 自动去使用索引 的，需要 开启相关配置 。开启配置后，涉及到索引列的查询就会使用索引功能去 优化查询 。

删除索引会删除对应的索引表。

如果存在索引的表被删除了，其对应的索引和索引表都会被删除。如果被索引表的某个分区被删除了，那么分区对应的分区索引也会被删除。

          在 指定列 上建立索引，会产生一张索引表( Hive的一张物理表 )，里面字段包括： 索引列的值 、 该值对应的 HDFS 文件路径 、 该值在文件中的偏移量 。         

       在执行索引字段查询时候，首先额外生成一个 MapReduce job ，根据对索引列的过滤条件，从索引表中过滤出索引列的值对应的 hdfs文件路径及偏移量 ， 输出到hdfs上的一个文件中，然后根据这些文件中的hdfs路径和偏移量 ，筛选原始 input文件 ，生成 新的split ,作为整个job的split,这样就达到不用全表扫描的目的。

         今天给大家分享了Hive中常用的视图和说索引，索引虽然能帮助我们提高查询效率和分组效率但它也有缺点的，创建好索引是无法自动 rebuild 也就意味着修改数据和添加数据都需要手动执行 rebuild 。如果频繁修改的数据就不建议使用 索引 了。信自己，努力和汗水总会能得到回报的。我是大数据老哥，我们下期见~~~