Hive数据仓库应用课后题及答案

Posted 小博睡不醒

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hive数据仓库应用课后题及答案相关的知识，希望对你有一定的参考价值。

《Hive数据仓库应用》课后习题

 Hive简介

一、填空题

1．数据仓库的目的是构建面向分析的集成化数据环境。

2．Hive是基于Hadoop的一个数据仓库工具。

3．数据仓库分为3层，即源数据层、数据应用层和数据仓库层。

4．数据仓库层可以细分为中间层、明细层和业务层。

5．在数据仓库建设中，一般会围绕着星状模型和雪花状模型来设计数据模型。

二、判断题

1．数据仓库是以业务流程来划分应用程序和数据库。    （ × ）

2．数据仓库中的数据一般是很少更新的。          （ √ ）

3．数据仓库模型中星状模型和雪花状模型都属于维度建模。           （ √ ）

4．Hive可以将非结构化的数据文件映射为一张数据表。               （ × ）

5．从Hive 0.14开始支持事务。                          （ √ ）

三、选择题

1．下列选项中，属于数据仓库特点的是（C）。

A．面向对象的

B．时效的

C．数据集成的

D．面向数据的

2．下列选项中，不属于数据Hive架构组成部分的是？（D）

A．Compiler

B．Optimizer

C．Thrift Server  

D．HiveServer2

3．下列选项中，对于Hive工作原理说法错误的是（A）。

A．Driver向MetaStore获取需要的元数据信息

B．Driver向Compiler发送获取计划的请求

C．Driver向execution engine提交执行计划

D．execution engine负责与HDFS与MapReduce的通信

4．下列选项中，不属于Hive支持的集合数据类型是（C）。

A．ARRAY

B．MAP

C．LIST

D．STRUCT

四、简答题

1．简述数据仓库分层的源数据层、数据仓库层和数据应用层的执行流程。

答案：首先源数据层采集并存储的数据来源于不同的数据源，例如点击流数据、数据库数据及文档数据等；然后通过ETL将清洗和转换后的数据装载到数据仓库层；最终数据应用层根据实际业务需求获取数据仓库层的数据实现报表展示、数据分析或数据挖掘等操作。

Hive部署 

一、填空题

1．克隆虚拟机时，与原始虚拟机不共享任何资源的克隆方式是完整克隆。

2．网卡设置为静态路由协议后，需要添加参数DNS1、IPADDR、GATEWAY和NETMASK。

3．密钥文件id_rsa和 id_rsa.pub分别是私钥文件和公钥文件。

4．Centos7初始化系统环境的命令是_vi /etc/sysconfig/network-scripts/ifcfg-ens33。

5．规划Zookeeper集群中服务器数量的公式为2n+1。

二、判断题

1．Zookeeper集群可以存在多个Follower和Leader。    （ F ）

2．2888表示Leader选举过程中的投票通信端口。  （ F ）

3．Hadoop的高可用集群需要两个NameNode和两个ResourceManager。  （ T ）

4．在嵌入模式下运行Hive时，会在当前目录下生成元数据文件。       （ T ）

5．在启动HiveServer2服务的同时也会默认启动Metastore服务。      （ T ）

三、选择题

1．下列选项中，正确启动Zookeeper服务的命令是（C）。

A．start zkServer.sh

B．start zookeeper

C．zkServer.sh start

D．start zookeeper.sh

2．下列选项中，不属于Hadoop高可用集群进程的是？（D）

A．DFZKFailoverController

B．JournalNode

C．QuorumpeerMain

D．Master

3．下列选项中，关于部署Hive说法正确的是（B）。

A．本地模式部署的Hive不支持元数据共享

B．远程模式部署的Hive支持元数据共享

C．HiveServer2不支持多客户端连接

D．Hive客户端工具Beeline可以远程连接单独启动的Metastore服务

四、简答题

1．简述SSH服务的作用。

（1）可以通过远程连接工具连接虚拟机，便于虚拟机的操作。

（2）可以实现免密钥登录功能，避免集群各节点见频繁访问时需要输入密码，影响集群服务的连续运转。

五、操作题

1．通过修改主机名的命令将虚拟机Node_01的主机名修改为hello。

hostnamectl set-hostname hello

Hive的数据定义语言

一、填空题

1．操作Hive时，默认使用的数据库是default。

2．若需要同时删除数据库和数据库中的表，则需要在删除数据库的语句中添加CASCADE。

3．分区主要是将表的整体数据根据业务需求，划分成多个子目录来存储，每个子目录对应一个分区。

4．索引是一种以空间换取__时间___的方式。

5．临时表只对当前会话可见，数据被存储在用户的____临时_____目录，并在会话结束时  删除  。

二、判断题

1．当删除外部表时，外部表的元数据和数据文件会一同删除。  （ F ）

2．查看表结构信息语法中，DESCRIBE要比DESC查看的信息更加详细。  （ F ）

3．分区表中的分区字段名称不能与分区表的列名重名。          （ T ）

4．分桶表可以根据多列进行分桶。                              （ F ）

三、选择题

1．下列选项中，不属于Hive内置Serde的是（A）。

A．FIELD TERMINATED BY

B．COLLECTION ITEMS TERMINATED BY

C．MAP KYS TERMINATED BY

D．NULL DEFINED AS

2．下列选项中，下列关于Hive分桶表描述错误的是（C）。

A．创建分桶表是可以不指定排序列

B．分桶表不能与分区表同时使用

C．分桶个数决定分桶表的存储目录下生成小文件的数量

D．分桶表中指定分桶的列需要与排序的列保持一致

3．下列选项中，关于视图说法错误的是（B）。

A．视图是只读的

B．视图包含数据文件

C．创建视图时无法指定列的数据类型

D．视图是通过查询语句创建的

四、简答题

1．简述索引如何避免扫描全表数据。

在涉及到索引列的查询时，首先会去索引表中查找索引列的值在HDFS对应的数据文件路径以及索引列的值在数据文件中的偏移量，通过这两个值去扫描全表的部分数据，从而避免全表扫描。

五、操作题

1．在数据库hive_database中创建外部表external_test，关于外部表external_ test的结构要求如下：

（1）要求数据文件存储位置为/test/hive/external_ test

（2）外部表external_ test包含5列，这5列的数据类型分别是STRING、INT、FLOAT、ARRAY和MAP，并自定义列名。

（3）指定数据类型为ARRAY的列中元素的数据类型为STRING。

（4）指定数据类型为MAP的列中每个键值对KEY:VALUE的数据类型为STRING:INT。

答： 

CREATE  TABLE IF NOT EXISTS

hive_database.external_test(

col1 INT,

col2 STRING,

col3 FLOAT,

col4 ARRAY<STRING>,

col5 MAP<STRING, FLOAT>

)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ':'

COLLECTION ITEMS TERMINATED BY ','

MAP KEYS TERMINATED BY '-'

STORED AS textfile

LOCATION '/test/hive/external_test';

2.在数据库hive_database中创建与外部表external_test表结构一致的分区表partitioned_test，指定文件存储位置为/test/hive/partitioned_ test，在分区表中创建两个分区字段，自定义分区字段的名称和数据类型。

CREATE  TABLE IF NOT EXISTS

hive_database.partitioned_test(

col1 INT,

col2 STRING,

col3 FLOAT,

col4 ARRAY<STRING>,

col5 MAP<STRING, FLOAT>

)

PARTITIONED BY (

col6 STRING,

col7 STRING

)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ':'

COLLECTION ITEMS TERMINATED BY ','

MAP KEYS TERMINATED BY '-'

STORED AS textfile

LOCATION '/test/hive/partitioned_test';

 Hive的数据操作语言

一、填空题

1．加载文件是将文件中的结构化数据加载到指定的Hive数据表中。

2．在Hive中可以通过静态分区、动态分区和混合分区的方式向分区表中加载数据。

3．查询插入可分为单表插入、多表插入和本地插入。

4．IMPORT和EXPORT分别代表导入和导出。

5．在使用Hive动态分区前，需要修改Hive的配置参数hive.exec.dynamic.partition.mode为__nostrict_______。

二、判断题

1．Hive中加载文件只能加载HDFS文件系统中的文件。                    （ F ）

2．LOCATION子句可以将数据文件中的数据加载到数据表。                （ F ）

3．本地插入是将本地系统文件中的数据插入到数据表。                        （ F ）

4．多表插入是将多个表的查询结果插入到多张表。                            （ T ）

5. 保证插入数据表列的数量与查询数据表列的数量一致。                            （ T ）

三、选择题

1．下列选项中，关于插入数据的语句书写正确的是（A）。

A．INSERT INTO TABLE table1 VALUES (11);

B．INSERT INTO TABLE table2 VALUES (user01);

C．INSERT INTO TABLE table3 VALUES (11,20)(22,30);

D．INSERT INTO TABLE table3 VALUES (user01),(user02);

2．下列选项中，关于查询数据的语句书写正确的是（B）。

A．SELECT username city FROM table1;

B．SELECT * FROM table1;

C．SELECT username FROM table1 WHERE province;

D．SELECT username FROM table1 WHERE province=ShanDong;

四、简答题

1．简述通过LOAD DATA语句向指定数据表加载数据文件时的注意事项。

答：

文件分隔符需要与数据表的字段分隔符保持一致。

文件换行符需要与数据表的行分隔符保持一致。

文件中的集合数据与数据表的集合元素分隔符保持一致。

文件中的键值对数据与创建数据表时指定键值对的分隔符保持一致。

文件中每个字段的顺序需要与数据表中字段的顺序保持一致

文件的字段数量需要与数据表的字段数量保持一致。

  1. 简述动态分区与混合分区的区别。

   答：

     动态分区加载数据时只需要指定分区字段即可，混合分区加载数据时必须指定一个分区包含分区字段和分区字段值，其它分区可以直接使用分区字段即可。

五、操作题

1. 将本地文件系统目录/export/data/hive_data中的文件test.txt加载到分区表partitioned_table的二级分区province=ShanDong/city=HeZe。

LOAD DATA LOCAL INPATH '/export/data/hive_data/test.txt' INTO TABLE partitioned_table PARTITION (province='ShanDong', city='HeZe');

Hive数据查询语言

一、填空题

1．SELECT句式中分组操作的子句是GROUP BY。

2．复杂运算符S.x 支持的数据类型是结构体。

3．公用表表达式是一个临时结果集。

4．UNION语句用于将多个SELECT句式的结果合并为一个结果集。

5．抽样查询分为数据块抽样、随机抽样和分桶抽样。

二、判断题

1．LIMIT子句用于限制查询表的行数据。                 （ T ）

2．DISTINCT子句可以对查询结果进行去重。                 （ T ）

3．关系运算符RLIKE支持所有基本数据类型。                 （ F ）

4．分组操作会出发MapReduce任务进行处理。                 （ T ）

5．JOIN语句中LEFT OUTER JOIN和LEFT JOIN所表达的意思相同。 （ T ）

三、选择题

1．下列选项中，不属于关系运算符的是（B）。

A．!=

B．!

C．NOT LIKE

D．LIKE

2．下列选项中，关于分组操作的描述正确的是（D）。

A．空值不会进行分组处理

B．GROUP BY子句执行顺序在SELECT语句之后

C．使用GROUP BY子句时，在SELECT语句中只能出现聚合函数不能出现列

D．GROUP BY子句中的列需要与SELECT语句中的列保持一致

四、简答题

1．简要描述左外连接、右外连接、全外连接和内连接的关联方式。

内连接：根据关联列将左表和右表中能关联起来的数据连接后返回，返回的结果就是两个表中所有相匹配的数据。

左外连接：根据关联列保留左表完全值，若右表中存在与左表中匹配的值，则保留；若右表中不存在与左表中匹配的值，则以NULL代替。

右外连接：根据关联列保留右表完全值，若左表中存在与右表中匹配的值，则保留；若左表中不存在与右表中匹配的值，则以NULL代替；

全外连接：根据关联列返回左表和右表中的所有数据，若关联不上则以NULL代替；

2. 简述SORT BY子句和ORDER BY子句的区别。

ORDER BY用来对查询结果做全局排序，查询的结果集只会交由一个Reducer处理。

SORT BY用来对查询结果做局部排序，根据MapReduce默认划分Reducer个数的规则，将查询结果集交由多个Reducer处理。

五、操作题

查询员工信息表employess_table中员工年龄小于等于25岁或者大于等于35岁的员工信息。

SELECT * FROM hive_database.employess_table WHERE staff_age >= 35 OR staff_age <= 25;

Hive函数

一、填空题

1．Hive自定义函数分为即UDF、UDAF和UDTF。

2．将指定列中的数据组合为数组，去重复数据的函数是COLLECT_SET()。

3．编写UDTF程序时需要继承类GenericUDTF。

4．使用侧视图时可以为表生成函数指定列的别名。

二、判断题

1．UDF表示用户自定义聚合函数。                         （ F ）

2．ROUND()函数返回0~1的随机值。                     （ F ）

3．CONCAT()函数按顺序拼接字符串，没有分隔符。（ T ）

4．TRIM()函数用于拆分字符串。                             （ F ）

三、选择题

1．下列选项中，不属于字符串函数的是（D）。

A．RPAD()

B．REPEAT()

C．SUBSTR()

D．COALESCE()

2．下列选项中，属于数学函数的是（C）。

A．SUM()

B．COUNT()

C．NEGATIVE ()

D．BINARY()

四、简答题

1．简述字符串函数CONCAT()和CONCAT_WS()的区别。

CONCAT()按照顺序对字符串进行拼接，没有分隔符。

CONCAT_WS()按照指定分隔符对字符串进行拼接。

2．简述字符串函数COLLECT_SET()和COLLECT_LIST()的区别。

COLLECT_SET()将指定列中的数据组合为数组，去重复数据。

COLLECT_LIST()将指定列中的数据组合为数组，不去重复数据。

五、操作题

1. 创建UDF程序实现比较两列数值是否相等，若比较的两列数值不相等，则输出两列数值中较小的值，以及两列数值相加的计算结果。

public class hiveUDF extends UDF

    public String evaluate(int col1,float col2)

        if (col1>col2)

            return "min:"+col2+",diffe:"+(col1+col2);

        else if(col1<col2)

            return "min:"+col1+",diffe:"+(col2+col1);

        else

            return "0";

        

    

Hive事务

一、填空题

1．Hive事务表中的数据会被分成两种类型的文件，即基础文件和增量文件。

2．开启Hive事务时必须指定Compactor的工作线程数大于等于  1  。

3．Hive事务表的文件存储格式必须为ORC格式 。

4．Hive通过HiveServer2中运行的一组后台进程Compactor实现事务的支持。

二、判断题

1．Hive默认开启事务的支持。                             （ F ）

2．更新Hive事务表数据操作的列必须在事务表中已存在。     （ T ）

3．删除Hive事务表数据操作时，若不指定条件，则无法执行。     （ F ）

三、选择题

1．下列选项中，属于事务四大特性的是（D）。

A．原子性

B．隔离性

C．持久性

D．容忍性

四、简答题

简述基础文件和增量文件的作用。

基础文件用于存放Hive事务表中的原始数据；增量文件用于存储Hive事务表存储的新增、更新和删除的数据

五、操作题

将事务表tran_clustered_table中员工姓名为user03的员工id更新为010，并且年龄更新为33。

UPDATE hive_database.tran_clustered_table

SET age = 33,id="010"

WHERE name = "user03";

Hive优化

一、填空题

1．文件存储格式ORCFile的使用方式是STORED AS ORC。

2．Hive默认的文件存储格式是TextFile。

3．ORCFile自身支持两种压缩，分别是ZLIB和SNAPPY。

4．参数hive.exec.parallel用于配置并行执行。

二、判断题

1．笛卡儿积JOIN只能使用一个Reduce处理。             （ T ）

2．ORCFile文件存储格式可以通过LOAD语句加载数据。     （ F ）

3．参数mapred.map.tasks主要用于减少Map个数。             （ F ）

三、选择题

1．下列选项中，用于配置MapReduce压缩的参数是（B）。

A．mapreduce.map.input.compress

B．hive.exec.compress.intermediate

C．mapreduce.fileoutputformat.compress.codec

D．mapreduce.output.fileoutputformat.type

四、简答题

简述配置合并文件的作用。

每个数据文件都会交给一个Map去处理，如果存在多个小数据文件，那么会每个小数据文件都会启动一个Map，造成不必要的资源浪费，因此在Map执行之前应该将这些小数据文件进行合并。

五、操作题

创建外部表test，自定义表的列，要求表的文件存储格式为ORCFile，并指定表的压缩格式为ZLIB。

CREATE TABLE test(

col1 STRING,

col2 STRING,

col3 STRING

)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ','

LINES TERMINATED BY '\\n'

STORED AS ORC

TBLPROPERTIES ("orc.compress"="ZLIB");

以上是关于Hive数据仓库应用课后题及答案的主要内容，如果未能解决你的问题，请参考以下文章

3. Hive分布式数据仓库华为HCIA-BigData

分布式数据仓库-Hive

大数据面试题锦集 | 数据仓库工具HIVE篇

Hive数据仓库工具安装

Hive为什么适合做数据仓库

Hive为什么适合做数据仓库