HIVE -- 2 感悟

Posted 2020-12-27

Hive学习使用一周感悟

最近一段时间主要在学习Hive SQL语句并完成了一个小任务，熟悉了Hive SQL的基本语法和应用，

对进一步学习使用Hive SQL来分析处理数据打下了一个基础。

数据科学领域最重要的在于数据本身，一起技能和工具都是过程，数据既是开始也是结果，

所以在处理数据时首先要了解数据。

以Hive SQL表的join为例，在分析使用哪种语句之前，首先要确定自己想要得到的表需要是做什么的

。
需要包括哪些字段，分别有什么用，在考虑保留表的字段时，不仅需要考虑当前需求，

也要为后来的业务需求保留相应的字段，由此确定整个表的数据结果，当然这也是建立在熟悉业务的基础之上。

在确定了表的字段之后，便需要根据表的需求去选择上游的关联表，在确定了上游的关联表之后

，再根据关联表采用相关的HQL语句进行操作得到相应字段的值并进行赋值命令。

在表的join过程中涉及到查询语句的优化，更涉及到join之后数据膨胀的问题，

因此在join之前与之后都需要特别注意表的去重问题。

初入此坑，技能与工具都是手段，业务才是目的，但熟练的掌握工具的使用和高超的技能更是有助于精准的分析与理解业务。路漫漫其修远兮，吾将上下而求索。