使用Spark创建HIVE-SQL练习环境原创首发

Posted 2021-08-31 小基基o_O

文章目录

• 应用场景
• WIN10搭建Spark环境
• 代码模板
• 展望

应用场景

练习HIVE的SQL时，可以用mysql(8以上版本)或HIVE，进行建表和插数据，然后写SQL
而本文使用SparkSQL来提供HIVE-SQL练习环境
该方法 适用于 擅长写代码 而 不擅长DDL和DML 的程序员来练习SQL

WIN10搭建Spark环境

https://yellow520.blog.csdn.net/article/details/116265561

代码模板

创建名为Hello的object

import org.apache.spark.sql.SparkSession
import org.apache.spark.{SparkConf, SparkContext}

object Hello {
  def main(args: Array[String]): Unit = {
    //创建SparkContext对象
    val c0: SparkConf = new SparkConf().setAppName("a0").setMaster("local")
    val sc: SparkContext = new SparkContext(c0)
    //创建SparkSession对象
    val c1: SparkConf = new SparkConf().setAppName("a1").setMaster("local")
    val spark: SparkSession = SparkSession.builder().config(c1).getOrCreate()
    //隐式转换支持
    import spark.implicits._
    //建多个表
    sc.makeRDD(Seq(
      ("a", 0),
      ("b", 1),
    )).toDF("f1", "f2") //字段名
      .createTempView("t0") //表名
    //创建临时视图
    spark.sql(
      """
        |SELECT * FROM t0
        |""".stripMargin).createTempView("temp0")
    //结果展示
    spark.sql(
      """
        |SELECT * FROM temp0
        |""".stripMargin).show()
  }
}

展望

• Spark版本HIVE-SQL练习环境，下面4点表现仍不够友好：
  1、配好Spark环境
  2、会Scala和Spark
  3、没有SQL高亮和自动补全
  4、延时高（对比MySQL）
• 以后看看有没有Python版的