Spark-shell批量命令执行脚本

Posted 2020-09-25 chenzechao

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark-shell批量命令执行脚本相关的知识，希望对你有一定的参考价值。

#!/bin/bash

source /etc/profile

exec $SPARK_HOME/bin/spark-shell --queue tv  --name spark-sql-test --executor-cores 8 --executor-memory 8g   --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF
import org.apache.spark.sql.SaveMode
sql("set hive.exec.dynamic.partition=true")
sql("set hive.exec.dynamic.partition.mode=nonstrict")
sql("use hr")
sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out") 
sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count
!EOF

以上是关于Spark-shell批量命令执行脚本的主要内容，如果未能解决你的问题，请参考以下文章

spark-shell 执行脚本并传入参数