spark python脚本怎么执行

Posted 2023-04-22

参考技术A 前段时间使用了一下google的博客空间，感觉也很一般，所以现在把那里的几篇文章转过来。
执行python脚本只需要对python文件做如下操作即可：
在python文件里第一行加上#!
/usr/bin/python，即你的python解释器所在的目录。另外还有一种写法是#!
/usr/bin/env
python
编辑完成python脚本文件后为它加上可执行权限。例如你的python脚本文件叫做runit.py，那么就在shell中输入如下命令：chmod
+x
runit.py
之后直接在shell中输入./runit.py就可以执行你的python程序了。
当然这是在Linux下的操作，如果想在windows下直接执行Python程序，就需要使用py2exe工具将python源程序编译成exe文件了。

spark-shell 执行脚本并传入参数

使用方法：

./spark-script.sh your_file.scala first_arg second_arg third_arg

脚本：

scala_file=$1

shift 1

arguments=[email protected]

#set +o posix  # to enable process substitution when not running on bash 

spark-shell  --master yarn --deploy-mode client          --queue default         --driver-memory 2G --executor-memory 4G         --num-executors 10         -i <(echo ‘val args = "‘$arguments‘".split("\\s+")‘ ; cat $scala_file)

linux shell 重定向：

Command < filename > filename2

Command命令以filename文件作为标准输入，以filename2文件作为标准输出

 

 

参考文献:

http://stackoverflow.com/questions/29928999/passing-command-line-arguments-to-spark-shell