[Spark][Python][Application]非交互式运行Spark Application 的例子
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了[Spark][Python][Application]非交互式运行Spark Application 的例子相关的知识，希望对你有一定的参考价值。
非交互式运行Spark Application 的例子
$ cat Count.py
import sys
from pyspark import SparkContext
if __name__ == "__main__":
sc = SparkContext()
logfile = sys.argv[1]
count = sc.textFile(logfile).filter(lambda line: ‘.jpg‘ in line).count()
print "JPG requests: ", count
sc.stop()
$
$ spark-submit --master yarn-client Count.py /test/weblogs/*
Number of JPG requests: 10258
$
以上是关于[Spark][Python][Application]非交互式运行Spark Application 的例子的主要内容，如果未能解决你的问题，请参考以下文章