python连接spark（pyspark）
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python连接spark（pyspark）相关的知识，希望对你有一定的参考价值。
from pyspark import SparkContext
from pyspark import SparkConf
string_test = ‘pyspark_test‘
conf = SparkConf().setAppName(string_test).setMaster(‘yarn‘)
sc = SparkContext(conf=conf)
list_test = [1, 2, 3]
x = sc.parallelize(list_test)
y = x.map(lambda x: (x, x * 2))
print x.collect()
print y.collect()
sc.stop()
pyspark api : https://www.iteblog.com/archives/1395.html
以上是关于python连接spark（pyspark）的主要内容，如果未能解决你的问题，请参考以下文章