计算机毕业设计中在spark下跑python程序

Posted 2021-04-06 帮我毕业网

点击上方“蓝字”，关注我们.

编写python测试程序

#test.py文件
# -*- coding:utf-8 -*-
import os
import sys
#配置环境变量并导入pyspark
os.environ['SPARK_HOME'] = r'/opt/moudles/spark-1.6.1'
sys.path.append("/opt/moudles/spark-1.6.1/python")
sys.path.append("/opt/moudles/spark-1.6.1/python/lib/py4j-0.9-src.zip")
from pyspark import SparkContext, SparkConf

appName ="spark_1" #应用程序名称
master= "spark://hadoop01:7077"#hadoop01为主节点hostname，请换成自己的主节点主机名称
conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)

data = [1, 2, 3, 4, 5]
distData = sc.parallelize(data)
res = distData.reduce(lambda a, b: a + b)
print("===========================================")
print (res)
print("===========================================")
    
      
      
    

     
       
       
     


    
      
      
    

执行python程序

执行如下命令

python test.py

执行与结果分别如下图所示：

更多请关注小编继续了解，免费赠送网页设计作业源代码哦！

如需要精品网页设计作业和毕业设计作品

联系QQ:2656895362进行咨询

网站地址：

http://www.85work.com/

扫码关注最新动态

更多精彩，点击下方“ 阅读原文”查看。