COMP9313 Lab1 SPARK pyspark 安装

Posted cheviszhang

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了COMP9313 Lab1 SPARK pyspark 安装相关的知识，希望对你有一定的参考价值。

遇到的问题：

　　1. SPARK & HADOOP 不能安装在有空格的目录下 比如 programs file这种

　　2. 需要设置环境变量 PYSPARK_PYTHON  PYSPARK_DRIVER_PYTHON 到3.6.5的环境，不然3.6 3.7会撞车

 

　　技术图片

 

以上是关于COMP9313 Lab1 SPARK pyspark 安装的主要内容，如果未能解决你的问题，请参考以下文章

COMP9313 Week9a-0

COMP9313_WEEK1_2_课程简介

COMP9313 Week 7 Product Quantization and K-Means Clustering

Spark 数据框 Scala 棘手

YMatrix + PLPython替代Spark实现车联网算法

KeyError：“[Int64Index dtype='int64', length=9313)] 都不在 [columns] 中”