error: not found: value sc
Posted puroc
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了error: not found: value sc相关的知识,希望对你有一定的参考价值。
【问题】
解压spark的tar包后,执行bin/spark-shell,执行val lines=sc.textFile("README.md")时,抛错error: not found: value sc
【解决办法】
这是因为shell启动时没有初始化sparkContext,修改conf/spark-env.sh文件,添加如下内容:
export SPARK_LOCAL_IP="127.0.0.1"
再次启动bin/spark-shell,这是会看到如下信息,代表spark context已经被初始化了,现在可以正常执行命令了。
Spark context Web UI available at http://127.0.0.1:4040 Spark context available as ‘sc‘ (master = local[*], app id = local-1477366425671). Spark session available as ‘spark‘.
以上是关于error: not found: value sc的主要内容,如果未能解决你的问题,请参考以下文章
[MERFISH报错合集]Error2 ld/ symbol(s) not found for architecture x86_64
Row‘s children must not contain any null values, but a null value was found at index 0
ERROR_PATH_NOT_FOUND 与 ERROR_FILE_NOT_FOUND,有啥区别?
Error in Android Studio - "Default Activity Not Found"