windows上spark shell读取本地文件
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了windows上spark shell读取本地文件相关的知识，希望对你有一定的参考价值。
参考技术A 1、windows上spark shell读取本地文件时，需要在文件地址前加“file:///”2、文本文件的后缀要有。
3、由于不知道默认读取位置，因此建议使用绝对路径。
如读取本地文件HelloSpark.txt：
练习记录--总结Spark基础操作常用的Shell命令
启动hadoop
-ls：显示文件夹内容
-put:上传到hdfs上
-cat:显示文件内容
hdfs文件读取成功：三种方式
以上是关于windows上spark shell读取本地文件的主要内容，如果未能解决你的问题，请参考以下文章
sc.textFile()默认读取本地系统文件还是HDFS系统文件？