Python 读取HDFS 数据

Posted 因为专注。所以专业

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python 读取HDFS 数据相关的知识,希望对你有一定的参考价值。

# -*- coding:utf-8 -*-


from hdfs.client import Client

client = Client("http://localhost:50070")

filepath="/data/input/test.txt"
with client.read(filepath) as fs:
    content = fs.read()
    print(content)

 

提示:mac pycharm python2.7环境,亲测无误!

以上是关于Python 读取HDFS 数据的主要内容,如果未能解决你的问题,请参考以下文章

使用python读取1TB HDFS csv文件的有效方法是啥

[Spark][Python]对HDFS 上的文件,采用绝对路径,来读取获得 RDD

在spark udf中读取hdfs上的文件

如何从 Scala 代码中读取 HDFS 文件

如何使用Spark Streaming读取HBase的数据并写入到HDFS

python 读取多个csv文件中某一列,并生成一个新csv文件