HDFS + 在 HDFS 文件夹和本地文件系统文件夹之间创建符号链接

Posted

技术标签:

【中文标题】HDFS + 在 HDFS 文件夹和本地文件系统文件夹之间创建符号链接【英文标题】:HDFS + create simbolic link between HDFS folder to local filesystem folder 【发布时间】:2019-02-26 19:47:49 【问题描述】:

我在谷歌上搜索过,但没有找到,

是否可以在 HDFS 文件夹和本地文件夹之间创建链接?

例子

我们希望在 HDFS 中的 folder_1/home/hdfs_mirror 本地文件夹之间创建链接

HDFS 文件夹:

su hdfs
$ hdfs dfs -ls /hdfs_home/folder_1

Linux 本地文件夹:

ls /home/hdfs_mirror 

【问题讨论】:

【参考方案1】:

我认为这是不可能的。

这是因为我们讨论的是两种不同的文件系统(HDFS 和本地文件系统)。

如果我们想继续将本地数据目录同步到 HDFS 目录,则需要使用一些工具,例如 Apache Flume。

【讨论】:

以上是关于HDFS + 在 HDFS 文件夹和本地文件系统文件夹之间创建符号链接的主要内容,如果未能解决你的问题,请参考以下文章

hive之核心知识点

请问hadoop的hdfs文件系统和本地windows文件系统或linux文件系统是啥关系啊,谢谢

sc.textFile()默认读取本地系统文件还是HDFS系统文件?

HDFS-NFS-网关

HDFS源码分析之NameNode————Format

常用的HDFS操作