将数据/文件从 Windows 复制到 Linux 机器或 HDFS

Posted 2023-04-18

【中文标题】将数据/文件从 Windows 复制到 Linux 机器或 HDFS

【英文标题】：Copy data/File from Windows to Linux machine or HDFS

【发布时间】：2016-10-12 07:29:59

【问题描述】：

我正在处理大数据，我想从远程机器上的文件系统中获取数据/文件，而不是从任何数据库中获取数据/文件，即将文件从远程 linux/windows 机器复制到 hdfs。请帮帮我。

【问题讨论】：

你的意思是从远程linux机器复制文件到本地linux机器？

将文件从远程 linux/windows 机器复制到本地机器或 hdfs。

在问题中提及

【参考方案1】：

您可以将文件从本地文件复制到远程文件系统，反之亦然

scp 命令 scp [选项] [[User@]From_Host:]Source_File [[User@]To_Host:][Destination_File]

【讨论】：

我可以在source_file 中提供我的hdfs 路径吗？

是的，您可以提供 hdfs 路径以便将文件导出到该路径，但在此之前您需要这样写 username@hostname:/hdfs_path 另外，如果它是hdfs，那么你可以使用hdfs dfs -put your_local_file hdfs_path 将你的文件上传到hadoop

我试过这个 scp 命令，它在 linux 系统之间运行良好，但在 linux 和 windows 系统之间运行不正常。

你可以使用filezilla来达到这个目的，这里是链接filezilla-project.org

感谢您的帮助。如果您喜欢这个问题，请点赞。

【参考方案2】：

尝试安装Hue。这是一个非常有用的工具。 点击此链接了解更多详情：http://gethue.com/

进入Hue中的文件浏览器，点击“添加文件”按钮即可上传文件到HDFS

【讨论】：

我正在使用 cloudera cdh 5.7 它已经有 Hue 但是如何使用 Hue 从 Windows 机器移动文件？

进入Hue的文件浏览器，点击“添加文件”按钮

它向我展示了我的 linux 机器本地文件系统。没有从 windows 文件系统中选择的选项。

你可以从你的windows文件系统上传文件

感谢您的帮助！有没有办法自动化这个过程？