AWS:将S3 Bucket安装到EC2实例。 (后来的FTP隧道)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了AWS:将S3 Bucket安装到EC2实例。 (后来的FTP隧道)相关的知识,希望对你有一定的参考价值。

我想做什么?

步骤1:将S3 Bucket安装到EC2实例。

步骤2:在EC2实例上安装FTP服务器,并将ftp请求隧道传送到存储桶中的文件。

到目前为止我做了什么?

  • 创建桶
  • 使用开放输入端口创建安全组(FTP:20,21 - SSH:22 - 更多)
  • 连接到ec2

以下代码:

wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/s3fs/s3fs-1.74.tar.gz
tar -xvzf s3fs-1.74.tar.gz
yum update all
yum install gcc libstdc++-devel gcc-c++ fuse fuse-devel curl-devel libxml2-devel openssl-devel mailcap
cd s3fs-1.74
./configure  --prefix=/usr
make
make install
vi /etc/passwd-s3fs # set access:secret keys
chmod 640 /etc/passwd-s3fs
mkdir /s3bucket
cd /s3bucket

和cd答案:qazxsw poi

不知道怎么了。也许我使用的是错误的用户?但是目前除了root之外我只有一个用户(出于测试原因)。

下一步将是ftp隧道,但是现在我想让它工作。

答案

我现在遵循这些指示。 Transport endpoint is not connected

我猜他们也在后台调用API,但它按照我的意愿工作。

另一答案

将S3安装到EC2实例的一种可能解决方案是使用新文件网关。

看看这个:https://github.com/s3fs-fuse/s3fs-fuse

https://aws.amazon.com/about-aws/whats-new/2017/02/aws-storage-gateway-supports-running-file-gateway-in-ec2-and-adds-file-share-security-options/

另一答案

第1点

虽然另一个回答者说S3不是为此而构建的,但是说不能安装一个桶是不正确的(我认真考虑找到一种更好的方法来解决你的问题)。

话虽这么说,你可以使用http://docs.aws.amazon.com/storagegateway/latest/userguide/WhatIsStorageGateway.html在EC2中安装S3存储桶。 s3fuse有很多很好的理由不这样做。

第2点

从那里开始只是一个设置标准FTP服务器的情况,因为现在桶对您的系统来说就好像它是任何其他文件系统(主要是)。

detailed here可能是一个不错的选择。我有两个问题,然后针对您遇到的任何具体问题发布单独的问题,但这应该给您一个粗略的概述。 (嗯,实际上,我没有去过,并通过使用API​​的应用程序代码使用S3,但仍然如此)。

以上是关于AWS:将S3 Bucket安装到EC2实例。 (后来的FTP隧道)的主要内容,如果未能解决你的问题,请参考以下文章

无法从 S3 读取 csv 到 AWS 上 EC2 实例上的 pyspark 数据帧

如何在AWS中将Windows EC2实例复制到S3存储桶?

无法将 s3 与来自 aws lambda 的 ec2 文件夹同步

将 Locust HTML 报告发送到 s3 存储桶

迁移虚拟机到AWS EC2的两种方式

AWS仅允许来自S3的EC2流量