AWS:将S3 Bucket安装到EC2实例。 (后来的FTP隧道)
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了AWS:将S3 Bucket安装到EC2实例。 (后来的FTP隧道)相关的知识,希望对你有一定的参考价值。
我想做什么?
步骤1:将S3 Bucket安装到EC2实例。
步骤2:在EC2实例上安装FTP服务器,并将ftp请求隧道传送到存储桶中的文件。
到目前为止我做了什么?
- 创建桶
- 使用开放输入端口创建安全组(FTP:20,21 - SSH:22 - 更多)
- 连接到ec2
以下代码:
wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/s3fs/s3fs-1.74.tar.gz
tar -xvzf s3fs-1.74.tar.gz
yum update all
yum install gcc libstdc++-devel gcc-c++ fuse fuse-devel curl-devel libxml2-devel openssl-devel mailcap
cd s3fs-1.74
./configure --prefix=/usr
make
make install
vi /etc/passwd-s3fs # set access:secret keys
chmod 640 /etc/passwd-s3fs
mkdir /s3bucket
cd /s3bucket
和cd答案:qazxsw poi
不知道怎么了。也许我使用的是错误的用户?但是目前除了root之外我只有一个用户(出于测试原因)。
下一步将是ftp隧道,但是现在我想让它工作。
我现在遵循这些指示。 Transport endpoint is not connected
我猜他们也在后台调用API,但它按照我的意愿工作。
将S3安装到EC2实例的一种可能解决方案是使用新文件网关。
看看这个:https://github.com/s3fs-fuse/s3fs-fuse
第1点
虽然另一个回答者说S3不是为此而构建的,但是说不能安装一个桶是不正确的(我认真考虑找到一种更好的方法来解决你的问题)。
话虽这么说,你可以使用http://docs.aws.amazon.com/storagegateway/latest/userguide/WhatIsStorageGateway.html在EC2中安装S3存储桶。 s3fuse有很多很好的理由不这样做。
第2点
从那里开始只是一个设置标准FTP服务器的情况,因为现在桶对您的系统来说就好像它是任何其他文件系统(主要是)。
detailed here可能是一个不错的选择。我有两个问题,然后针对您遇到的任何具体问题发布单独的问题,但这应该给您一个粗略的概述。 (嗯,实际上,我没有去过,并通过使用API的应用程序代码使用S3,但仍然如此)。
以上是关于AWS:将S3 Bucket安装到EC2实例。 (后来的FTP隧道)的主要内容,如果未能解决你的问题,请参考以下文章
无法从 S3 读取 csv 到 AWS 上 EC2 实例上的 pyspark 数据帧
如何在AWS中将Windows EC2实例复制到S3存储桶?