对象存储服务器概述

Posted 2023-03-31 cv-player

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了对象存储服务器概述相关的知识，希望对你有一定的参考价值。

对象存储服务器概述

背景
对象存储服务器的特点
对象存储服务器的应用

背景

当今，随着数字化信息的快速增长，对象存储技术也越来越受到人们的关注。对象存储是一种存储方式，将数据以对象的形式进行存储，并在服务器上进行管理。与传统的文件系统不同，对象存储服务器不会以文件或文件夹的形式进行存储，而是将数据按照唯一的标识符进行管理和访问。这种存储方式具有高效、可靠、弹性、低成本等优点，因此被广泛应用于云计算、大数据、物联网等领域。

在实际应用中，对象存储服务器一般采用分布式架构，通过多台服务器组成一个集群，从而实现数据的高可靠性、高扩展性和高效性。同时，为了保证数据的安全性，对象存储服务器也会采用多种安全机制，如加密、访问控制等。

对象存储服务器的特点

1.高可靠性：对象存储将数据存储在多个设备中，并在设备故障时自动恢复，从而确保数据的持久性和可靠性。

2.可扩展性：对象存储可以扩展到无限数量的设备上，从而满足不断增长的存储需求。

3.高效性：对象存储服务器采用了分布式的方式进行数据存储和读取，可以实现高效的数据访问和传输。

4.灵活性：对象存储服务器不需要像传统文件系统那样进行复杂的文件目录管理，因此更加灵活和易于管理。

5.安全性：对象存储服务器可以对数据进行加密和访问控制，从而保障数据的安全性。

对象存储服务器的应用

1.云存储：对象存储服务器是云存储的核心技术，可以为用户提供高可靠性、高扩展性和高效性的数据存储服务。

2.大数据：对象存储服务器可以存储海量的数据，并能够快速地进行数据读取和分析，因此在大数据领域得到广泛应用。

3.物联网：对象存储服务器可以为物联网设备提供高可靠性和高效性的数据存储服务，从而满足不断增长的物联网数据存储需求。

4.多媒体：对象存储服务器可以存储大量的多媒体文件，如音频、视频、图片等，同时能够实现高效的文件读取和传输。

OSS对象存储

一、产品概述

阿里云对象存储服务（Object Storage Service，简称 OSS），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。它具有与平台无关的RESTful API接口，能够提供99.99999999%的服务持久性。您可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。OSS适合各种网站、开发企业及开发者使用。

您可以使用阿里云提供的API/SDK接口或者OSS迁移工具轻松地将海量数据移入或移出阿里云OSS。数据存储到阿里云OSS以后，您可以选择标准类型（Standard）的阿里云OSS服务作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问类型（Infrequent Access）和归档类型（Archive）的阿里云OSS服务作为不经常访问数据的备份和归档。

技术分享

二、产品优势

OSS与自建存储对比的优势

对比项	对象存储OSS	自建服务器存储
可靠性	- 服务可用性不低于99.9%。 - 规模自动扩展，不影响对外服务。 - 数据持久性不低于99.99999999%。 - 数据自动多重冗余备份。	- 受限于硬件可靠性，易出问题，一旦出现磁盘坏道，容易出现不可逆转的数据丢失。 - 人工数据恢复困难、耗时、耗力。
安全	- 提供企业级多层次安全防护。 - 多用户资源隔离机制，支持异地容灾机制。 - 提供多种鉴权和授权机制及白名单、防盗链、主子账号功能。	- 需要另外购买清洗和黑洞设备。 - 需要单独实现安全机制。
成本	- 多线BGP骨干网络，无带宽限制，上行流量免费。 - 无需运维人员与托管费用，0成本运维	- 存储受硬盘容量限制，需人工扩容。 - 单线或双线接入速度慢，有带宽限制，峰值时期需人工扩容。 - 需专人运维，成本高。
数据处理能力	- 提供图片处理、音视频转码、内容加速分发、鉴黄服务、归档服务等多种数据增值服务，并不断丰富中。	- 需要额外采购，单独部署。

OSS具备的其他各项优势

方便、快捷的使用方式

提供标准的RESTful API接口、丰富的SDK包、客户端工具、控制台。您可以像使用文件一样方便地上传、下载、检索、管理用于Web网站或者移动应用的海量数据。

不限文件数量和大小。您可以根据所需存储量无限扩展存储空间，解决了传统硬件存储扩容问题。

支持流式写入和读出。特别适合视频等大文件的边写边读业务场景。

支持数据生命周期管理。您可以自定义将到期数据批量删除或者转入到低成本的归档服务。

强大、灵活的安全机制

灵活的鉴权，授权机制。提供STS和URL鉴权和授权机制，以及白名单、防盗链、主子账号功能。

提供用户级别资源隔离机制和多集群同步机制（可选）。

丰富、强大的增值服务

图片处理：支持jpg、png、bmp、gif、webp、tiff等多种图片格式的转换，以及缩略图、剪裁、水印、缩放等多种操作。

音视频转码：提供高质量、高速并行的音视频转码能力，让您的音视频文件轻松应对各种终端设备。

内容加速分发：OSS作为源站，搭配CDN进行加速分发，具有稳定、无回源带宽限制、性价比高、一键配置的特点。

技术分享

三、创建存储空间

技术分享

提示：阿里云 OSS 中的所有文件都存储在存储空间（bucket）中。存储空间是您用来管理所存储文件的单元，所有对象都必须隶属于某个存储空间。您可以设置存储空间属性来控制地域、文件的访问控制、文件的生命周期等，这些属性都是作用在该存储空间下所有的文件上的，因此您可以灵活创建不同的存储空间来完成不同的管理功能。

四、删除存储空间

温馨提示：

删除存储空间之前请确保其中存储的文件，包括尚未完成的分片上传文件产生的碎片文件全部清空，否则无法删除存储空间

操作步骤：

进入 OSS 管理控制台界面。
在左侧存储空间列表中，单击目标存储空间名称，然后单击页面右上角的删除按钮。
在弹出的对话框中，单击确定。

技术分享

五、修改存储空间的权限

OSS 提供权限控制 ACL（Access Control List），您可以在创建存储空间的时候设置相应的 ACL 权限控制，也可以在创建之后修改 ACL。如果不设置 ACL，默认值为私有。

OSS ACL 提供存储空间级别和文件级别的权限访问控制，目前有三种访问权限：

私有：只有该存储空间的拥有者可以对该存储空间内的文件进行读写操作，其他人无法访问该存储空间内的文件。
公共读：只有该存储空间的拥有者可以对该存储空间内的文件进行写操作，任何人（包括匿名访问者）可以对该存储空间中的文件进行读操作。
公共读写：任何人（包括匿名访问者）都可以对该存储空间中的文件进行读写操作，所有这些操作产生的费用由该存储空间的拥有者承担，请慎用该权限。

操作步骤：

进入 OSS 管理控制台界面。
在左侧存储空间列表中，单击目标存储空间名称，打开该存储空间概览页面。
单击基础设置页签，找到读写权限区域。
单击管理，修改该存储空间的读写权限。
单击保存。

技术分享

六、OOSFS挂载linux

ossfs 能让您在Linux系统中把OSS bucket 挂载到本地文件系统中，您能够便捷地通过本地文件系统操作OSS 上的对象，实现数据的共享。

主要功能

ossfs 基于s3fs 构建，具有s3fs 的全部功能。主要功能包括：

支持POSIX 文件系统的大部分功能，包括文件读写，目录，链接操作，权限，uid/gid，以及扩展属性（extended attributes）
通过OSS 的multipart 功能上传大文件。
MD5 校验保证数据完整性。

局限性

ossfs提供的功能和性能和本地文件系统相比，具有一些局限性。具体包括：

随机或者追加写文件会导致整个文件的重写。
元数据操作，例如list directory，性能较差，因为需要远程访问OSS服务器。
文件/文件夹的rename操作不是原子的。
多个客户端挂载同一个OSS bucket时，依赖用户自行协调各个客户端的行为。例如避免多个客户端写同一个文件等等。
不支持hard link。
不适合用在高并发读/写的场景，这样会让系统的load升高。

OS：centos 6.5

安装：

[[email protected] ~]# rpm -ivh http://docs-aliyun.cn-hangzhou.oss.aliyuninc.com/assets/attach/32196/cn_zh/1496671386629/ossfs_1.80.2_centos6.5_x86_64.rpm?spm=5176.doc32196.2.4.S73RyD&file=ossfs_1.80.2_centos6.5_x86_64.rpm

将my-bucket这个bucket挂载到/mnt目录下，AccessKeyId是faint，AccessKeySecret是123，oss endpoint是http://oss-cn-hangzhou.aliyuncs.com

echo my-bucket:faint:123 > /etc/passwd-ossfs

chmod 640 /etc/passwd-ossfs

mkdir /tmp/ossfs

ossfs my-bucket /mnt -ourl=http://oss-cn-hangzhou.aliyuncs.com

见证奇迹的时刻

技术分享