请问fastdfs怎么用比较合适呢?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了请问fastdfs怎么用比较合适呢?相关的知识,希望对你有一定的参考价值。

假设有如下几台服务器tracker 192.168.1.100storage1 192.168.1.101storage2 192.168.1.102 storage3 192.168.1.103storage4 192.168.1.104其中storage1和storage2是group1其中storage3和storage4是group2所有的storage server都装了apache module,然后关了自身的http服务器我通过php上传文件,返回值是group1M00/00/01/wKhE5U6WPxrxwGm5AAAPjirZYVM765.jpg然后我应该怎样通过http访问这个文件呢?是应该通过还是还是假如是直接访问storage server,假如同一个group里面其中一台server宕机了,那不就访问失效了?还有就是访问tracker server会出现400错误,什么原因呢?还有我觉得无论是直接访问tracker server或是storage server都会出现单点问题,可能是我对fastdfs还不够了解吧

时间过去这么久了, 可能楼主的问题早就解决了 。 但是还是回答一些我知道的信息:先访问Tracker server 获取到空闲的storage server , 然后直接访问storage server 。 同一个group 中的一台storage server 宕机不会影响到系统的运行 , 因为同一个group 中的storage server 存储的内容都是一样的 , 如果有一台storage server 宕机了,Tracker server 不会返回这台宕机的storage server 地址。 参考技术A 哦,我请教了duowan的工程师,他们是让浏览器直接访问storage server的,而cnblog就是让浏览器访问tracker server,然后再302到指定定的storage server,所以我现在还是比较迷糊的……望fish大哥给点思路我,谢谢! 参考技术B 两蚊鸡,你知道了,能不能分享一下啊,这个目前在困扰着我啊 参考技术C 回复 1# 先看一下PPT介绍和论坛中的帖子吧。 参考技术D 我知道了,谢谢!

从零搭建分布式文件系统MinIO比FastDFS要更合适

前两天跟大家分享了一篇关于如何利用FastDFS组件来自建分布式文件系统的文章,有兴趣的朋友可以阅读下《》。通过留言发现大家虽然感兴趣,但是都觉得部署比较麻烦。的确,fastdfs的部署很繁琐,而且也没有官方提供的针对.net core的sdk。而今天带来的MinIO则是一个比fastdfs更好的选择,可以让你足够简单的来部署使用,官方也提供了足够详细的api文档。下面就让我们开始今天的正文吧。

这里说明下为什么今天才进行分享,因为就在几个小时前官方才发布了最新的3.1.12版本的nuget包,解决了BucketExistsAsync的一个bug,不然你还得引用源码才能正常运行。

MinIO是什么?

官方对MinIO的介绍是:高性能,Kubernetes原生支持的对象存储系统。MinIO的高性能软件定义对象存储套件可以使用户能够为机器学习、分析和应用程序数据工作负载构建云原生支持的数据基础设施。下面是几个常用的网址

  • 官网:https://min.io/

  • 中文文档:https://docs.min.io/cn/

  • minio-dotnet:https://github.com/minio/minio-dotnet

MinIO对象存储与其他有本质的不同。它是为性能和S3 API而设计的并100%开源。MinIO非常适合具有严格安全性,在不同的工作负载范围内要求并提供关键任务可用性的大型私有云环境。

MinIO是高性能对象存储的先驱

从零搭建分布式文件系统MinIO比FastDFS要更合适

MinIO是世界上速度最快的对象存储服务器。在标准硬件上,对象存储的读/写速度分别为183 GB/s和171 GB/s,可以作为一组不同工作负载的主存储层,这些工作负载包括Spark、Presto、TensorFlow、H2O.ai以及Hadoop HDFS的替代品。

建立在web规模的规则之上

从零搭建分布式文件系统MinIO比FastDFS要更合适

MinIO利用了web定标器来之不易的知识,为对象存储带来了一个简单的定标器模型。在MinIO,扩展从一个集群开始,这个集群可以与其他MinIO集群联合以创建一个全局命名空间,如果需要,可以跨越多个数据中心。这也是《财富》500强中超过一半的人使用MinIO的原因之一。

为云而生

从零搭建分布式文件系统MinIO比FastDFS要更合适

MinIO是在过去四年中从头开始构建的,是定义云的技术和架构的原生版本。其中包括集装箱化、与Kubernetes的协调、微服务和多租户。没有比Kubernetes更友好的对象存储了。

排名第一的开源对象存储服务,对企业友好

从零搭建分布式文件系统MinIO比FastDFS要更合适

MinIO在Apache V2许可和Affero通用公共许可版本3(AGPLv3)下是100%开源的。这意味着MinIO的客户可以自由锁定、自由检查、自由创新、自由修改和自由重新分配。其部署的多样性使该软件变得更加强大,这是专有软件永远无法提供的。

亚马逊S3兼容性的事实标准

从零搭建分布式文件系统MinIO比FastDFS要更合适

Amazon的S3 API是对象存储领域的事实标准。MinIO是S3兼容性的事实上的标准,是第一个采用API和第一个添加对S3 Select支持的标准之一。包括微软Azure在内的750多家公司使用MinIO的S3网关,这一数字超过了业内其他公司的总和。

简单并且功能非常强大

极简主义是MinIO的一个指导性设计原则。简单性减少了错误的机会,提高了正常运行时间,提供了可靠性,同时也为性能奠定了基础。MinIO可以在几分钟内安装和配置。配置选项和变量的数量保持在最低限度,这将导致几乎为零的系统管理任务和更少的故障路径。

如何安装部署MinIO

官方提供了傻瓜式的UI页面来让你下载部署。下面以windows系统为例来进行演示。

https://min.io/download#/windows

从零搭建分布式文件系统MinIO比FastDFS要更合适点击右侧的下载按钮进行下载即可

然后设置一个文件存储的路径如:E:\MinIO\data

然后进入minio.exe所在的目录,按住Shilft键然后点击鼠标右键打开powershell直接运行如下命令即可:

minio.exe server E:\MinIO\data

从零搭建分布式文件系统MinIO比FastDFS要更合适

看到如上所示的页面说明MinIO就已经运行起来了,简单吧!这时候你用浏览器打开

http://127.0.0.1:9000 即可看到如下的UI

从零搭建分布式文件系统MinIO比FastDFS要更合适

输入上面显示的Access Key 以及Secret Key登录即可

从零搭建分布式文件系统MinIO比FastDFS要更合适

.NET Core集成

这一小节我们就结合我们之前开发的文件存储微服务来写一个MinIO的Provider来支持MinIO的文件上传与下载吧。

这里我只是简单的演示下,所以就用官方提供的实例代码继续演示了。

首先引入nuget包,注意就在写这篇文章前几个小时官方才发布了最新的3.1.12版本的nuget包,解决了BucketExistsAsync的一个bug,所以今天才进行这篇文章的分享。

Install-Package Minio

然后构建MinioClient

 var endpoint  = "127.0.0.1:9000";
var accessKey = "minioadmin";
var secretKey = "minioadmin";
try
{
var minio = new MinioClient(endpoint, accessKey, secretKey).WithSSL();
FileUpload.Run(minio).Wait();
}
catch (Exception ex)
{
Console.WriteLine(ex.Message);
}

上传的代码如下:

private async static Task Run(MinioClient minio)
{
var bucketName = "mymusic";
var location = "us-east-1";
var objectName = "golden-oldies.zip";
var filePath = "C:\\Users\\username\\Downloads\\golden_oldies.mp3";
var contentType = "application/zip";

try
{
// Make a bucket on the server, if not already present.
bool found = await minio.BucketExistsAsync(bucketName);
if (!found)
{
await minio.MakeBucketAsync(bucketName, location);
}
// Upload a file to bucket.
await minio.PutObjectAsync(bucketName, objectName, filePath, contentType);
Console.WriteLine("Successfully uploaded " + objectName );
}
catch (MinioException e)
{
Console.WriteLine("File Upload Error: {0}", e.Message);
}
}

是不是很简单。关于更多api的使用可以查看如下的文档:

这是中文的api文档哦,所以就不说太多了

https://docs.min.io/cn/dotnet-client-api-reference.html

总结

今天跟大家介绍了另一个而且是更好用的分布式文件存储系统,看了MinIO的资料后毫不犹豫的选择了它,然后就无情的把FastDFS给丢弃了。如果你也有构建分布式文件系统的需求不妨关注下这个MinIO。


往期 精彩 回顾













 
   
   
 

给我好看

从零搭建分布式文件系统MinIO比FastDFS要更合适

您看此文用

  从零搭建分布式文件系统MinIO比FastDFS要更合适  从零搭建分布式文件系统MinIO比FastDFS要更合适· 从零搭建分布式文件系统MinIO比FastDFS要更合适  从零搭建分布式文件系统MinIO比FastDFS要更合适

秒,转发只需1秒呦~

好看你就

点点


以上是关于请问fastdfs怎么用比较合适呢?的主要内容,如果未能解决你的问题,请参考以下文章

请问fastdfs如何处理异步地增加和删除文件

从零搭建分布式文件系统MinIO比FastDFS要更合适

求助fastdfs迁移数据的问题

初次用fastdfs,请教关于上传文件的问题

有了cdn为啥还要用fastdfs

请问FastDFS能查看文件列表吗?