在Windows上自建nfs,性能比较差,这个怎么办?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在Windows上自建nfs,性能比较差,这个怎么办?相关的知识,希望对你有一定的参考价值。

在Windows上自建nfs,性能比较差,这个怎么办?

本文描述了在应用环境为Windows系统下,需要使用文件存储的场景。本文采用了私有化部署的方式向用户提供了文件共享存储服务。用NFS协议,搭建Windows环境NFS服务,为Windows系统下的云主机提供共享访问服务。
存储格式都有哪些?
文件、块和对象是三种以不同的方式来保存、整理和呈现数据的存储格式。这些格式各有各的功能和限制。文件存储会以文件和文件夹的层次结构来整理和呈现数据;块存储会将数据拆分到任意划分且大小相同的卷中; 对象存储会管理数据并将其链接至关联的元数据
块存储
块存储主要是将裸磁盘空间整个映射给主机使用的,就是说例如磁盘阵列里面有5块硬盘(为方便说明,假设每个硬盘1G),然后可以通过划逻辑盘、做Raid、或者LVM(逻辑卷)等种种方式逻辑划分出N个逻辑的硬盘。(假设划分完的逻辑盘也是5个,每个也是1G,但是这5个1G的逻辑盘已经于原来的5个物理硬盘意义完全不同了。例如第一个逻辑硬盘A里面,可能第一个200M是来自物理硬盘1,第二个200M是来自物理硬盘2,所以逻辑硬盘A是由多个物理硬盘逻辑虚构出来的硬盘。)
典型设备:磁盘阵列,硬盘
文件存储
为了克服块存储文件无法共享的问题,所以有了文件存储。主要功能是通过网络(一般是局域网)让不同的主机系统之间可以共享文件或目录。本文文件存储采用NFS协议,NFS客户端(一般为应用服务器,例如Web)可以通过挂载(mount)的方式将NFS服务器端共享的数据目录挂载带NFS客户端本地系统中(就是某一个挂载点下)。从客户端本地看,NFS服务器端共享的目录就好像是客户端自己的磁盘分区或目录一样,而实际上确实远端的NFS服务器的目录。
典型设备:FTP、NAS
对象存储
对象存储系统(Object-Based Storage System)是综合了NAS和SAN的优点,同时具有SAN的高速直接访问和NAS的数据共享等优势,提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构。对象存储主要操作对象是对象(Object)。和文件和对象存储相比,没有随机读写的接口。和文件存储相比,没有目录树的概念。协议更注重简洁。
典型设备:内置大容量硬盘的分布式服务器、京东云OSS即对象存储
文件存储的适用场景
文件与较底层的块存储不同, 上升到了应用层, 一般指的就是NAS ,一套网络储存设备, 通过TCP/IP进行访问, 协议为NFSv3/v4由于通过网络。下面简单介绍以下NFS存储适用的两个场景,当然,还有更多的场景适合使用文件存储,本文不一一列出。
Web 服务
前端面向终端用户的服务由多台web服务器提供,多台服务器需要共享文件存储,文件系统、文件命名约定和权限等符合应用系统需求。
媒资管理
媒体行业由于其工作流和媒资是一直变化的,很多用户使用多云或混合云,媒体的剪辑、编辑在本地进行,存储和分发在云端,由于文件存储可以和现有的系统轻松的集成,因此,很多用户将文件存储用于媒资管理。
Windows环境下的NFS文件服务的搭建

选择Windows系统搭建NFS协议文件存储系统的优势如下:
系统交付后由用户进行维护,用户对Windows系统熟悉;
部分应用系统只能访问文件存储;
微软的SMB协议是面向网络连接的共享协议,对网络传输的可靠性要求高,常使用TCP/IP;NFS是独立于传输的,可使用TCP或UDP,同时考虑后期有linux系统扩容需求,故选择NFS协议。
京东云提供Linux环境的文件存储服务,无需另行搭建。(详见https://www.jdcloud.com/cn/products/cloud-file-service)
本设计的优势:
共享访问-您在同一子网内的多台云主机可以共享同一个云文件服务中的文件存储系统。对于多个应用实例需要共享通用数据源的场景,特别适合使用云文件服务实现。
易于使用-支持标准的NFS协议,提供全托管的服务,无需修改应用,通过标准的文件系统挂载步骤即可实现无缝集成。极大降低迁移成本,简化云上项目开发。
稳定可靠-本系统存储基于京东云云硬盘,采用3副本冗余存储,提供超强的稳定性和可靠性,满足应用服务对文件系统的可用性和可靠性需求。
易于扩展-本系统存储基于京东云云硬盘,可根据业务需求进行存储空间的扩展。
一、创建NFS服务主机
1、创建实例
在京东云上创建一台云主机,作为NFS服务器;NFS服务要和已有云资源创建在同一区域,同一VPC中。
登录京东云控制台,选择弹性计算-云主机-实例,选择创建实例所属地域,点击“创建”按钮,进入云主机购买页面。

2、选择计费模式
包年包月和按配置计费,包年包月按一个正月进行购买付费,按配置计费按照实际使用的时长(精确至秒)每小时进行扣费。

3、地域与可用区选择
在此步骤仍可以选择实例对应的地域(华北-北京、华南-广州、华东-宿迁及华东-上海)及可用区,请注意“不同地域资源内网不互通,创建之后不可更改”,如果所选地域限额已满,可以通过提交工单提升限额。

4、创建方式选择
提供三种创建方式 自定义创建、使用实例模板创建、在高可用组内创建,后两种需要您预先创建好实例模板和高可用组,我们使用保持默认选项“自定义创建”。

5、选择windows系统镜像
镜像分为云硬盘系统盘镜像及本地盘系统盘镜像,前者仅支持创建系统盘为云硬盘的实例,后者仅支持创建系统盘为本地盘的实例。因为搭建windows系统环境的NFS存储,故镜像选择官方-windows server-windows server 2012 R2标准版。

6、选择实例规格
实例的规格支持用户自定义选择,从最小的1核1G(如g.s1.micro)到72C576GB(如m.n2.18xlarge),用户可以根据不同业务场景选择实例规格及相应配置。考虑到NFS对主机计算性能要求不高,选择2核4G规格主机。

7、配置NFS存储
云主机数据盘:数据盘为NFS系统存储盘,可以根据实际业务需要选择容量。(此处选择20G为例)

8、配置实例网络
选择私有网络及子网:VPC子网选择与需要访问NFS存储的云主机所在的VPC。
选择内网IP分配方式:如对内网IP地址没有特殊要求,可以不指定由系统自动在子网可用网段内分配,如需指定请在提示范围内输入,系统会校验IP是否可用。须注意的是,若选择自定义内网IP地址,则无法批量创建实例。
9、选择安全组
实例在创建时必须绑定一个安全组,若当前地域下未创建自定义安全组,可以在系统创建的三个默认安全组中选择一个绑定(每个私有网络创建成功之后都会自动创建三个默认安全组),也可以通过快速入口前往安全组页面创建安全组。由于官方镜像系统内防火墙默认关闭,建议绑定仅开放22端口(Linux)或3389端口(Windows)的安全组,实例创建之后再根据访问需求创建新的安全组并绑定。

10、配置公网带宽
带宽计费方式:京东云提供按固定带宽和按使用流量两种带宽计费类型的弹性公网IP,按固定带宽计费按购买时设置的带宽上限值付费,而与实际访问公网所用带宽无关,按使用流量计费则根据您实时访问公网的实际流量计费。
线路:弹性公网IP线路分为:BGP和非BGP,若您需要更快更高效的网络接入请选用BGP。
带宽范围:1Mbps~200Mbps。在创建主机过程中可以暂不购买公网IP,完成主机创建后,再进行绑定。
NFS存储如果只供VPC内云主机使用,可以不购买公网IP和带宽。

11、设置实例名称、描述
您需要设置创建的主机名,名称不可为空,只支持中文、数字、大小写字母、英文下划线“ _ ”及中划线“ - ”,且不能超过32字符,如果为批量创建购买,名称以“xxx1”、“xxx2”依次显示。同时支持为实例添加描述,描述允许为空,若添加长度不能超过256字符。

12、设置密码
可以选择“立即设置”密码,也可以选择“暂不设置”(系统会以短信和邮件方式发送默认密码),密码除了用于SSH登录实例时的密码,也是控制台通过VNC登录实例的密码。

确认云主机数量及购买时长 购买数量受限该地域您云主机、云硬盘、公网IP限额以及所选子网剩余IP数量,若限额不够,可通过提交工单提升限额。若购买包年包月实例,则需要设置购买时长,最短为1个月,最长为2年,支付十个月费用即可享受一年服务。若需要更长服务时长请提交工单。
点击确认后,返回到控制台,显示创建中,待状态为运行,NFS服务主机创建完毕。

13、登陆云主机

14、添加数据盘
打开,开始菜单-服务器管理器-文件和存储服务-磁盘,如下图:

选择数据硬盘,右键选择新建卷,文件格式为NTSF

二、建立NFS服务

1、安装NFS服务器端组件
打开,开始菜单-服务器管理器”,在主页仪表板中单击“添加角色和功能”,如下图所示。

在“开始之前”对话框中,会显示配置成NFS服务器必要的前提步骤,请按文字介绍的注意事项确认一下,如果没有问题的话,可以单击“下一步”,如下图所示:

在“安装类型”对话框中,选择“基于角色或基于功能的安装”,然后单击“下一步”,如下图所示:

在“服务器选择”对话框中,选择“从服务器池中选择服务器”,然后单击“下一步”:

在“服务器角色”对话框中,选择“文件和存储服务”中“NFS服务器”,然后单击“下一步”,如下图所示:

继续单击“下一步”,如下图所示:

在“确认”对话框中,可以看到我们从第一步到最后一步选择的参数等信息,如果有要修改的地方,可以单击“上一步”返回修改,确认没有问题的话,可以单击“安装”,如下图所示:

至此,Windows系统的NFS服务端安装完毕,根据提示重启服务器。

2、创建共享服务
NFS服务端安装完毕,回到服务器管理器,选择文件和存储服务

选择 共享-启动新加共享向导

选择“NFS共享-快速”

选择数据盘,设置共享名称

选择“身份验证”相关配置,如下图所示:

设置共享权限,权限请根据实际需要设置

创建完毕,显示”已成功创建共享“,如下图所示:

3、设置共享文件夹
在要设定共享的文件夹属性中,选择“NFS共享”栏位,点击“管理NFS共享”, 在“NFS高级共享”对话框中,选择并勾选“共享此文件夹”:

返回服务器管理器,共享对话框中,可以看到刚才新建的文件夹共享已经成功
参考资料:
1、文件存储、块存储还是对象存储?redhat官网
2、块存储、文件存储、对象存储这三者的本质差别是什么?.知乎.2016-1-1[引用日期2017-10-04]
(https://baike.baidu.com/reference/18736489/a856jWYROoQogtX1hq-v--jSQA2gCYgCMBplvTmv4CMzJVb0PTNGi7CQM2ibtJ9eszIN8DDnq7HllTzPhZeTnP8engs)
3、今非昔比:块存储的复杂度提高 .TechTarget存储[引用日期2015-10-21](https://baike.baidu.com/reference/18736489/df951veTu23yPnTvtfOXTvBUpDPjuA8ViuooVBW0NDOiB3qp_rJK0l8aRaFmmhbzPj4Kk-4OMDrn9AGlEt1D-YeUws8wnhuYuc7rJUcaI-B0fg)

点击"京东云"了解更多详情
参考技术A 把磁盘格式改成ntfs格式就行了。如果fat32的格式不支持大于4G的文件,有很多软件可以修改格式。自己去搜吧。最好在更改格式之前备份该磁盘上的文件。虽然说无损转换,但不能保证不被破坏= = = = = = = = = = FAT32转换NTFS格式的命令会转换文件。转换为NTFS文件系统的卷不能再转换回FAT或FAT32。语法convert[Volume]/fs:NTFS[/v][/CVT area:filename][/no security][/x]参数Volume指定要转换为NIFS的驱动器号(后跟冒号)、装入点或卷名。/fs:需要ntfs。将卷转换为NTFS。/v指定详细模式,即转换期间将显示所有消息。/cvtarea:FileName仅适用于高级用户。指定将主文件表(MFT)和其他NTFS元数据文件写入相邻的现有占位符文件。该文件必须位于要转换的文件系统的根目录中。如果使用/CVTAREA参数,转换后的文件系统会有较少的碎片。为了获得最佳结果,文件大小应该是1 KB与文件系统中文件和目录数量的乘积。但是,转换工具也接受任何大小的文件。重要说明:在运行convert之前,必须首先使用fsutil file createnew命令创建一个占位符文件。Convert不会创建此文件。转换用NTFS元数据覆盖该文件。转换完成后,该文件中所有未使用的空间都将被释放。有关fsutil file命令的更多信息,请参见相关主题。/nosecurity对于转换后的文件和目录的安全设置,请指定每个人都可以访问它们。/x如有必要,请在转换前使用此参数卸载卷。这个卷的任何打开的句柄都不再有效。注意如果convert无法锁定驱动器(例如,驱动器是系统卷或当前驱动器),它将在下次重新启动计算机时转换该驱动器。如果您无法立即重新启动计算机来完成转换,请安排一个时间来重新启动计算机,并留出转换过程所需的时间。对于从FAT或FAT32转换为NTFS的卷,由于当前正在使用该磁盘,因此将在不同于最初使用NTFS格式化的卷的位置创建MFT,因此该卷的性能可能不如最初使用NTFS格式化的卷。为了获得最佳性能,请考虑重新创建这些卷,并用NTFS文件系统格式化它们。从FAT转换为NTFS的卷中的文件是完整的,但是与最初用NTFS格式化的卷相比,该卷可能会失去一些性能优势。例如,MFT可能会在转换后的卷上变成碎片。此外,在转换后的启动卷上,convert将应用Windows安装期间应用的相同默认安全设置。有关使用/cvtarea参数的更多信息,请参见Microsoft resource kit网站上的“文件系统”。()示例要将驱动器E上的卷转换为ntfs并显示所有消息,请键入:convert e:/fs:ntfs /v系统自带FAT32命令转换NTFS格式(x是要转换的分区的驱动器号):1 .单击启动程序附件命令提示符2。打开窗口后,在光标提示处输入“convert X:/FS:NTFS”,然后回车。注意“covert”后面有一个空格。3.然后系统会让你输入X盘的标签,然后回车。(点击“我的电脑”标签中的X盘,然后查看其属性即可找到。)这样,只需将分区格式转换为NTFS即可。此方法只能用于将FAT32转换为NTFS,而不能将NTFS转换为FAT32。
Ntfs不能以其他格式旋转。
一般不降。有实际测试结果吗?
参考技术B 如果是内网,提高硬盘随机读取速度,以及换更好的网口,最好千兆网口,
如果是公网,上面的问题解决后,可以看自己网络的上传速度是否有极限。
以及nfs是否配置正确

以上是关于在Windows上自建nfs,性能比较差,这个怎么办?的主要内容,如果未能解决你的问题,请参考以下文章

在华为云上自建聊天平台遇到的坑(开放端口)

配置ECS上自建MySQL作为RDS从库过程中踩到的坑

不同服务器的mysql数据库同步

windows10音频图形隔离,怎么关掉,玩游戏的时候会时不时的掉帧,到网上差是说这个东西占cpu,求怎么关掉

如何解决BI系统性能差响应慢的问题

性能调优案例 | 表多量大性能差,怎么破?