网站文件系统发展历史

Posted 2020-07-02

网站文件系统发展历史

 

1、单机时代的图片服务器架构

   初创时期由于时间紧迫，开发人员水平也很有限等原因。所以通常就直接在website文件所在的目录下，建立1个upload子目录，用于保存用户上传的图片文件。如果按业务再细分，可以在upload目录下再建立不同的子目录来区分。例如：upload\QA,upload\Face等

优点：实现起来最简单，无需任何复杂技术，就能成功将用户上传的文件写入指定目录。保存数据库记录和访问起来倒是也很方便。

缺点：上传方式混乱，严重不利于网站的扩展。

 

2、单独立文件服务器

   随着公司的业务不断的发展，将服务和文件放在同一服务器下面的弊端越来越明显；这个时候就该上线独立的图片服务器系统；通过ftp或者ssh工具将文件上传到图片服务器的某个目录下面，在通过ngnix或者apache服务器来做图片的访问，给图片服务器配置独立的子域名，例如 img.xx.com。在业务处理文件时通过ftp或者ssh将文件上传到文件服务器，返回给程序一个独立域名的图片url地址，网站正常访问的时候就通过这个URL地址来访问文件。

优点：图片访问是很消耗服务器资源的（因为会涉及到操作系统的上下文切换和磁盘I/O操作）。分离出来后，Web/App服务器可以更专注发挥动态处理的能力；独立存储，更方便做扩容、容灾和数据迁移；方便做图片访问请求的负载均衡，方便应用各种缓存策略（HTTP Header、Proxy Cache等），也更加方便迁移到CDN。

缺点：单机存在性能瓶颈，容灾、垂直扩展性稍差

 

3、分布式文件系统

   业务继续发展，单独单台的服务器存储和响应也很快到达了瓶颈，新的业务要求，文件访问高响应性，高可用性来响应业务对系统的要求。分布式文件系统，一般分为三块内容来配合，服务的存储、访问的仲裁系统，文件存储系统，文件的容灾系统来构成，总裁系统相当于文件服务器的大脑，根据一定的算法来决定文件存储的位置，文件存储系统负责报错文件，容灾系统负责文件系统和自己的相互备份。

优点：扩展能力: 毫无疑问，扩展能力是一个分布式文件系统最重要的特点；高可用性: 在分布式文件系统中，高可用性包含两层，一是整个文件系统的可用性，二是数据的完整和一致性；弹性存储: 可以根据业务需要灵活地增加或缩减数据存储以及增删存储池中的资源，而不需要中断系统运行

缺点：系统复杂度稍高，需要更多服务器