大量文件存储

Posted supper李狗嗨

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大量文件存储相关的知识,希望对你有一定的参考价值。

1、大体积,大量文件存储推荐保存到文件夹中,优点是代码简单,便于管理,容易维护。数据库的空间越大,灾难恢复的时间越长。数据库存储速度不如直接文件系统复制的速度快。 数据库还得校验、计算索引、存储空间分配等……都会拖慢数据恢复的时间。在项目中存在一定风险。

2、大容量的数据存储,有企业级的NAS

3、使用数据库存储的话会增大数据库的空间,以及主从复制的压力

4、使用数据库存储的话如果文件量大且多的话会、加重数据库的I/O负担。现在那么多开源的缓存框架,大家就为了解决一个数据库查询的I/O负担,想想一个文件的数据量。

5、放数据库里,光显示效率就是个问题每个用户访问,都要从数据库里读一遍图片,然后解析?

 

结论:文件轻易别往数据库里放

 

相关参考资料:

  java对图片进行操作,仅仅是小demo

  对海量小文件存储优化的一些理解和TFS介绍

  分布式文件系统对比

  如何设计稳健的数据库之如何减少磁盘IO

  关于图片或者文件在数据库的存储方式归纳

  对于小的图片(<20k)文件用数据库存储与用文件存储的优缺点

  数据存储---五种存储方式简介

  Java读写大文本文件(2GB以上)

  Java JDBC读取大文本类型数据(CLOB)  

  SpringMVC上传压缩文件,解压文件,并检测上传文件中是否有index.html

 

 

 

以上是关于大量文件存储的主要内容,如果未能解决你的问题,请参考以下文章

从 S3 存储桶中读取大量 CSV 文件

Flutter firebase 存储插件需要大量时间来上传文件

定期轮询具有大量文件的 AWS S3 存储桶中的新文件?

在 git 存储库中移动大量大文件

在内部存储最佳实践中保存大量图像

hadoop:hdfs:为什么不适合大量小文件的存储