技术方案：Go 实现的存储服务器，文件系统，Key-Value 存储（特别是Rclone）

Posted 2020-08-31

存储服务器（Storage Server）

Go 实现的存储服务器

• minio - Minio 是一个与 Amazon S3 APIs 兼容的开源对象存储服务器，分布式存储方案
• rclone - “用于云存储的 Rsync” - Google Drive, Amazon Drive, S3, Dropbox, Backblaze B2, One Drive, Swift, Hubic, Cloudfile…
• camlistore - Camlistore 是你的个人存储系统：一种存储、同步、共享、建模和备份内容的方式
• torus - CoreOS 的现代分布式存储系统
• s3git - 云存储的 Git。用于数据的分布式版本控制系统
• rook - 开放、云本地和通用的分布式存储

Key-Value 存储（Key-Value Store）

Go 实现的 Key-Value 存储

• etcd - 可靠的分布式 key-value 存储，用于分布式系统的最关键数据
• go-cache - Go 语言实现的一个内存中的缓存框架，实现 Key-Value 的序列存储，适用于单台机器应用程序
• biscuit - Biscuit 用于 AWS 基础架构建设时多区域 HA key-value 存储
• diskv - 支持磁盘的 key-value 存储

文件系统（File System）

Go 实现的文件系统

• git-lfs - 用于大文件版本控制的 Git 扩展
• seaweedfs - SeaweedFS 是一个用于小文件的简单且高度可扩展的分布式文件系统
• fsnotify - Go 实现的跨平台文件系统监控库
• goofys - Go 实现的高性能，POSIX-ish Amazon S3 文件系统
• go-systemd - systemd 的 Go 语言绑定版（包括socket activation, journal, D-Bus, 和 unit files）
• gcsfuse - 用于与 Google 云存储交互的用户空间文件系统
• svfs - 基于 Openstack 的虚拟文件系统

https://my.oschina.net/editorial-story/blog/838672

http://awesome-go.com/

------------------------------------------------------------------------------------------------------

Rclone is a command line program to sync files and directories to and from

• Google Drive
• Amazon S3
• Openstack Swift / Rackspace cloud files / Memset Memstore
• Dropbox
• Google Cloud Storage
• Amazon Drive
• Microsoft One Drive
• Hubic
• Backblaze B2
• Yandex Disk
• The local filesystem

Features

• MD5/SHA1 hashes checked at all times for file integrity
• Timestamps preserved on files
• Partial syncs supported on a whole file basis
• Copy mode to just copy new/changed files
• Sync (one way) mode to make a directory identical
• Check mode to check for file hash equality
• Can sync to and from network, eg two different cloud accounts
• Optional encryption (Crypt)
• Optional FUSE mount (rclone mount)

Links

•  Home page
•  Github project page for source and bug tracker
•  Rclone Forum
•  Google+ page
• Downloads

 

http://rclone.org/