Boltdb-key-Value 数据存储纯粹在 Go 中

Posted 2023-02-16

【中文标题】Boltdb-key-Value 数据存储纯粹在 Go 中

【英文标题】：Boltdb-key-Value Data Store purely in Go

【发布时间】：2015-08-22 19:19:29

【问题描述】：

Bolt 在数据文件上获得文件锁，因此多个进程无法同时打开同一个数据库。打开一个已经打开的 Bolt 数据库会导致它挂起，直到其他进程关闭它。

既然如此，有没有像各种客户端同时连接和访问数据库这样的连接池概念？这在boltdb中可以吗？就像数据库中有各种连接同时读写一样。如何实现？

【问题讨论】：

作为基于文件的数据库，由于文件锁的工作方式，它不太可能改变。这也可能是关于 Bolt 存储库而不是 *** 的更好问题：github.com/boltdb/bolt

【参考方案1】：

Bolt 数据库通常嵌入到更大的程序中，并且不像共享数据库那样通过网络使用（想想 SQLite 与 mysql）。如果可能的话，使用 Bolt 有点像拥有一个持久的map[[]byte][]byte。根据您的操作，您可能只想使用 Redis 之类的东西。

也就是说，如果你需要这样使用 Bolt，用一个简单的服务器封装起来并不是很困难。这是一个通过 HTTP 从 Bolt DB 写入/读取密钥的示例。您可以使用Keep-Alive 进行连接池。

代码在：https://github.com/skyec/boltdb-server

package main

import (
    "flag"
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
    "time"

    "github.com/boltdb/bolt"
    "github.com/gorilla/mux"
)

type server struct 
    db *bolt.DB


func newServer(filename string) (s *server, err error) 
    s = &server
    s.db, err = bolt.Open(filename, 0600, &bolt.OptionsTimeout: 1 * time.Second)
    return


func (s *server) Put(bucket, key, contentType string, val []byte) error 
    return s.db.Update(func(tx *bolt.Tx) error 
        b, err := tx.CreateBucketIfNotExists([]byte(bucket))
        if err != nil 
            return err
        
        if err = b.Put([]byte(key), val); err != nil 
            return err
        
        return b.Put([]byte(fmt.Sprintf("%s-ContentType", key)), []byte(contentType))
    )


func (s *server) Get(bucket, key string) (ct string, data []byte, err error) 
    s.db.View(func(tx *bolt.Tx) error 
        b := tx.Bucket([]byte(bucket))
        r := b.Get([]byte(key))
        if r != nil 
            data = make([]byte, len(r))
            copy(data, r)
        

        r = b.Get([]byte(fmt.Sprintf("%s-ContentType", key)))
        ct = string(r)
        return nil
    )
    return


func (s *server) ServeHTTP(w http.ResponseWriter, r *http.Request) 
    vars := mux.Vars(r)

    if vars["bucket"] == "" || vars["key"] == "" 
        http.Error(w, "Missing bucket or key", http.StatusBadRequest)
        return
    

    switch r.Method 
    case "POST", "PUT":
        data, err := ioutil.ReadAll(r.Body)
        if err != nil 
            http.Error(w, err.Error(), http.StatusInternalServerError)
            return
        
        err = s.Put(vars["bucket"], vars["key"], r.Header.Get("Content-Type"), data)
        w.WriteHeader(http.StatusOK)
    case "GET":
        ct, data, err := s.Get(vars["bucket"], vars["key"])
        if err != nil 
            http.Error(w, err.Error(), http.StatusInternalServerError)
            return
        
        w.Header().Add("Content-Type", ct)
        w.Write(data)
    


func main() 
    var (
        addr   string
        dbfile string
    )

    flag.StringVar(&addr, "l", ":9988", "Address to listen on")
    flag.StringVar(&dbfile, "db", "/var/data/bolt.db", "Bolt DB file")
    flag.Parse()

    log.Println("Using Bolt DB file:", dbfile)
    log.Println("Listening on:", addr)

    server, err := newServer(dbfile)
    if err != nil 
        log.Fatalf("Error: %s", err)
    

    router := mux.NewRouter()
    router.Handle("/v1/buckets/bucket/keys/key", server)
    http.Handle("/", router)

    log.Fatal(http.ListenAndServe(addr, nil))

【讨论】：

非常感谢！我了解它与网络上共享的其他数据库有何不同。它将由一个通过网络公开 API 的进程拥有。

听起来不错。像这样包装存储引擎的一个好处是您可以构建接口以满足您的特定需求。您是否只在吞吐量很重要的情况下使用小键和值？使其成为UDP接口。或者也许一个 protobuf 接口更适合你。我将继续修补此代码作为一个副项目。所以可能会尝试这些。祝你好运。

有各种唯一的 id 并且都以毫秒的速度出价，我必须存储它并尽快更新他们当前的支出（直到那时的出价总和）。我使用的模式就像 -- 每个唯一 id 的存储桶，并将时间存储为键，值存储为出价。 --一个用于所有唯一和更新其当前支出的通用存储桶，其中 key=unique id 和 value = latest current spend 。在这种情况下，我应该更喜欢哪个界面。以及如何提高更新值的速度，即我应该使用 db.Update() 还是 db.Batch() 以及如何使用？

这个问题有点离题了。要继续讨论，请随时在我包含的 github 项目上打开一个问题。

在boltdb中如何进行高效的数据分片、数据再平衡和数据分发？

【参考方案2】：

boltdb中没有连接池的概念，因为没有连接。它不是客户端/服务器数据库，而是嵌入式数据库（如 sqlite 或 Berkeley-DB）。

Boltdb 被设计成同一进程的多个 goroutine 可以同时访问数据库（使用不同的事务）。该模型是单个作者，多个读者。 Boltdb 并非旨在支持来自多个进程的访问。

如果您需要一个 Go 程序来使用支持同时从多个进程访问的嵌入式数据库，您可能需要查看 LMDB 的包装器，例如：

https://github.com/szferi/gomdb https://github.com/armon/gomdb

【讨论】：

好的！谢谢。任何人都可以创建一个 boltDB 标签，以便于管理进一步的查询。

boltb 标签刚刚添加。

感谢您的加入！