golang实现chunk方式的查询

Posted lijianming180

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了golang实现chunk方式的查询相关的知识，希望对你有一定的参考价值。

<

有一个需求，是把表里面所有的数据都查询出来，并且生成json文件。因为一张表里面的数据很多，所以不可能一次性全部查询出来，所以需要用到chunk。之前用的gorm，但是发现gorm没有chunk方式的查询。如果要自己去实现这种操作，就需要去管理偏移量，而且还容易出现bug，所以就找了一个库，叫做gorose。用起来挺舒服的。

代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
package main

import (
    "fmt"

    "github.com/gohouse/gorose"
)


// type User struct {
//  ID       int
//  UserName string
// }

const (
    dbHost     = "tcp(host.docker.internal:3306)"
    dbName     = "test"大专栏  golang实现chunk方式的查询span>
    dbUser     = "root"
    dbPassword = "123456"
)

func () {
    dsn := dbUser + ":" + dbPassword + "@" + dbHost + "/" + dbName + "?charset=utf8"
    var dbConfig = gorose.DbConfigSingle{
        Driver: "mysql",
        Dsn:    dsn,
    }

    connection, err := gorose.Open(&dbConfig)
    if err != nil {
        fmt.Println(err)
        return
    }

    session := connection.NewSession()

    user := session.Table("users")
    user.Fields("id", "username", "number").Chunk(2, func(data []map[string]interface{}) {
    fmt.Println(data)
    })
}

执行结果如下：

1
2
3
4
5
~/codeDir/golangCode/test # go run main.go
[map[id:1 username:a number:1] map[id:2 username:b number:2]]
[map[number:3 id:3 username:c] map[id:4 username:d number:4]]
[map[id:5 username:e number:5]]
~/codeDir/golangCode/test #

可以看出，每次都会查询出2条记录。

这个框架一个缺点就是文档不是很清楚，报错也有点不习惯。但是先用这个库解决一下chunk查询的问题吧。

以上是关于golang实现chunk方式的查询的主要内容，如果未能解决你的问题，请参考以下文章

Golang实践录：查询数据表的几种方式

代码片段 - Golang 实现简单的 Web 服务器

代码片段 - Golang 实现集合操作

golang代码片段（摘抄）

golang 通过golang发送chunked请求

java 为啥要实现 function？