如何使用golang在clickhouse中使用一个命令插入csv文件

Posted

技术标签:

【中文标题】如何使用golang在clickhouse中使用一个命令插入csv文件【英文标题】:How to insert csv file using one command in clickhouse using golang 【发布时间】:2022-01-22 00:48:02 【问题描述】:

有没有办法在一个命令中使用这个 go library https://github.com/ClickHouse/clickhouse-go 插入 csv 文件(无需读取 csv 并遍历内容。)。如果有办法,您可以为我提供示例。 如果不是,我们如何转换这个系统命令并使用 os/exec 库在 golang 中编写它。 cat /home/srijan/employee.csv | clickhouse-client --query="INSERT INTO test1 FORMAT CSV"

【问题讨论】:

【参考方案1】:

用那个 go 库是不可能的。您可以使用 http api https://clickhouse.com/docs/en/interfaces/http/ 和任何 http go 客户端

例如

package main

import (
        "compress/gzip"
        "fmt"
        "io"
        "io/ioutil"
        "net/http"
        "net/url"
        "os"
)

func compress(data io.Reader) io.Reader 
        pr, pw := io.Pipe()
        gw, err := gzip.NewWriterLevel(pw, int(3))
        if err != nil 
                panic(err)
        

        go func() 
                _, _ = io.Copy(gw, data)
                gw.Close()
                pw.Close()
        ()

        return pr


func main() 
        p, err := url.Parse("http://localhost:8123/")
        if err != nil 
                panic(err)
        
        q := p.Query()

        q.Set("query", "INSERT INTO test1 FORMAT CSV")
        p.RawQuery = q.Encode()
        queryUrl := p.String()

        var req *http.Request


        req, err = http.NewRequest("POST", queryUrl, compress(os.Stdin))
        req.Header.Add("Content-Encoding", "gzip")

        if err != nil 
                panic(err)
        

        client := &http.Client
                Transport: &http.TransportDisableKeepAlives: true,
        
        resp, err := client.Do(req)
        if err != nil 
                panic(err)
        
        defer resp.Body.Close()

        body, _ := ioutil.ReadAll(resp.Body)

        if resp.StatusCode != 200 
                panic(fmt.Errorf("clickhouse response status %d: %s", resp.StatusCode, string(body)))
        

【讨论】:

感谢@Denny Crane 的解决方案

以上是关于如何使用golang在clickhouse中使用一个命令插入csv文件的主要内容,如果未能解决你的问题,请参考以下文章

如何在 Travis 中使用 Clickhouse

如何在 clickhouse 中使用 groupBitmapAnd 和 AggregatingMergeTree 引擎?

如何在 ClickHouse 中使用分隔符连接 INT

如何在 Clickhouse 中使用 group by 间隔 1 小时?

如何在 Clickhouse 中使用主键和外键的功能?

如何在 ClickHouse 中使用 lambda max(a,b) 函数?