golang实现mysql数据库备份

Posted zhoutk

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了golang实现mysql数据库备份相关的知识,希望对你有一定的参考价值。

背景

navicat是mysql可视化工具中最棒的,但是,在处理视图的导入导出方面,它是按照视图名称的字母顺序来处理的,若视图存在依赖,在导入过程中就会报错。前面已经用python写了一个,但在使用过程中,遇到xfffd编码,python的pymysql会直接崩溃。发现golang没有这个问题,正好用go重写,来熟悉golang。

一些关键点

  1. map & json,在处理主键与外键信息时,需要用到json数据结构来存储中间结果,因为要灵活处理,在golang中只能用map[string]interface{}来处理。
  2. interface{} 相当于java中的object,能接受任意数据类型,方便但在使用时要做到心中有数,不然一旦数据类型不匹配,程序就会崩溃。
  3. xfffd ,utf8中的占位符,超出范围的utf8mb4入库后,会被存储为xfffd,数据导出时,需要过滤掉。
  4. goroutine, golang的并发支持很独特,我们的工具支持多个库同时备份,很容易使用goroutine来实现并行。

代码解析

按功能模块对核心代码进行说明

main.go,并发、命令行参数

使用命令行参数,接受一个参数,来指定备份的内容
package common

type OpFlag struct {
    Tables bool            //表结构
    Datum bool             //表结构和数据
    Views bool             //视图
    Funcs bool             //函数与存储过程
}

main.go,程序入口,处理命令行参数

    if len(os.Args) > 1 {
        flag = common.OpFlag{
            Tables: false,
            Datum: false,
            Views: false,
            Funcs: false,
        }
        switch os.Args[1] {          //接受一个参数
        case "table":
            flag.Tables = true       //根据参数设定标识量
        case "data":
            flag.Tables = true
            flag.Datum = true
        case "views":
            flag.Views = true
        case "funcs":
            flag.Funcs = true
        default:                    //参数不正确,报错退出
            log.Fatal("You arg must be in : table, data, views or funcs.")
        }
    }else{                        //无参数,默认导出所有
        flag = common.OpFlag{
            Tables: true,
            Datum: true,
            Views: true,
            Funcs: true,
        }
    }
    err := backUp.Export(flag)  根据参数进行数据库备份

Export.go

备份主流程,根据configs.json生成goroutine来备份数据库,并等待完成。

var configs interface{}
    fr, err := os.Open("./configs.json")
    if err != nil {
        return err
    }
    decoder := json.NewDecoder(fr)                 //解析配置文件
    err = decoder.Decode(&configs)
    confs := configs.(map[string]interface{})
    workDir := confs["workDir"].(string)
    ch := make(chan string)                       //通道变量
    for key, value := range confs {
        if strings.HasPrefix(key, "db_") {
            dbConf := value.(map[string]interface{})
            dbConn := common.DbConnFields{      //数据库相应配置
                DbHost:    dbConf["db_host"].(string),
                DbPort:    int(dbConf["db_port"].(float64)),
                DbUser:    dbConf["db_user"].(string),
                DbPass:    dbConf["db_pass"].(string),
                DbName:    dbConf["db_name"].(string),
                DbCharset: dbConf["db_charset"].(string),
            }
            if dbConf["file_alias"] != nil {    //生成sql备份文件的命名
                dbConn.FileAlias = dbConf["file_alias"].(string)
            }
            go ExportOne(dbConn, workDir, ch, flag)  //创建协程
        }
    }
    for key := range confs {                        //阻塞主进程,待所有协程完成工作
        if strings.HasPrefix(key, "db_") {
            fmt.Print( <- ch )
        }
    }
    return nil

你需要编写如下的配置文件来描述你要备份的数据库:

{
    "db_name1": {
        "db_host": "192.168.1.8",
        "db_port": 3306,
        "db_user": "root",
        "db_pass": "123456",
        "db_name": "name1",
        "db_charset": "utf8mb4",
        "file_alias": "file name1"
    },
    "db_name2": {
        "db_host": "localhost",
        "db_port": 3306,
        "db_user": "root",
        "db_pass": "123456",
        "db_name": "name2",
        "db_charset": "utf8mb4"
    },
    "database_dialect": "mysql",
    "workDir": "/home/zhoutk/gocodes/goTools/"
}

ExportOne.go

备份一个数据库

    fileName := fields.FileAlias
    setSqlHeader(fields, fileName)            //设置导出文件说明

    if flag.Tables {                        //如果表设置为真,导出表结构
        err := exportTables(fileName, fields, flag)   //具体算法请参照源代码
        if err != nil {
            ch <- fmt.Sprintln("Error: ", fields.DbName, "	 export tables throw, 	", err)
            return
        }
    }

    if flag.Views {                       //如果视图设置为真,导出视图
        err := exportViews(fileName, fields)//具体算法请参照源代码,或python算法
        if err != nil {
            ch <- fmt.Sprintln("Error: ", fields.DbName, "	 export views throw, 	", err)
            return
        }
    }

    if flag.Funcs {                //如果函数设置为真,导出函数和存储过程
        err := exportFuncs(fileName, fields)//具体算法请参照源代码
        if err != nil {
            ch <- fmt.Sprintln("Error: ", fields.DbName, "	 export funcs throw, 	", err)
            return
        }
    }
    //导出工作完成,向通道输入信息
    ch <- fmt.Sprintln("Export ", fields.DbName, "	 success at 	", time.Now().Format("2006-01-02 15:04:05"))      

MysqlDao.go

数据库查询通用封装,此工具只使用了ExecuteWithDbConn。灵活的使用map与interface{},将结果转化为键值对象返回。

func ExecuteWithDbConn(sql string, values []interface{}, fields common.DbConnFields) (map[string]interface{}, error)  {
    rs := make(map[string]interface{})
    dao, err := mysql.Open("mysql", fields.DbUser + ":"+fields.DbPass+"@tcp("+fields.DbHost+":"+
        strconv.Itoa(fields.DbPort)+")/"+fields.DbName+"?charset="+fields.DbCharset)
    defer dao.Close()
    if err != nil {
        rs["code"] = 204
        return rs, err
    }
    stmt, err := dao.Prepare(sql)
    if err != nil {
        rs["code"] = 204
        return rs, err
    }
    rows, err := stmt.Query(values...)
    if err != nil {
        rs["code"] = 204
        return rs, err
    }

    columns, err := rows.Columns()       //取出字段名称
    vs := make([]mysql.RawBytes, len(columns))
    scans := make([]interface{}, len(columns))

    for i := range vs {                 //预设取值地址
        scans[i] = &vs[i]
    }

    var result []map[string]interface{}
    for rows.Next() {
        _ = rows.Scan(scans...)        //塡入一列值
        each := make(map[string]interface{})

        for i, col := range vs {
            if col != nil {
                each[columns[i]] = FilterHolder(string(col)) //过滤/xfffd
            }else{
                each[columns[i]] = nil
            }
        }

        result = append(result, each)
    }
    rs["code"] = 200
    //data, _ := json.Marshal(result)
    rs["rows"] = result
    return rs, err
}

项目地址

https://github.com/zhoutk/goTools

使用方法

git clone https://github.com/zhoutk/goTools
cd goTools
go get
go run main.go

go buid main.go
./main                  #export all things of database
./main table            #export tables
./main data             #export tables & data
./main views            #export views
./main funcs            #export funcs & stored procedures

小结

熟悉了golang语言,了解了一种全新的并发编程模式,给自己生成了一个方便的工具。

以上是关于golang实现mysql数据库备份的主要内容,如果未能解决你的问题,请参考以下文章

代码片段 - Golang 实现集合操作

golang代码片段(摘抄)

golang goroutine例子[golang并发代码片段]

golangmysql可扩展分表代码

如何用Java实现MySQL数据库的备份和恢复

web服务文件更新自动同步数据库主从复制shell脚本实现网站代码备份和mysql备份