SQLite3 极简教程 & Go 使用 SQLite 内存模式操作数据结构

Posted 2022-05-12 东海陈光剑

SQLite 简介

关键词: RDBMS (embedded), C

SQLite is a database engine written in the C language. It is not a standalone app; rather, it is a library that software developers embed in their apps.

SQLite是一个开源的、内嵌式的关系型数据库。它最初发布于2000年，在便携性、易用性、紧凑性、有效性和可靠性方面有突出的表现。

对于程序员来说，SQLite就象一个数据传送带，提供了一种方便的将应用程序绑定的数据的方法。就象传送带一样，对SQLite的使用没有终点。

除了仅仅作为一个存储容器，SQLite还可以作为一个单纯的数据处理的工具。如果大小和复杂性合适，使用SQLite可以很容易地 将应用程序所使用的数据结构转化为表，并保存在一个内在数据库中。用此方法，你可以操作互相关联的数据，可以完成很繁重的任务页不必写自己的算法来对数据结构操作和排序。

“SQLite是自由软件。尽管我是它的架构师和代码的主要编写者，但SQLite并不是我的程序。SQLite不属于任何人，也不在版权的保护范围之内。所有曾经为SQLite项目贡献过代码的人都签署过一个宣誓书将他们的贡献发布到公共域，我把这些宣誓书的原件保存在办公室的保险箱里。我还尽力保证在SQLite中不使用专利算法，这些预防措施意味着你可以以任何形式使用SQLite，而不需要付版税、许可证费用或受到其它任何限制。.... 寻求宽恕并宽恕他人。因为你已经免费地得到了SQLite，也请你免费地给予他人一些东西作为回报。做一回志愿者，贡献出其它的软件项目或找到其它途径来回报。 (Richard Hipp Charlotte, NC April 11, 2006)
---摘录来自: “SQLite 权威指南。”

/*
** 2001 September 15
**
** The author disclaims copyright to this source code.  In place of
** a legal notice, here is a blessing:
**
**    May you do good and not evil.
**    May you find forgiveness for yourself and forgive others.
**    May you share freely, never taking more than you give.
**
*************************************************************************
** The code in this file implements the function that runs the
** bytecode of a prepared statement.
**
** Various scripts scan this source file in order to generate html
** documentation, headers files, or other derived files.  The formatting
** of the code in this file is, therefore, important.  See other comments
** in this file for details.  If in doubt, do not deviate from existing
** commenting and indentation practices when changing or adding code.
*/

功能特性

1. ACID事务

2. 零配置 – 无需安装和管理配置

3.储存在单一磁盘文件中的一个完整的数据库

4.数据库文件可以在不同字节顺序的机器间自由的共享

5.支持数据库大小至2TB

6. 足够小, 大致13万行C代码, 4.43M

7. 比一些流行的数据库在大部分普通数据库操作要快

8. 简单, 轻松的API

9. 包含TCL绑定, 同时通过Wrapper支持其他语言的绑定

10. 良好注释的源代码, 并且有着90%以上的测试覆盖率

11. 独立: 没有额外依赖

12. 源码完全的开源, 你可以用于任何用途, 包括出售它

13. 支持多种开发语言，C, C++, php, Perl, Java, C#,Python,Ruby等

SQLite 命令

与关系数据库进行交互的标准 SQLite 命令类似于 SQL。命令包括 CREATE、SELECT、INSERT、UPDATE、DELETE 和 DROP。这些命令基于它们的操作性质可分为以下几种：

DDL - 数据定义语言

命令	描述
CREATE	创建一个新的表，一个表的视图，或者数据库中的其他对象。
ALTER	修改数据库中的某个已有的数据库对象，比如一个表。
DROP	删除整个表，或者表的视图，或者数据库中的其他对象。

DML - 数据操作语言

命令	描述
INSERT	创建一条记录。
UPDATE	修改记录。
DELETE	删除记录。

DQL - 数据查询语言

命令	描述
SELECT	从一个或多个表中检索某些记录。

SQLite虽然很小巧，但是支持的SQL语句不会逊色于其他开源数据库，它支持的SQL包括：

ATTACH DATABASE

BEGIN TRANSACTION

comment

COMMIT TRANSACTION

COPY

CREATE INDEX

CREATE TABLE

CREATE TRIGGER

CREATE VIEW

DELETE

DETACH DATABASE

DROP INDEX

DROP TABLE

DROP TRIGGER

DROP VIEW

END TRANSACTION

EXPLAIN

expression

INSERT

ON CONFLICT clause

PRAGMA

REPLACE

ROLLBACK TRANSACTION

SELECT

UPDATE

SQLite 数据类型

SQLite是无类型的. 这意味着你可以保存任何类型的数据到你所想要保存的任何表的任何列中, 无论这列声明的数据类型是什么(只有在一种情况下不是, 稍后解释). 对于SQLite来说对字段不指定类型是完全有效的. 如:

Create Table ex1(a, b, c);

诚然SQLite允许忽略数据类型, 但是仍然建议在你的Create Table语句中指定数据类型. 因为数据类型对于你和其他的程序员交流, 或者你准备换掉你的数据库引擎时能起到一个提示或帮助的作用.

SQLite支持常见的数据类型, 如:

CREATE TABLE ex2
a VARCHAR(10),
b NVARCHAR(15),
c TEXT,
d INTEGER,
e FLOAT,
f BOOLEAN,
g CLOB,
h BLOB,
i TIMESTAMP,
j NUMERIC(10,5)
k VARYING CHARACTER (24),
l NATIONAL VARYING CHARACTER(16)

前面提到在某种情况下, SQLite的字段并不是无类型的. 即在字段类型为”Integer Primary Key”时.

Go 操作 SQLite 实例

导入依赖 go-sqlite3

import (
    "database/sql"
    "fmt"
    _ "github.com/mattn/go-sqlite3"
    ...
)

创建数据库

database, err := sql.Open("sqlite3", "./alpha.db")

创建表

stmt, _ := database.Prepare("create table if not exists user(id integer primary key, firstname text, lastname text)")
stmt.Exec()

插入数据

stmt, _ = database.Prepare("insert into user( firstname, lastname) values(?,?)")
stmt.Exec("Jack", "Chen")

查询数据

var id int
var firstname string
var lastname string
rows, err := database.Query("select id, firstname, lastname from user")
if nil != err 
    fmt.Println(err)

for rows.Next() 
    rows.Scan(&id, &firstname, &lastname)
    fmt.Println(strconv.Itoa(id) + ": " + firstname + " " + lastname)

完整代码如下

源码:

package sqlite

import (
    "database/sql"
    "fmt"
    _ "github.com/mattn/go-sqlite3"
    "strconv"
    "time"
)

func SQLiteDemo() 
    var start = time.Now().UnixMicro()
    database, err := sql.Open("sqlite3", fmt.Sprintf("./alpha%d.db", start))
    if nil != err 
        fmt.Println(err)
    
    stmt, _ := database.Prepare("create table if not exists user(id integer primary key, firstname text, lastname text)")
    stmt.Exec()

    stmt, _ = database.Prepare("insert into user( firstname, lastname) values(?,?)")
    stmt.Exec("Jack", "Chen")

    var id int
    var firstname string
    var lastname string
    rows, err := database.Query("select id, firstname, lastname from user")
    if nil != err 
        fmt.Println(err)
    
    for rows.Next() 
        rows.Scan(&id, &firstname, &lastname)
        fmt.Println(strconv.Itoa(id) + ": " + firstname + " " + lastname)
    

    var end = time.Now().UnixMicro()
    fmt.Printf("SQLiteDemo: %d\\n", end-start)




// main
package main

import (
    "go_basics/sqlite"
)

func main() 
    sqlite.SQLiteDemo()

磁盘文件模式, 一个简单的"建表-插入-查询"操作需要耗时 5467 μs.

1: Jack Chen
SQLiteDemo: 5467

可以看到,每个 SQLite DB 都有一个 root 表 : sqlite_master

select * from sqlite_master;

--output
type,name,tbl_name,rootpage,sql
table,user,user,2,"CREATE TABLE user(id integer primary key, firstname text, lastname text)"

SQLite 内存模式使用

SQLite In-Memory 模式

SQLite 数据库通常存储在单个普通磁盘文件中。我们也可以使用内存模式。SQLite 数据库单纯的存在于内存中的最常用方法是使用特殊文件名 :memory: 打开数据库。换句话说，不是将真实磁盘文件的名称传递给 sqlite3_open() 函数，而是传入字符串:memory: 。 例如：

rc = sqlite3_open(":memory:"，＆db);

使用说明:

1. 调用此接口完成后，不会打开任何磁盘文件。而是在内存中创建一个新的数据库。
2. 数据库连接关闭后，数据库就不再存在。
3. 每一个memory数据库彼此不同。因此，打开两个数据库连接，每个数据库连接的文件名为“：memory：”，将创建两个独立的内存数据库。

使用内存 SQLite

使用内存 SQLite 姿势: sql.Open("sqlite3", ":memory:") , 代码如下:

database, err := sql.Open("sqlite3", ":memory:")

完整源代码:

func SQLiteInMemoryDemo() 
    var start = time.Now().UnixMicro()

    database, err := sql.Open("sqlite3", ":memory:")
    if nil != err 
        fmt.Println(err)
    
    stmt, _ := database.Prepare("create table if not exists user(id integer primary key, firstname text, lastname text)")
    stmt.Exec()

    stmt, _ = database.Prepare("insert into user( firstname, lastname) values(?,?)")
    stmt.Exec("Jack", "Chen")

    var id int
    var firstname string
    var lastname string
    rows, err := database.Query("select id, firstname, lastname from user")
    if nil != err 
        fmt.Println(err)
    
    for rows.Next() 
        rows.Scan(&id, &firstname, &lastname)
        fmt.Println(strconv.Itoa(id) + ": " + firstname + " " + lastname)
    

    var end = time.Now().UnixMicro()
    fmt.Printf("SQLiteInMemoryDemo: %d", end-start)



// main
package main

import (
    "fmt"
    "go_basics/sqlite"
)

func main() 
    sqlite.SQLiteDemo()
    sqlite.SQLiteInMemoryDemo()

性能耗时: 434 μs (是磁盘模式的 10 倍+)

1: Jack Chen
SQLiteInMemoryDemo: 434

SQLite 体系结构 & 架构组成

SQLite拥有一个精致的、模块化的体系结构，并引进了一些独特的方法进行关系型数据库的管理。它由被组织在3个子系统中的8个独立的模块组成，如图1-2所示。这个模型将查询过程划分为几个不连续的任务，就像在流水线上工作一样。在体系结构栈的顶部编译查询语句，在中部执行它，在底部处理操作系统的存储和接口。

SQLite 存储引擎

SQLite 计算引擎

参考资料

https://www.youtube.com/watch?v=gpxnbly9bz4https://blog.csdn.net/cunjie3951/article/details/106917999

以上是关于SQLite3 极简教程 & Go 使用 SQLite 内存模式操作数据结构的主要内容，如果未能解决你的问题，请参考以下文章

一天一门编程语言Go 语言程序设计极简教程

神奇的 Go 语言：Go 极简教程

Go Quick Start 极简教程 / 陈光剑

Go Mock 接口测试 单元测试 极简教程

Docker极简教程初识

Python搭建QQ聊天机器人极简教程