sqlite使用（python）及性能

Posted 2020-12-22 大尾巴贝贝

python中的使用参照如下API：

 

1	sqlite3.connect(database [,timeout ,other optional arguments]) 该 API 打开一个到 SQLite 数据库文件 database 的链接。您可以使用 ":memory:" 来在 RAM 中打开一个到 database 的数据库连接，而不是在磁盘上打开。如果数据库成功打开，则返回一个连接对象。 当一个数据库被多个连接访问，且其中一个修改了数据库，此时 SQLite 数据库被锁定，直到事务提交。timeout 参数表示连接等待锁定的持续时间，直到发生异常断开连接。timeout 参数默认是 5.0（5 秒）。 如果给定的数据库名称 filename 不存在，则该调用将创建一个数据库。如果您不想在当前目录中创建数据库，那么您可以指定带有路径的文件名，这样您就能在任意地方创建数据库。
2	connection.cursor([cursorClass]) 该例程创建一个 cursor，将在 Python 数据库编程中用到。该方法接受一个单一的可选的参数 cursorClass。如果提供了该参数，则它必须是一个扩展自 sqlite3.Cursor 的自定义的 cursor 类。
3	cursor.execute(sql [, optional parameters]) 该例程执行一个 SQL 语句。该 SQL 语句可以被参数化（即使用占位符代替 SQL 文本）。sqlite3 模块支持两种类型的占位符：问号和命名占位符（命名样式）。 例如：cursor.execute("insert into people values (?, ?)", (who, age))
4	connection.execute(sql [, optional parameters]) 该例程是上面执行的由光标（cursor）对象提供的方法的快捷方式，它通过调用光标（cursor）方法创建了一个中间的光标对象，然后通过给定的参数调用光标的 execute 方法。
5	cursor.executemany(sql, seq_of_parameters) 该例程对 seq_of_parameters 中的所有参数或映射执行一个 SQL 命令。
6	connection.executemany(sql[, parameters]) 该例程是一个由调用光标（cursor）方法创建的中间的光标对象的快捷方式，然后通过给定的参数调用光标的 executemany 方法。
7	cursor.executescript(sql_script) 该例程一旦接收到脚本，会执行多个 SQL 语句。它首先执行 COMMIT 语句，然后执行作为参数传入的 SQL 脚本。所有的 SQL 语句应该用分号 ; 分隔。
8	connection.executescript(sql_script) 该例程是一个由调用光标（cursor）方法创建的中间的光标对象的快捷方式，然后通过给定的参数调用光标的 executescript 方法。
9	connection.total_changes() 该例程返回自数据库连接打开以来被修改、插入或删除的数据库总行数。
10	connection.commit() 该方法提交当前的事务。如果您未调用该方法，那么自您上一次调用 commit() 以来所做的任何动作对其他数据库连接来说是不可见的。
11	connection.rollback() 该方法回滚自上一次调用 commit() 以来对数据库所做的更改。
12	connection.close() 该方法关闭数据库连接。请注意，这不会自动调用 commit()。如果您之前未调用 commit() 方法，就直接关闭数据库连接，您所做的所有更改将全部丢失！
13	cursor.fetchone() 该方法获取查询结果集中的下一行，返回一个单一的序列，当没有更多可用的数据时，则返回 None。
14	cursor.fetchmany([size=cursor.arraysize]) 该方法获取查询结果集中的下一行组，返回一个列表。当没有更多的可用的行时，则返回一个空的列表。该方法尝试获取由 size 参数指定的尽可能多的行。
15	cursor.fetchall() 该例程获取查询结果集中所有（剩余）的行，返回一个列表。当没有可用的行时，则返回一个空的列表。

 

写入例子：

 1 import sqlite3
 2 import os,time
 3 
 4 if os.path.exists(\'a.db\'):
 5     os.remove(\'a.db\')
 6 
 7 conn = sqlite3.connect(\'a.db\')
 8 c = conn.cursor()
 9 conn.executescript("""CREATE TABLE t_process_machine (
10                                   material_name TEXT,
11                                   machine_name TEXT,
12                                   process_name TEXT,
13                                   process_id INTEGER,
14                                   int03 INTEGER,
15                                   process_time INTEGER,
16                                   process_cost REAL,
17                                   campaign_name TEXT,
18                                   dest_pos TEXT,
19                                   int01 INTEGER,
20                                   float01 REAL,
21                                   float02 TEXT,
22                                   float03 TEXT,
23                                   float04 TEXT,
24                                   float05 TEXT,
25                                   float06 TEXT,
26                                   float07 TEXT,
27                                   float08 TEXT,
28                                   float09 TEXT,
29                                   float10 TEXT,
30                                   float11 TEXT,
31                                   float12 TEXT,
32                                   float13 TEXT,
33                                   float14 TEXT,
34                                   float15 TEXT,
35                                   float16 TEXT,
36                                   float17 TEXT,
37                                   float18 TEXT,
38                                   float19 TEXT,
39                                   float20 TEXT,
40                                   int02 INTEGER,
41                                   int04 INTEGER,
42                                   int05 INTEGER,
43                                   int06 TEXT,
44                                   int07 TEXT,
45                                   int08 TEXT,
46                                   int09 TEXT,
47                                   int10 TEXT,
48                                   string01 TEXT,
49                                   string02 TEXT,
50                                   string03 TEXT,
51                                   string04 TEXT,
52                                   string05 TEXT,
53                                   string06 TEXT,
54                                   string07 TEXT,
55                                   string08 TEXT,
56                                   string09 TEXT,
57                                   string10 TEXT,
58                                   string11 TEXT,
59                                   string12 TEXT,
60                                   string13 TEXT,
61                                   string14 TEXT,
62                                   string15 TEXT,
63                                   string16 TEXT,
64                                   string17 TEXT,
65                                   string18 TEXT,
66                                   string19 TEXT,
67                                   string20 TEXT
68                                 );""")
69 
70 # 数据传递到操作系统层后不同步
71 c.execute(\'\'\'PRAGMA synchronous = OFF;\'\'\')
72 #conn.execute(\'PRAGMA synchronous = OFF;\')
73 # 关闭日志，因此不进行回滚或原子提交
74 c.execute(\'\'\'PRAGMA journal_mode = OFF;\'\'\')
75 
76 records_data = []
77 for i in range(80000):
78     records_data.append((\'asdasd\', \'asdad\', \'asd\', 1, 0, 1, 1.0, \'\', \'asdadas\', 1, 1.0, \'1\', \'\', \'\', \'\', \'\', \'\', \'\', \'\', \'\', \'\', \'\', \'\', \'\', \'\', \'\', \'\', \'\', \'\', \'\', 9000, 1, 0, \'\', \'\', \'\', \'\', \'\', \'123123\', \'0\', \'1\', \'0\', \'123\', \'123\', \'123\', \'\', \'123\', \'1001\', \'123\', \'\', \'\', \'\', \'\', \'\', \'\', \'\', \'\', \'\'))
79 
80 start = time.time()
81 c.executemany(\'\'\'INSERT INTO T_PROCESS_MACHINE(
82                         MATERIAL_NAME, MACHINE_NAME, PROCESS_NAME, PROCESS_ID,
83                         INT03, PROCESS_TIME, PROCESS_COST, CAMPAIGN_NAME, DEST_POS,
84                          INT01, FLOAT01, FLOAT02, FLOAT03, FLOAT04, FLOAT05, FLOAT06, FLOAT07,
85                         FLOAT08, FLOAT09, FLOAT10, FLOAT11, FLOAT12, FLOAT13, FLOAT14, FLOAT15,
86                          FLOAT16, FLOAT17, FLOAT18, FLOAT19, FLOAT20, INT02, INT04, INT05, INT06,
87                           INT07, INT08, INT09, INT10, STRING01, STRING02, STRING03, STRING04, STRING05,
88                         STRING06, STRING07, STRING08, STRING09, STRING10, STRING11, STRING12, STRING13,
89                         STRING14, STRING15, STRING16, STRING17, STRING18, STRING19, STRING20)
90                         values(?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,
91     ?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)\'\'\', records_data);
92 
93 
94 #c.executemany(\'insert into quotes(code,high,open,low,close,amount,volume) values(?,?,?,?,?,?,?)\', records_data)
95 
96 conn.commit()
97 conn.close()
98 print(time.time() -start)

sqlite写入性能：

性能方面，C++写入性能较低，python 采用execute_many写入最快，另外写入不要写入None字符，写入空字符更快。

C++测试结果

 

python写入测试