如何将从接口取到的json数据存入mysql数据库

Posted 2023-05-02

mysql数据库建立表，存储json字段用text类型
然后从接口中获取JSON数据，转成STRING格式，直接插入到这个字段就可以了。 参考技术A json的数据json.loads进来以后会变成一个json的对象，你需要自己把python对象中的字段值取出来，拼成sql语句

你可以把这个过程封装成一个函数

import json
def save_json(json_str):
obj = json.loads(json_str)

sql = 'insert into tbl values ("%s")' % obj['id'] #这里注意编码，要转成数据库的编码格式

#blabla 参考技术B

我们知道，JSON是一种轻量级的数据交互的格式，大部分NO SQL数据库的存储都用JSON。MySQL从5.7开始支持JSON格式的数据存储，并且新增了很多JSON相关函数。MySQL 8.0 又带来了一个新的把JSON转换为TABLE的函数JSON_TABLE，实现了JSON到表的转换。

举例一

我们看下简单的例子：

简单定义一个两级JSON 对象

mysql> set @ytt='"name":["a":"ytt","b":"action",  "a":"dble","b":"shard","a":"mysql","b":"oracle"]';Query OK, 0 rows affected (0.00 sec)

第一级：

mysql> select json_keys(@ytt);+-----------------+| json_keys(@ytt) |+-----------------+| ["name"]        |+-----------------+1 row in set (0.00 sec)

第二级：

mysql> select json_keys(@ytt,'$.name[0]');+-----------------------------+| json_keys(@ytt,'$.name[0]') |+-----------------------------+| ["a", "b"]                  |+-----------------------------+1 row in set (0.00 sec)

我们使用MySQL 8.0 的JSON_TABLE 来转换 @ytt。

mysql> select * from json_table(@ytt,'$.name[*]' columns (f1 varchar(10) path '$.a', f2 varchar(10) path '$.b')) as tt;

+-------+--------+

| f1    | f2     |

+-------+--------+

| ytt   | action |

| dble  | shard  |

| mysql | oracle |

+-------+--------+

3 rows in set (0.00 sec)

举例二

再来一个复杂点的例子，用的是EXPLAIN 的JSON结果集。

JSON 串 @json_str1。

set @json_str1 = '  "query_block":    "select_id": 1,    "cost_info":      "query_cost": "1.00"    ,    "table":      "table_name": "bigtable",      "access_type": "const",      "possible_keys": [        "id"      ],      "key": "id",      "used_key_parts": [        "id"      ],      "key_length": "8",      "ref": [        "const"      ],      "rows_examined_per_scan": 1,      "rows_produced_per_join": 1,      "filtered": "100.00",      "cost_info":        "read_cost": "0.00",        "eval_cost": "0.20",        "prefix_cost": "0.00",        "data_read_per_join": "176"      ,      "used_columns": [        "id",        "log_time",        "str1",        "str2"      ]      ';




第一级：

mysql> select json_keys(@json_str1) as 'first_object';+-----------------+| first_object    |+-----------------+| ["query_block"] |+-----------------+1 row in set (0.00 sec)




第二级：

mysql> select json_keys(@json_str1,'$.query_block') as 'second_object';+-------------------------------------+| second_object                       |+-------------------------------------+| ["table", "cost_info", "select_id"] |+-------------------------------------+1 row in set (0.00 sec)




第三级：

mysql>  select json_keys(@json_str1,'$.query_block.table') as 'third_object'\\G*************************** 1. row ***************************third_object: ["key","ref","filtered","cost_info","key_length","table_name","access_type","used_columns","possible_keys","used_key_parts","rows_examined_per_scan","rows_produced_per_join"]1 row in set (0.01 sec)




第四级：

mysql> select json_extract(@json_str1,'$.query_block.table.cost_info') as 'forth_object'\\G*************************** 1. row ***************************forth_object: "eval_cost":"0.20","read_cost":"0.00","prefix_cost":"0.00","data_read_per_join":"176"1 row in set (0.00 sec)




那我们把这个JSON 串转换为表。

SELECT * FROM JSON_TABLE(@json_str1,

"$.query_block"

COLUMNS(

rowid FOR ORDINALITY,

NESTED PATH '$.table'

COLUMNS (

a1_1 varchar(100) PATH '$.key',

a1_2 varchar(100) PATH '$.ref[0]',

a1_3 varchar(100) PATH '$.filtered',

nested path '$.cost_info'

columns (

a2_1 varchar(100) PATH '$.eval_cost' ,

a2_2 varchar(100) PATH '$.read_cost',

a2_3 varchar(100) PATH '$.prefix_cost',

a2_4 varchar(100) PATH '$.data_read_per_join'

),

a3 varchar(100) PATH '$.key_length',

a4 varchar(100) PATH '$.table_name',

a5 varchar(100) PATH '$.access_type',

a6 varchar(100) PATH '$.used_key_parts[0]',

a7 varchar(100) PATH '$.rows_examined_per_scan',

a8 varchar(100) PATH '$.rows_produced_per_join',

a9 varchar(100) PATH '$.key'

),

NESTED PATH '$.cost_info'

columns (

b1_1 varchar(100) path '$.query_cost'

),

c INT path "$.select_id"

)

) AS tt;

+-------+------+-------+--------+------+------+------+------+------+----------+-------+------+------+------+------+------+------+

| rowid | a1_1 | a1_2  | a1_3   | a2_1 | a2_2 | a2_3 | a2_4 | a3   | a4       | a5    | a6   | a7   | a8   | a9   | b1_1 | c    |

+-------+------+-------+--------+------+------+------+------+------+----------+-------+------+------+------+------+------+------+

|     1 | id   | const | 100.00 | 0.20 | 0.00 | 0.00 | 176  | 8    | bigtable | const | id   | 1    | 1    | id   | NULL |    1 |

|     1 | NULL | NULL  | NULL   | NULL | NULL | NULL | NULL | NULL | NULL     | NULL  | NULL | NULL | NULL | NULL | 1.00 |    1 |

+-------+------+-------+--------+------+------+------+------+------+----------+-------+------+------+------+------+------+------+

2 rows in set (0.00 sec)

当然，JSON_table 函数还有其他的用法，我这里不一一列举了，详细的参考手册。



请点击输入图片描述

请点击输入图片描述

修改回答

使用Python向MySQL数据库中存入json类型数据

0.说明

    因为出于个人项目的需要，获取到的数据都是json类型的，并且都要存入MySQL数据库中，因为json类型数据不像一般的文本数据，所以在存入MySQL时需要注意的问题很多。

    在网上找了很多方法，整理了一下比较实用可靠的，总结下来就是下面的过程：

• MySQL表中需要保证存储json数据的列类型为BLOB；

• 使用sql语句时，使用MySQLdb.excape_string函数来对json数据进行转义；

• 查询数据时，将结果使用json.loads就能够得到原来的Python数据类型；

    下面就来实战一下，实际上，在我的需求中，我需要将Python中的字典存入MySQL，所以只能先将其转换为json来处理。

---

1.实战存储json数据到MySQL中

（1）数据存储

• 1.创建能存储json数据类型的数据库表

mysql> create table jsondata
    -> (
    -> id int(6) auto_increment primary key,
    -> data blob(1024)
    -> );
Query OK, 0 rows affected (0.25 sec)

mysql> show tables;
+-------------------+
| Tables_in_spyinux |
+-------------------+
| jsondata          |
| test              |
+-------------------+
2 rows in set (0.00 sec)

mysql> describe jsondata;
+-------+--------+------+-----+---------+----------------+
| Field | Type   | Null | Key | Default | Extra          |
+-------+--------+------+-----+---------+----------------+
| id    | int(6) | NO   | PRI | NULL    | auto_increment |
| data  | blob   | YES  |     | NULL    |                |
+-------+--------+------+-----+---------+----------------+
2 rows in set (0.00 sec)

• 2.使用Python生成json数据类型

>>> import json
>>> d = {‘name‘: ‘xpleaf‘}
>>> type(d)
<type ‘dict‘>
>>> d_json = json.dumps(d)
>>> d_json
‘{"name": "xpleaf"}‘
>>> type(d_json)
<type ‘str‘>

• 3.使用MySQLdb连接MySQL数据库

>>> import MySQLdb
>>> conn = m.connect(host=‘localhost‘, port=3306, user=‘root‘, passwd=‘123456‘, db=‘spyinux‘)>>> cur = conn.cursor()

• 4.写原生sql语句

>>> tsql = "insert into jsondata(data) values(‘{json}‘)";

• 5.使用MySQLdb方法转义json数据

>>> sql = tsql.format(json=MySQLdb.escape_string(d_json));
>>> sql
‘insert into jsondata(data) values(\‘{\\"name\\": \\"xpleaf\\"}\‘)‘

• 6.执行sql语句

>>> cur.execute(sql)
1L
>>> cur.execute(sql)
1L

（2）数据查询

    上面的操作完成之后，我们已经成功将json的数据存取到MySQL中，关键是能不能将该数据取出来，并且最后还原成Python的字典类型类型。

• 1.先在MySQL中查询存储的数据

mysql> select * from jsondata;
+----+--------------------+
| id | data               |
+----+--------------------+
|  1 | {"name": "xpleaf"} |
+----+--------------------+
1 row in set (0.00 sec)

• 2.在Python交互器中查询数据

>>> cur.execute(‘select * from jsondata‘);
1L
>>> mydata = cur.fetchall()
>>> mydata
((1L, ‘{"name": "xpleaf"}‘),)
>>> mydata = mydata[0][1]
>>> mydata
‘{"name": "xpleaf"}‘
>>> type(mydata)
<type ‘str‘>

• 3.使用json.loads解析json数据

>>> mydata = json.loads(mydata)
>>> mydata
{u‘name‘: u‘xpleaf‘}
>>> type(mydata)
<type ‘dict‘>
>>> mydata[‘name‘]
u‘xpleaf‘
>>> mydata.get(‘name‘)
u‘xpleaf‘

    可以看到，最开始我们使用Pythonn创建了一个字典类型的数据，之后将其转换为json数据类型，以便于存入MySQL中，在这个过程中需要使用MySQL.escape_string方法来对json数据进行转义，最后查询数据时，我们使用json.loads方法来解析json数据，从而得到我们最开始存储的Python字典类型数据。

---

2.在实际当中的应用

    显然，如果在使用Python的过程中，需要将字典或其它数据类型的数据存入到MySQL中时，先将其转换为json类型数据，再使用上面的方法，就非常简便了。

本文出自 “香飘叶子” 博客，请务必保留此出处http://xpleaf.blog.51cto.com/9315560/1905368