如何将python爬虫数据直接存到数据库

Posted 2023-04-05

参考技术A 直接使用sqlite 这个是python自带的
用起来也很简单百度一下教程就行 ，很容易就把数据写到数据库里了

从数据库里python获取数据存到本地数据库

参考技术A python项目中从接口获取数据并存入本地数据库
首先用postman测试接口
根据请求方式将数据存入数据库中
首先用postman测试接口
通过url，选择相应的请求方式，头部，数据格式，点击send看能否获取数据
根据请求方式将数据存入数据库中

下面是post请求方式def get() URL = '' HEADERS = 'Content-Type': 'application/json' JSON = response = request.post(URL,headers=HEADERS,json=JSON) #json.loads()用于将str类型的数据转成dict jsondata = json.load(response.txt) for i in jsondata: date1 = i[data] type1 = i[type] ... #拼接sql语句 sql="" conn=MySQLdb.connect(host="localhost",user="root",passwd="sa",db="mytable")　 cursor=conn.cursor()　 ursor.execute(sql)