爬虫1.3-数据存储

Posted 2021-01-30 bitterzz

目录

• 爬虫-数据存储
  • 1. JSON文件
  • 2. CSV文件
  • 3. mysql数据库数据存入

爬虫-数据存储

1. JSON文件

1.1 JSON数据格式

json是一种轻量级数据交换格式，采用完全独立于编程语言的文本格式来存储和表示数据，简洁清晰，适合前端和后端数据交换

JSON数据格式
1 对象（字典） 使用花括号{}
2 数组（数组） 使用方括号[]
3 整形、浮点型、布尔型、null型
4 字符串类型（字符串必须要用双引号，不能用单引号）
多个数据之间用逗号分开
json本质上就是一个字符串 python中只有基本数据类型才能转换成JSON格式，int float str list dict tuple

1.2 写入

写入方法一

persons = [{xxx}, {xxxxx}] 
json_str = json.dumps(persons) # 此时列表之间被转换成json标准格式(字符串类型)，然后一个文件写入就行了
fp.write(json_str)

写入方法二

with open(‘xx.json‘, ‘w‘, enconding=‘utf-8‘) as fp:
  json.dump(persons, fp, ensure_asciii=False)   
# 涉及到中文字符时这里传入三个参数，第一个就是包含大量字典的列表，第二个是文件指针，第三个是将json函数默认转换ascii码关闭    另外文件写入时也要使用utf-8格式（enconding=‘utf-8‘）

1.3 读取json

json_str = ‘[{"username": "laowang", "age": 18, "country": "china"}, {"username": "laoli", "age": 11, "country": "china"}]‘
persons = json.loads(json_str)  这里persons通过loads函数变成了一个对象，然后下方对其进行操作即可
for i in persons:
    print(i)    

with open(‘person.json‘, ‘r‘, encoding=‘utf-8‘) as fp:
     persons = json.load(fp)     这时persons通过load函数变成了一个list类的对象，然后可以进行操作了
     for i in persons:
         print(i)

dumpdumps loadloads 有s 则与字符串有关 没有s则与文件有关

2. CSV文件

2.1 csv数据格式

CSV文件不是一个特定的文件格式，泛指具有以下特征的任何文件：
1 纯文本，使用某个字符集，如utf-8, unicode, ascii, gbk等
2 由记录组成，典型的是每行一条记录
3 每条记录被分隔符分割为字段 典型的分隔符有逗号 分号 制表符
4 每条记录都有同样的文本字段 如 姓名 年龄 身高 体重 每条记录都要有这四个字段

2.2 写入

CSV文件写入方法一：
headers = [‘username‘, ‘age‘, ‘height‘]       
data = [(‘张三‘, 18, 160),(‘lisi‘, 20, 213)]
with open(‘classroom.csv‘, ‘w‘, encoding=‘utf-8‘, newline=‘‘) as fp:   
    #这里的newlien参数是为了避免写入后又多余的换行
    writer = csv.writer(fp)
    writer.writerow(headers)

CSV文件写入方法二： 字典直接写入
with open(‘classroom.csv‘, ‘w‘, encoding=‘utf-8‘, newline=‘‘) as fp:
    writer = csv.DictWriter(fp, headers)    # 这里直接使用DictWriter函数
    writer.writerow(data)    # writerow每次只写入一条

with open(‘classroom.csv‘, ‘w‘, encoding=‘utf-8‘, newline=‘‘) as fp:
    writer = csv.DictWriter(fp, headers)  # 这里直接使用DictWriter函数
    writer.writeheader()   # 这里必须先调用写入头部函数，否则没有头部
    writer.writerows(data)  # 多条数据，直接使用writerows全部写入即可

3. mysql数据库数据存入

import pymysql
db = pymysql.connect(
    host=‘47.107.110.xx‘,
    user=‘xxx‘,
    password=‘xxx‘,
    database=‘testdb‘,  # 数据库名
    port=3306
)

这里要理解，一个数据库服务器可以有多个数据库，所以要选择某个数据库进行操作

新建表格的第一个字段可以设置为自动增长，可以理解为id
sql = """
insert into user(id,username,age,password) values(null,%s,%s,%s)
"""  
# 这里使用%s是因为数据库在处理时都先按照字符串的
# null是id  它自动增长可以不用填写
username = ‘laowang‘
age = 88
password = ‘123456‘   # 这样就可以自己灵活施展了
cursor = db.cursor()   # cursor是创建一个新的游标，方便执行语句
cursor.execute(sql, (username, age, password))  # 这里要传入一个元组
db.commit()  # 必须使用commit提交后， 数据库的数据才会改变
db.close()

查询数据：
fetchone() # 返回一条数据
fetchall() # 接收全部的返回结果
fetchmany(size) # 获取定条数的数据
使用查询语句后，要使用上述三条语句才能获得结果，
result = cursor.fetchone() # 获得一条数据（元组形式）  
result = cursor.fetchall() # 获得所有返回的数据（(xxx,xxxx,xxx), (yyy,yyyy,yyy)） 
fetmany(size) # 得到的数据形式与fetchall类似

删除数据：
使用sql = """delete from table where id=1;"""  
然后cursor.execute(sql)   
db.commit()
# 这里删除时只能删除一整条记录，插入，删除，更新等数据修改操作都需要使用.commit()函数

更新数据
sql = """update table set username=‘xxx‘ where id=1;""" 这里sql语句需要指明表 字段 标识
如果不加id=1   就会把整个表的所有记录中的usernam字段都更新为xxx