数据库实践

Posted 2021-12-11 ysd973

 

SQLite数据库是一款轻量级的数据库，无服务器、零配置、事务性的SQL数据库引擎。SQLite是世界上最广泛部署的SQL数据库引擎，而且SQLite的源代码不受版权限制，是小型项目和简单web应用的理想选择。SQLite数据库是一个单一的，不依赖于其他模块与组件的数据库文件，它允许我们直接访问存储文件。

1、创建一个访问数据库的连接

import sqlite3

conn = sqlite3.connect(‘test.db‘)

print ("Opened database successfully")

 

如果数据库文件不存在，该方法就会自动在当前目录下创建一个test.db的文件。

2、创建游标

#创建游标

    c = conn.cursor()

 

获取到游标之后，就可以使用SQL语句来对数据进行操作，创建表、添加数据、遍历数据等。

3、创建表

import sqlite3

conn = sqlite3.connect(‘test.db‘)
print("Opened database successfully")
c = conn.cursor()
c.execute(‘‘‘CREATE TABLE COMPANY
       (ID INT PRIMARY KEY     NOT NULL,
       NAME           TEXT    NOT NULL,
       AGE            INT     NOT NULL,
       ADDRESS        CHAR(50),
       SALARY         REAL);‘‘‘)
print("Table created successfully")
conn.commit()
conn.close()

通过SQL语句来创建一个user表，user表包括五个属性，user_id(用户id)、user_name(用户姓名)、user_sex(用户性别)、user_age(用户年龄)、user_create(用户创建日期)。SQLite的存储类保存下面几个类型：

注意：在SQLite中没有一个单独用来存储日期和时间的存储类，我们可以把日期和时间存储为TEXT、REAL、INTEGER类型。

4、将上次爬虫的csv文件写入到数据库中

# -*- coding: utf-8 -*-
"""
获取中国大学的排名

@author: 将暮未暮
"""
import requests
from bs4 import BeautifulSoup
import pandas
 # 1. 获取网页内容
def gethtmlText(url):
    try:
         r = requests.get(url, timeout = 30)
         r.raise_for_status()
         r.encoding = ‘utf-8‘
         return r.text
    except Exception as e:
         print("Error:", e)
         return ""
 
 # 2. 分析网页内容并提取有用数据
def fillTabelList(soup): # 获取表格的数据
    tabel_list = []      # 存储整个表格数据
    Tr = soup.find_all(‘tr‘)
    for tr in Tr:
        Td = tr.find_all(‘td‘)
        if len(Td) == 0:
            continue
        tr_list = [] # 存储一行的数据
        for td in Td:
            tr_list.append(td.string)
        tabel_list.append(tr_list)
    return tabel_list
 
 # 3. 可视化展示数据
def PrintTableList(tabel_list, num):
     # 输出前num行数据
    print("{1:^2}{2:{0}^10}{3:{0}^6}{4:{0}^5}{5:{0}^8}".format(chr(12288), "排名", "学校名称", "省市", "总分", "生涯质量"))
    for i in range(num):
        text = tabel_list[i]
        print("{1:{0}^2}{2:{0}^10}{3:{0}^5}{4:{0}^8}{5:{0}^10}".format(chr(12288), *text))
 
 # 4. 将数据存储为csv文件
def saveAsCsv(filename, tabel_list):
    FormData = pandas.DataFrame(tabel_list)
    FormData.columns = ["排名", "学校名称", "省市", "总分", "生涯质量", "培养结果", "科研规模", "科研质量", "顶尖成果", "顶尖人才", "科技服务", "产学研合作", "成果转化"]
    FormData.to_csv(filename, encoding=‘utf-8‘, index=False)
 
if __name__ == "__main__":
    url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"
    html = getHTMLText(url)
    soup = BeautifulSoup(html, features="html.parser")
    data = fillTabelList(soup)
     #print(data)
    PrintTableList(data, 10)   # 输出前10行数据
    saveAsCsv("E:\\\\University_Rank.csv", data)

得出结果为

对csv文件进行操作：

方法	说明
__init__(self, dbName, tabelName, data, columns, COLUMNS, Read_All=True)	对参数进行初始化，参数含义分别为：数据库名称、表格名称、数据、表格首行(用于创建表)、表格首行(用于格式输出)、输出所有数据(插入数据后)
creatTable(self)	创建数据库文件、创建表格
destroyTable(self)	删除表格
insertDatas(self)	向数据库的表格中插入多条数据
getAllData(self)	以列表形式返回数据库表格中的所有数据
searchData(self, condition, IfPrint=True)	查找特定数据, 参数的含义分别为：查找条件、是否输出(查找的数据)
deleteData(self, condition)	在数据库的表格中删除特定数据, 参数为删除条件
printData(self, data)	输出数据, 参数为需要输出的数据
run(self)	运行创建数据库和表格的函数，同时支持输出所有数据(依靠Read_All)

# -*- coding: utf-8 -*-
"""
使用 url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html" 的数据进行SQLite3数据库的练习使用

@author: 将暮未暮
"""
import sqlite3
from pandas import DataFrame
import re
 
class SOL_method:
     ‘‘‘
     function: 可以实现对数据库的基本操作
     ‘‘‘
    def _init_(self, dbName, tableName, data, columns, COLUMNS, Read_All=True):
         ‘‘‘
         function: 初始化参数
         dbName: 数据库文件名 
         tableName: 数据库中表的名称
         data: 从csv文件中读取且经过处理的数据
         columns: 用于创建数据库，为表的第一行
         COLUMNS: 用于数据的格式化输出，为输出的表头
         Read_All: 创建表之后是否读取出所有数据
         ‘‘‘
        self.dbName = dbName
        self.tableName = tableName
        self.data = data
        self.columns = columns
        self.COLUMNS = COLUMNS
        self.Read_All = Read_All
 
    def creatTable(self):
         ‘‘‘
         function: 创建数据库文件及相关的表
         ‘‘‘
         # 连接数据库
        connect = sqlite3.connect(self.dbName)
         # 创建表
        connect.execute("CREATE TABLE {}({})".format(self.tableName, self.columns))
         # 提交事务
        connect.commit()
         # 断开连接
        connect.close()
 
    def destroyTable(self):
         ‘‘‘
         function: 删除数据库文件中的表
         ‘‘‘
         # 连接数据库
        connect = sqlite3.connect(self.dbName)
         # 删除表
        connect.execute("DROP TABLE {}".format(self.tableName))
         # 提交事务
        connect.commit()
         # 断开连接
        connect.close()
 
    def insertDataS(self):
         ‘‘‘
         function: 向数据库文件中的表插入多条数据
         ‘‘‘
         # 连接数据库
        connect = sqlite3.connect(self.dbName)
         # 插入多条数据
        connect.executemany("INSERT INTO {} VALUES(?,?,?,?,?,?,?,?,?,?,?,?,?)".format(self.tableName), self.data)
         #for i in range(len(self.data)):
         #    connect.execute("INSERT INTO university VALUES(?,?,?,?,?,?,?,?,?,?,?,?,?)", data[i])
         # 提交事务
        connect.commit()
         # 断开连接
        connect.close()
 
     def getAllData(self):
         ‘‘‘
         function: 得到数据库文件中的所有数据
         ‘‘‘
         # 连接数据库
        connect = sqlite3.connect(self.dbName)
         # 创建游标对象
        cursor = connect.cursor()
         # 读取数据
        cursor.execute("SELECT * FROM {}".format(self.tableName))
        dataList = cursor.fetchall()
         # 断开连接
        connect.close()
        return dataList
 
    def searchData(self, conditions, IfPrint=True):
         ‘‘‘
         function: 查找特定的数据
         ‘‘‘
         # 连接数据库
        connect = sqlite3.connect(self.dbName)
         # 创建游标
        cursor = connect.cursor()
         # 查找数据
        cursor.execute("SELECT * FROM {} WHERE {}".format(self.tableName, conditions))
        data = cursor.fetchall()
         # 关闭游标
        cursor.close()
         # 断开数据库连接
        connect.close()
        if IfPrint:
            self.printData(data)
        return data
 
    def deleteData(self, conditions):
         ‘‘‘
         function: 删除数据库中的数据
         ‘‘‘
         # 连接数据库
        connect = sqlite3.connect(self.dbName)
         # 插入多条数据
        connect.execute("DELETE FROM {} WHERE {}".format(self.tableName, conditions))
         # 提交事务
        connect.commit()
         # 断开连接
        connect.close()
 
    def printData(self, data):
        print("{1:{0}^3}{2:{0}<11}{3:{0}<4}{4:{0}<4}{5:{0}<5}{6:{0}<5}{7:{0}^5}{8:{0}^5}{9:{0}^5}{10:{0}^5}{11:{0}^5}{12:{0}^6}{13:{0}^5}".format(chr(12288), *self.COLUMNS))
        for i in range(len(data)):
            print("{1:{0}<4.0f}{2:{0}<10}{3:{0}<5}{4:{0}<6}{5:{0}<7}{6:{0}<8}{7:{0}<7.0f}{8:{0}<8}{9:{0}<7.0f}{10:{0}<6.0f}{11:{0}<9.0f}{12:{0}<6.0f}{13:{0}<6.0f}".format(chr(12288), *data[i]))
 
    def run(self):
        try:
             # 创建数据库文件
            self.creatTable()
            print(">>> 数据库创建成功！")
             # 保存数据到数据库
            self.insertDataS()
            print(">>> 表创建、数据插入成功！")
         except:
             print(">>> 数据库已创建！")
         # 读取所有数据
         if self.Read_All:
             self.printData(self.getAllData())
 
def get_data(fileName):
     ‘‘‘
     function: 读取获得大学排名的数据 并 将结果返回
     ‘‘‘
    data = []
     # 打开文件
    f = open(fileName, ‘r‘, encoding=‘utf-8‘)
     # 按行读取文件
    for line in f.readlines():
         # 替换掉其中的换行符和百分号  替换百分号是为了方便之后的排序和运算
        line = line.replace(‘\\n‘, ‘‘)
        line = line.replace(‘%‘,‘‘)
         # 将字符串按照 ‘,‘ 分割为列表
        line = line.split(‘,‘)
         
        for i in range(len(line)):
             # 使用 异常处理 避开 出现中文无法转换 的错误
            try:
                 # 将空值填充为 0
                if line[i] == ‘‘:
                    line[i] = ‘0‘
                 # 将数字转换为数值
                line[i] = eval(line[i])
            except:
                continue
        data.append(tuple(line))
     # EN_columns、CH_columns 分别为 用于数据库创建、数据的格式化输出
    EN_columns = "Rank real, University text, Province text, Grade real, SourseQuality real, TrainingResult real, ResearchScale real,      ReserchQuality real, TopResult real, TopTalent real, TechnologyService real, Cooperation real, TransformationResults real"
    CH_columns =  ["排名", "学校名称", "省市", "总分", "生涯质量", "培养结果(%)", "科研规模", "科研质量", "顶尖成果", "顶尖人才", "科技服务", "产学研合作", "成果转化"]
    return data[1:], EN_columns, CH_columns
 
if __name__ == "__main__":
     # =================== 设置和得到基本数据 ===================
    fileName = "E:\\\\University_Rank.csv"
    data, EN_columns, CH_columns = get_data(fileName)
    dbName = "university.db"
    tableName = "university"
 
     # ================= 创建一个SQL_method对象 ==================
    SQL = SQL_method(dbName, tableName, data, EN_columns, CH_columns, False)
 
     # =================== 创建数据库并保存数据 ===================
    SQL.run()
     
     # =================== 在数据库中查找数据项 ===================
     # 查找记录并输出结果
    print(">>> 查找数据项（University = ‘广东工业大学‘） :")
    SQL.searchData("University = ‘广东工业大学‘", True)
 
     # ================= 在数据库中筛选数据项并排序 ==================
     # 将选取广东省的数据 并 对科研规模大小排序
    print("\\n>>> 筛选数据项并按照科研规模排序（Province = ‘广东省‘） :")
    SQL.searchData("Province = ‘广东省‘ ORDER BY ResearchScale", True)
 
     # =============== 对数据库中的数据进行重新排序操作 ================
     # 定义权值
    Weight = [0.3, 0.15, 0.1, 0.1, 0.1, 0.1, 0.05, 0.05, 0.05]
    value, sum = [], 0
     # 获取 Province = ‘广东省‘ 的所有数据
    sample = SQL.searchData("Province = ‘广东省‘", False)
     # 按照权值求出各个大学的总得分
    for i in range(len(sample)):
        for j in range(len(Weight)):
            sum += sample[i][4+j] * Weight[j]
        value.append(sum)
        sum = 0
     # 将结果通过 pandas 的 DataFrame 方法组成一个二维序列
    university = [university[1] for university in sample]
    uv, tmp = [], []
    for i in range(len(university)):
        tmp.append(university[i])
        tmp.append(value[i])
        uv.append(tmp)
        tmp = []
    df = DataFrame(uv, columns=list(("大学", "总分")))
    df = df.sort_values(‘总分‘)
    df.index = [i for i in range(1, len(uv)+1)]
     # 输出结果
    print("\\n>>> 筛选【广东省】的大学并通过权值运算后重排名的结果：\\n", df)
     
     # ===================== 在数据库中删除数据项 =====================
    SQL.deleteData("Province = ‘北京市‘")
    SQL.deleteData("Province = ‘广东省‘")
    SQL.deleteData("Province = ‘山东省‘")
    SQL.deleteData("Province = ‘山西省‘")
    SQL.deleteData("Province = ‘江西省‘")
    SQL.deleteData("Province = ‘河南省‘")
    print("\\n>>> 数据删除成功！")
    SQL.printData(SQL.getAllData())
 
     # ====================== 在数据库中删除表 ========================
    SQL.destroyTable()
    print(">>> 表删除成功！

 

 

结果就是这样了啦