python爬取数据并保存到数据库中（第一次练手完整代码）

Posted 2021-01-28 _yj

　　1.首先，下载需要的模块requests, BeautifulSoup, datetime, pymysql（注意，因为我用的python3.7，不支持mysqldb了），具体的下载方法有pip下载，或者使用Anaconda版本python的童鞋可以使用conda下载。

　　2.创建conndb,py，包含数据库的连接断开，增删改查等操作：

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import pymysql


def conn_db():  # 连接数据库函数
    conn = pymysql.connect(
        host=‘localhost‘,
        user=‘数据库用户名‘,
        passwd=‘数据库密码‘,
        db=‘数据库名称‘,
        charset=‘utf8‘)
    cur = conn.cursor()
    return conn, cur


def exe_update(cur, sql):  # 更新语句，可执行update,insert语句
    sta = cur.execute(sql)
    return sta


def exe_delete(cur, ids):  # 删除语句，可批量删除
    for eachID in ids.split(‘ ‘):
        sta = cur.execute(‘delete from cms where id =%d‘ % int(eachID))
    return sta


def exe_query(cur, sql):  # 查询语句
    cur.execute(sql)
    return cur


def exe_commit(cur):
    cur.connection.commit()  # 执行commit操作，插入语句才能生效


def conn_close(conn, cur):  # 关闭所有连接
    cur.close()
    conn.close()

　　3.创建另一个python文件，用于抓取数据（注意引入conndb.py文件）：

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
import datetime
import conndb


def get_html_text(url):
    try:
        r = requests.get(url, timeout=30)
        # r.encoding = r.apparent_encoding
        r.encoding = ‘utf-8‘    # 编码方式
        # print(r.text)
        return r.text
    except BaseException as e:
        print(‘BaseException:‘, e)
        return ""


def get_content(url):
    html = get_html_text(url)
    # print(html)
    soup = BeautifulSoup(html, ‘html.parser‘)
    title = soup.select(".list-point > .item")  # 此处为BeautifulSoup的CSS选择器，括号内为通过类名选择
    today = datetime.datetime.now().strftime(‘%Y-%m-%d‘)    # 获取今天的日期，用于抓取新闻时判断抓取今天的内容
    for item in title:
        time = item.find(‘span‘).string             # 新闻创建日期
        time1 = ‘20‘ + time[0: time.index(" ")]     # 日期字符串格式处理，便于比较
        if time1 == today:  # 新闻的创建日期是今天
            url = item.find(‘a‘)[‘href‘]            # 获取单条新闻链接，用户单条新闻抓取
            title = item.find(‘a‘).string
            # print(title + time + url)
            get_new_content(url, title, time)


def get_new_content(url, title, tim1):
    html = get_html_text(url)
    # print(html)
    soup = BeautifulSoup(html, ‘html.parser‘)
    p = soup.select(".article-content > p")
    # print(p)
    # for item in p:
    #     if item.find(‘img‘):
    #         print(item.find(‘img‘)[‘src‘])
    #     else:
    #         print(item.string)
    # 调用更新记录的函数
    p_str = str(p)      # p为标签，要转化为字符串，并去掉前后的[]符号
    length = len(p_str)
    utf8_length = len(p_str.encode(‘utf-8‘))
    length = (utf8_length - length) / 2 + length
    p_str = p_str[1: int(length)]
    tim2 = datetime.datetime.strptime(‘20‘ + tim1, ‘%Y-%m-%d %H:%M‘)    # 将字符串格式的日期转为数据库要求的datetime
    sta = conndb.exe_update(cur,
                            "insert into cms(title, content, gmt_create) "
                            "values(‘%s‘,‘%s‘,‘%s‘)" % (title, p_str, tim2))
    if sta == 1:
        print(‘插入成功‘)
    else:
        print(‘插入失败‘)


def main():
    url = "抓取的页面url"
    get_content(url)


# 调用连接数据库的函数
conn, cur = conndb.conn_db()
main()
conndb.exe_commit(cur)    # 注意！！ 一定要记得commit，否则操作成功了，但是并没有添加到数据库中
conndb.conn_close(conn, cur)

　　这样，抓取到的数据就可以保存到数据库中了。