豆瓣书籍数据采集

Posted 2022-05-31 wangchenghua

1、将从豆瓣网页爬虫采集到的数据,连接mongo数据库，将数据导入至mongo中，代码如下：

#  访问网址
# 使用requests 去访问
import pandas as pd
import requests
import pymongo
import re


u = ‘https://book.douban.com/tag/哲学‘
r = requests.get(url=u)

# 解析网址
# 使用BeautifulSoup 解析网址
from bs4 import  BeautifulSoup
soup =BeautifulSoup(r.text,‘lxml‘)
urlist =[]
for i in range(7):
    urlist.append(‘https://book.douban.com/tag/哲学?start=‘ + str(20*i)+ ‘&type=T‘)
n=0
for u in urlist:
    r = requests.get(url=u)
    soup =BeautifulSoup(r.text,‘lxml‘)
    soup.find(‘div‘,id="content").h1.text
    lis = soup.find(‘ul‘,class_=‘subject-list‘).find_all(‘li‘)
    for li in lis:
        dic =       # 创建空字典，存储数据
        dic[‘书名‘]=li.h2.text.replace(‘ ‘,‘‘).replace(‘\\n‘,‘‘)
        dic[‘其他信息‘]=li.find(‘div‘,class_="pub").text.replace(‘ ‘,‘‘).replace(‘\\n‘,‘‘)
        dic[‘评分‘]=li.find(‘span‘,class_="rating_nums").text
        dic[‘评价人数‘]=re.search(r‘(\\d*)人‘,li.find(‘span‘,class_="pl").text.replace(‘ ‘,‘‘).replace(‘\\n‘,‘‘)).group(1)
        datatable.insert_one(dic)     #  将每次获取的数据入库
        n +=1
        print("成功采集%i条数据"%n)

myclient = pymongo.MongoClient("mongodb://localhost:27017")
db = myclient[‘豆瓣数据采集‘]
datatable = db[‘test‘]
    # 创建了一个连接mongo数据库连接，并创建了一个豆瓣数据采集数据库，以及test表格

豆瓣数据爬虫

2、mongo的安装配置：https://www.cnblogs.com/zhoulifeng/p/9429597.html#4242074

3、ROBO 3T 安装：https://www.cnblogs.com/tugenhua0707/p/9250673.html