Pythonp爬虫BeautifulSoup4

Posted 2021-01-30 BlackCatFish

我这是刚入门Python现学现卖，有问题可以留言指出谢谢

首先安装Python之后安装Python编一软件Pycharm

安装步骤可以自行百度这里就不多介绍了，下面进入正题

打开Pycharm 新建一个project File-New Project

选择存放的路径

在项目中新建了五个 new Python file

__init__是创建包的时候默认的（可以不创建）

 spider_main.py 是主方法文件运行这个文件

html_manager.py 是url管理文件

html_downloader.py html网页下载器文件

html_parser.py网页解析器

html_outputer.py网页输出

首先找到网页要进行进行爬取的过程的解析我这里是找了百度百科的页面爬取的是所有词条的信息

打开https://baike.baidu.com/item/Python/407313?fr=aladdin

右击或者F12检查网页的源代码

可以看到词条的a标签的href属性都是/item/xxxxxx/一串数字（网页会更新所以每次要对爬取信息的网站进行一大堆的分析）

分析之后我们就可开始开发了

首先我们看一下spider_main文件

# -*- coding: utf-8 -*-
from baike_spider import url_manager, html_downloader, html_parser, html_outputer


class SpiderMain(object):
    def __init__(self):
        self.urls=url_manager.UrlManager() #url管理器
        self.downloader=html_downloader.HtmlDownloader()#url下载器
        self.parser=html_parser.HtmlParser()#url解析器
        self.outputer=html_outputer.HtmlOutper()#网页输出器
    def craw(self, root_url):
       count=1
       self.urls.add_new_url(root_url)#把带爬取的url放到url管理器中
       #当url管理器中有带爬取的url的时候获取的一个url
       while self.urls.has_new_url():
        try:
            new_url=self.urls.get_new_url()
            print(\'craw %d:%s \'% (count,new_url))
            #下载url
            html_cont=self.downloader.download(new_url)
            #解析数据
            new_urls,new_data=self.parser.parser(new_url,html_cont)
            self.urls.add_new_urls(new_urls)
            self.outputer.collect_data(new_data)

            if count==10:
                break
            count=count+1
        except:
            print("pa\'qu爬取失败")
       self.outputer.outpter_html()


if __name__=="__main__":
　　#这里是引入的待爬取的url（Python的百度百科）
    root_url="https://baike.baidu.com/item/Python/407313?fr=aladdin"
    obj_spider=SpiderMain()
    obj_spider.craw(root_url)

接着manager

class UrlManager(object):
    #定义一个新的url集合和一个爬取过的url set集合
    def __init__(self):
        self.new_urls=set()
        self.old_urls=set()
     #如果这个url不是空的
    def add_new_url(self,url):
        if url is None:
            return
        if url not in self.new_urls and url not in self.old_urls:
            self.new_urls.add(url)
    def get_new_url(self):
        #使用之后放到已爬取的set中
        new_url=self.new_urls.pop()
        self.old_urls.add(new_url)
        return new_url
    def has_new_url(self):
        return len(self.new_urls)!=0
    def add_new_urls(self, new_urls):
        if new_urls is None or len(new_urls)==0:
            return
        for url in new_urls:
            self.add_new_url(url)

再是download

import urllib.request #(python3.0之后的urllib 引入方式，之前是import urllib2)
class HtmlDownloader(object):
    def download(self, new_url):
        if new_url is None:
            return None
        
        response=urllib.request.urlopen(new_url)
        if response.getcode()!=200:
            return None
        return response.read()

parse开始爬取

# -*- coding: utf-8 -*-
import re
from urllib.parse import urljoin

from bs4 import BeautifulSoup #（引入的beautifulSoup）


class HtmlParser(object):
    def parser(self, new_url, html_cont):
       if new_url is None or html_cont is None:
           return
       soup=BeautifulSoup(html_cont,"html.parser",from_encoding="utf-8")
       new_urls=self._get_new_urls(new_url,soup)
       new_data=self._get_new_data(new_url,soup)
       return new_urls,new_data

    def _get_new_urls(self, page_url, soup):
       new_urls=set()
       links=soup.find_all(\'a\',href=re.compile(r"/item/")) #查找所有的a标签 并且href属性是/item/ re.compile()是匹配正则表达式
#循环列出links
       for link in links:
           new_url=link[\'href\']
           new_full_url=urljoin(page_url,new_url)
           new_urls.add(new_full_url)
       return new_urls
    def _get_new_data(self, new_url, soup):
        res_data={}
        res_data[\'url\']=new_url
        #获取 <dd class="lemmaWgt-lemmaTitle-title"><h1>Python</h1>
        title_node=soup.find(\'dd\',class_=\'lemmaWgt-lemmaTitle-title\').find(\'h1\')
        res_data[\'title\']=title_node.get_text()
        #<div class="lemma-summary" label-module="lemmaSummary">
        summary_node=soup.find(\'div\',class_=\'lemma-summary\')
        res_data[\'summary\']=summary_node.get_text()
        return res_data

 写入html文件

# -*- coding: utf-8 -*-
class HtmlOutper(object):
    def __init__(self):
        self.datas=[]

    def collect_data(self, new_data):
        if new_data is None:
            return None
        self.datas.append(new_data)

    def outpter_html(self):
        fout=open(\'output.html\',\'w\')#w是写模式的意思
        fout.write("<html>")
        fout.write("<body>")
        fout.write("<table >")
        for data in self.datas:

            fout.write("<tr>")
            fout.write("<td>%s</td>" % data[\'url\'])
            fout.write("<td>%s</td>" % data[\'title\'].encode("utf-8"))
            fout.write("<td>%s</td>" % data[\'summary\'].encode("utf-8"))
            print(data[\'summary\'])
            fout.write("</tr>")
        fout.write("</table>")
        fout.write("</body>")
        fout.write("</html>")

刷新一下工程会看到多一个output.html文件

运行这个文件

最终效果

 

网页能看到输出端词条的url  title  一些信息

如有问题多多指教感谢阅读