python利用beautifulsoup多页面爬虫

Posted 程序猿养成中

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python利用beautifulsoup多页面爬虫相关的知识,希望对你有一定的参考价值。

利用了beautifulsoup进行爬虫,解析网址分页面爬虫并存入文本文档:

结果:

源码:

from bs4 import BeautifulSoup
from urllib.request import urlopen
with open("热门标题.txt","a",encoding="utf-8") as f:
    for i in range(2):
        url = "http://www.ltaaa.com/wtfy-{}".format(i)+".html"
        html = urlopen(url).read()
        soup = BeautifulSoup(html,"html.parser")
        titles = soup.select("div[class = \'dtop\' ] a") # CSS 选择器
        for title in titles:
             print(title.get_text(),title.get(\'href\'))# 标签体、标签属性
             f.write("标题:{}\\n".format(title.get_text()))

  

 

以上是关于python利用beautifulsoup多页面爬虫的主要内容,如果未能解决你的问题,请参考以下文章

python怎么爬取数据

-4-利用BeautifulSoup模块爬取某网壁纸图库图片

Python3 爬虫 -- BeautifulSoup之再次爬取CSDN博文

python多线程爬虫爬取顶点小说内容(BeautifulSoup+urllib)

Python爬虫如何获取页面内所有URL链接?本文详解

Python爬虫如何获取页面内所有URL链接?本文详解