爬取校园新闻列表

Posted xialuokesh

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬取校园新闻列表相关的知识,希望对你有一定的参考价值。

  1. 获取单条新闻的#标题#链接#时间#来源#内容 #点击次数,并包装成一个函数。
  2. 获取一个新闻列表页的所有新闻的上述详情,并包装成一个函数。
  3. 获取所有新闻列表页的网址,调用上述函数。
  4. 完成所有校园新闻的爬取工作。
  5. 完成自己所选其他主题相应数据的爬取工作。
    import requests
    import re
    from bs4 import BeautifulSoup
    url=\'http://news.gzcc.cn/html/xiaoyuanxinwen/\'
    res=requests.get(url)
    res.encoding=\'utf-8\'
    soup=BeautifulSoup(res.text,\'html.parser\')
    
    #获取点击次数
    def getclick(newurl):
        id=re.search(\'_(.*).html\',newurl).group(1).split(\'/\')[1]
        clickurl=\'http://oa.gzcc.cn/api.php?op=count&id={}&modelid=80\'.format(id)
        click=int(requests.get(clickurl).text.split(".")[-1].lstrip("html(\'").rstrip("\');"))
        return click
    
    #获取网页内容
    def getonpages(listurl):
        res=requests.get(listurl)
        res.encoding=\'utf-8\'
        soup=BeautifulSoup(res.text,\'html.parser\')
        
        for news in soup.select(\'li\'):
            if len(news.select(\'.news-list-title\'))>0:
                title=news.select(\'.news-list-title\')[0].text #标题
                time=news.select(\'.news-list-info\')[0].contents[0].text#时间
                url1=news.select(\'a\')[0][\'href\'] #链接
                source=news.select(\'.news-list-info\')[0].contents[1].text#来源
                description=news.select(\'.news-list-description\')[0].text #内容
    
                resd=requests.get(url1)
                resd.encoding=\'utf-8\'
                soupd=BeautifulSoup(resd.text,\'html.parser\')
                detail=soupd.select(\'.show-content\')[0].text
    
                click=getclick(url1) #调用点击次数
                print(title,url1,click)
    
    
    
    count=int(soup.select(\'.a1\')[0].text.rstrip(""))
    pages=count//10+1
    for i in range(2,4):
        pagesurl="http://news.gzcc.cn/html/xiaoyuanxinwen/{}.html".format(i)
        getonpages(pagesurl)

以上是关于爬取校园新闻列表的主要内容,如果未能解决你的问题,请参考以下文章

爬取全部的校园新闻

爬取所有校园新闻

爬取所有校园新闻

爬取校园新闻首页的新闻

爬取新闻列表

爬取校园新闻首页的新闻