爬取校园新闻列表
Posted xialuokesh
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬取校园新闻列表相关的知识,希望对你有一定的参考价值。
- 获取单条新闻的#标题#链接#时间#来源#内容 #点击次数,并包装成一个函数。
- 获取一个新闻列表页的所有新闻的上述详情,并包装成一个函数。
- 获取所有新闻列表页的网址,调用上述函数。
- 完成所有校园新闻的爬取工作。
- 完成自己所选其他主题相应数据的爬取工作。
import requests import re from bs4 import BeautifulSoup url=\'http://news.gzcc.cn/html/xiaoyuanxinwen/\' res=requests.get(url) res.encoding=\'utf-8\' soup=BeautifulSoup(res.text,\'html.parser\') #获取点击次数 def getclick(newurl): id=re.search(\'_(.*).html\',newurl).group(1).split(\'/\')[1] clickurl=\'http://oa.gzcc.cn/api.php?op=count&id={}&modelid=80\'.format(id) click=int(requests.get(clickurl).text.split(".")[-1].lstrip("html(\'").rstrip("\');")) return click #获取网页内容 def getonpages(listurl): res=requests.get(listurl) res.encoding=\'utf-8\' soup=BeautifulSoup(res.text,\'html.parser\') for news in soup.select(\'li\'): if len(news.select(\'.news-list-title\'))>0: title=news.select(\'.news-list-title\')[0].text #标题 time=news.select(\'.news-list-info\')[0].contents[0].text#时间 url1=news.select(\'a\')[0][\'href\'] #链接 source=news.select(\'.news-list-info\')[0].contents[1].text#来源 description=news.select(\'.news-list-description\')[0].text #内容 resd=requests.get(url1) resd.encoding=\'utf-8\' soupd=BeautifulSoup(resd.text,\'html.parser\') detail=soupd.select(\'.show-content\')[0].text click=getclick(url1) #调用点击次数 print(title,url1,click) count=int(soup.select(\'.a1\')[0].text.rstrip("条")) pages=count//10+1 for i in range(2,4): pagesurl="http://news.gzcc.cn/html/xiaoyuanxinwen/{}.html".format(i) getonpages(pagesurl)
以上是关于爬取校园新闻列表的主要内容,如果未能解决你的问题,请参考以下文章