aaa

Posted 31黄智涛

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了aaa相关的知识,希望对你有一定的参考价值。

uytuytu

 

import requests
import re
from bs4 import BeautifulSoup
from datetime import datetime
import pandas


def getclick(url):
    id=re.search(_(.*).html,newsurl).group(1).split(/)[1]
    clickurl=http://oa.gzcc.cn/api.php?op=count&id={}&modelid=80.format(id)
    click=int(requests.get(clickurl).text.split(.)[-1].lstrip("html(‘").rstrip("‘);"))
    return click

def getdetail(url):
    resd=requests.get(url)
    resd.encoding=utf-8
    soupd=BeautifulSoup(resd.text,html.parser)
    news={}
    news[title]=soupd.select(.show-title)[0].text
    news[url]=url
    info=soupd.select(.show-info)[0].text
    news[dt]=datetime.strptime(info.lstrip(发布时间:)[0:19],%Y-%m-%d %H:%M:)
    news[source]=re.search(来源:(.*)点击,info).group(1).strip()
    news[content]=soupd.select(.show-content)[0].text.strip()
    news[click]=getclicks(url)
    return(news)
        
def onepage(pageurl):
    res=requests.get(pageurl)
    res.encoding=utf-8
    soup = BeautifulSoup(res.text,html.parser)
    newsls=[]
    for news in soup.select(li):
        if len(news.select(.news-list-title))>0:
            newsls.append(getdetail(news.select(a)[0][href]))
    return(newsls)

ns=[]
gzccurl=http://news.gzcc.cn/html/xiaoyuanxinwen/
ns.extend(onepage(gzccurl))
res=requests.get(gzccurl)
res.encoding=utf-8
soup = BeautifulSoup(res.text,html.parser)

pages=int(soup.select(.a1)[0].text.rstrip())//10+1

for i in range(2,3):
    listurl=http://news.gzcc.cn/html/xiaoyuanxinwen/{}.html.format(i)
    ns.extend(onepage(listurl))

df=pandas.DataFrame(ns)
print(df.head())

 

以上是关于aaa的主要内容,如果未能解决你的问题,请参考以下文章

Vue版本过渡变化

vue2.0的变化

php 多个 一维数组 去重 组成新数组

连接文件中的名称[关闭]

基础数据代换代码

微信小程序代码片段