《Forward团队-爬虫豆瓣top250项目-开发文档》

Posted 2020-10-13 虚度年华MZ

码云地址：https://github.com/xyhcq/top250 

模块功能：获取豆瓣top250网页的源代码，并分析。

def gethtmlText(url,k):
    # 获取网页源代码
    try:
        if(k==0):
            kw={}
        else:
            kw={‘start‘:k,‘filter‘:‘‘}
        # 保存获取的网页
        read = requests.get(url,params=kw,headers={‘User-Agent‘: ‘Mozilla/4.0‘})
        read.raise_for_status()
        read.encoding = read.apparent_encoding
        return read.text
    except:
        print("获取失败!")

def getData(html):
    # 分析代码信息，提取数据
    soup = BeautifulSoup(html, "html.parser")

    # 找到第一个class属性值为grid_view的ol标签
    movieList=soup.find(‘ol‘,attrs={‘class‘:‘grid_view‘})


    # 找到所有的li标签
    for movieLi in movieList.find_all(‘li‘):    
        # 找到第一个class属性值为hd的div标签
        movieHd=movieLi.find(‘div‘,attrs={‘class‘:‘hd‘})