Python题目4:爬取电影

Posted rouge2017

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python题目4:爬取电影相关的知识,希望对你有一定的参考价值。

import re # 正则表达式,用于提取数据
import requests  # 下载网页源代码
‘‘‘
安装requests模块:pip install requests
参考文档:https://www.cnblogs.com/jamespan23/p/5526311.html
‘‘‘
for m in range(1,5):
    url = ‘http://www.dytt8.net/html/gndy/dyzz/list_23_‘+str(m)+‘.html‘
    html = requests.get(url) #  使用静态网页
    html.encoding = ‘GB2312‘ # 指定编码格式,通过查看网页源代码得知
    data = re.findall(‘<a href="(.*?)" class="ulink">‘,html.text)
    # 提取信息,返回列表
    # (.*?)匹配以‘<a href=‘开头,以‘class="ulink"‘结尾的任何信息

    for n in data:
        url2 = ‘http://www.dytt8.net‘ + n
        html2 = requests.get(url2)
        html2.encoding = ‘GB2312‘
        ftp = re.findall(‘<a href="(.*?)">.*?</a></td>‘,html2.text)
        try:
            with open(r‘F:\\python\\mov.txt‘,‘a‘,encoding=‘UTF-8‘) as f:
            # utf-8有可能兼容,不兼容的话使用gb2312
                f.write(ftp[0]+‘\\n‘) # ftp提取的都是列表,列表不能写入文件,所以要加[0]
        except:
            print(‘这一页不能下载‘)

  

以上是关于Python题目4:爬取电影的主要内容,如果未能解决你的问题,请参考以下文章

python爬取猫眼代码没

python爬取猫眼电影top100

Python抓取电影天堂, 零基础都可以学? 源码&视频教程, 大赞!

《团队-爬取豆瓣电影TOP250-设计文档》

Python练习利用线程池爬取电影网站信息

Python | requests+正则表达式爬取猫眼电影TOP100