爬虫之爬取电影天堂（request）

Posted 2020-11-10 藤藤0520

#需要通过代码打开https://www.dytt8.net/网站，拿到网站内容
from urllib.request import urlopen #拿到urlopen
import re
content = urlopen("https://www.dytt8.net/").read().decode("gbk")
#获取到最新电影的部分链接
#正则表达式，匹配字符串
lst = re.findall("最新电影下载</a>]<a href=‘(.*?)‘",content,re.S)

for item in lst:
    #3.拼接出子页面的网址
    one_page_content = urlopen("https://www.dytt8.net/" + item).read().decode("gbk")
    one_page_lst = re.findall(
        ‘<div id="Zoom">.*?◎片　　名\u3000(.*?)<br />.*?<td style="WORD-WRAP: break-word" bgcolor="#fdfddf"><a href="(.*?)">‘,
        one_page_content, re.S)
    print(one_page_lst)

#4.获取电影名称和电影链接保存在txt文件
    movie_name=  one_page_lst[0][0]
    download_url=one_page_lst[0][1]
    #文件操作
    f=open("movie.txt",mode="w",encoding="utf-8")
    f.write("电影名："+movie_name+"\n")
    f.write("下载链接："+download_url)
    print("一个完成了")
    f.close()