Spider_基础总结2_Request+Beautifulsoup解析HTML

Posted 2020-12-13 collin-pxy

静态网页 抓取实例：

import requests
from bs4 import BeautifulSoup

def gettop250():
    headers={
        ‘user-agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/80.0.3987.132 Safari/537.36‘,
        ‘Host‘:‘movie.douban.com‘
    }
    move_list=[]
    url=‘https://movie.douban.com/top250?start=‘
    for i in range(10):
        r=requests.get(url+str(i*25)+"&filter=",headers=headers,timeout=10)  # 不使用headers参数时请求不到结果。
        soup=BeautifulSoup(r.text,‘lxml‘)  # 可把 r.text换成 r.content
        #div_list=soup.find_all(‘div‘,class_=‘hd‘)  #或：
        div_list=soup.find(‘div‘,class_=‘article‘).find_all(‘div‘,class_=‘info‘)
        for move in div_list:
            move_list.append(move.a.span.text.strip())
    return move_list

print(gettop250())

import requests
from bs4 import BeautifulSoup
def get_movies():
    headers={
        ‘user-agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36‘,
        ‘Host‘:‘movie.douban.com‘
    }
    movie_list=[]
    for i in range(0,10):
        link=‘https://movie.douban.com/top250?start=‘+str(i*25)
        r=requests.get(link,headers=headers,timeout=10)
        # print(str(i+1),‘页响应状态码：‘,r.status_code)
        soup=BeautifulSoup(r.text,‘html.parser‘)
        div_list=soup.find_all(‘div‘,class_=‘hd‘)
        for each in div_list:
            movie=each.a.span.text.strip() # 相关定位问题参见https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#id20
            movie_list.append(movie)
    return movie_list
movies=get_movies()
print(movies)

[‘肖申克的救赎‘, ‘霸王别姬‘, ‘阿甘正传‘, ‘这个杀手不太冷‘, ‘美丽人生‘, ‘泰坦尼克号‘, ‘千与千寻‘, ‘辛德勒的名单‘, ‘盗梦空间‘, ‘忠犬八公的故事‘, ‘海上钢琴师‘, ‘楚门的世界‘, ‘三傻大闹宝莱坞‘, ‘机器人总动员‘, ‘放牛班的春天‘, ‘星际穿越‘, ‘大话西游之大圣娶亲‘, ‘熔炉‘, ‘疯狂动物城‘, ‘无间道‘, ‘龙猫‘, ‘教父‘, ‘当幸福来敲门‘, ‘怦然心动‘, ‘触不可及‘, ‘蝙蝠侠：黑暗骑士‘, ‘控方证人‘, ‘活着‘, ‘乱世佳人‘, ‘寻梦环游记‘, ‘末代皇帝‘, ‘摔跤吧！爸爸‘, ‘指环王3：王者无敌‘, ‘何以为家‘, ‘少年派的奇幻漂流‘, ‘飞屋环游记‘, ‘十二怒汉‘, ‘鬼子来了‘, ‘天空之城‘, ‘素媛‘, ‘哈尔的移动城堡‘, ‘大话西游之月光宝盒‘, ‘天堂电影院‘, ‘罗马假日‘, ‘闻香识女人‘, ‘辩护人‘, ‘哈利·波特与魔法石‘, ‘我不是药神‘, ‘搏击俱乐部‘, ‘死亡诗社‘, ‘教父2‘, ‘指环王2：双塔奇兵‘, ‘狮子王‘, ‘大闹天宫‘, ‘窃听风暴‘, ‘指环王1：魔戒再现‘, ‘猫鼠游戏‘, ‘两杆大烟枪‘, ‘美丽心灵‘, ‘饮食男女‘, ‘钢琴家‘, ‘黑客帝国‘, ‘飞越疯人院‘, ‘V字仇杀队‘, ‘本杰明·巴顿奇事‘, ‘看不见的客人‘, ‘让子弹飞‘, ‘西西里的美丽传说‘, ‘小鞋子‘, ‘拯救大兵瑞恩‘, ‘海豚湾‘, ‘情书‘, ‘绿皮书‘, ‘穿条纹睡衣的男孩‘, ‘音乐之声‘, ‘海蒂和爷爷‘, ‘美国往事‘, ‘致命魔术‘, ‘低俗小说‘, ‘七宗罪‘, ‘沉默的羔羊‘, ‘蝴蝶效应‘, ‘禁闭岛‘, ‘春光乍泄‘, ‘心灵捕手‘, ‘布达佩斯大饭店‘, ‘被嫌弃的松子的一生‘, ‘阿凡达‘, ‘摩登时代‘, ‘剪刀手爱德华‘, ‘勇敢的心‘, ‘天使爱美丽‘, ‘喜剧之王‘, ‘致命ID‘, ‘加勒比海盗‘, ‘断背山‘, ‘杀人回忆‘, ‘狩猎‘, ‘哈利·波特与死亡圣器(下)‘, ‘请以你的名字呼唤我‘, ‘幽灵公主‘, ‘阳光灿烂的日子‘, ‘小森林 夏秋篇‘, ‘入殓师‘, ‘重庆森林‘, ‘第六感‘, ‘7号房的礼物‘, ‘消失的爱人‘, ‘红辣椒‘, ‘小森林 冬春篇‘, ‘爱在黎明破晓前‘, ‘一一‘, ‘侧耳倾听‘, ‘唐伯虎点秋香‘, ‘玛丽和马克思‘, ‘超脱‘, ‘倩女幽魂‘, ‘蝙蝠侠：黑暗骑士崛起‘, ‘告白‘, ‘大鱼‘, ‘阳光姐妹淘‘, ‘甜蜜蜜‘, ‘射雕英雄传之东成西就‘, ‘萤火之森‘, ‘驯龙高手‘, ‘无人知晓‘, ‘超能陆战队‘, ‘幸福终点站‘, ‘借东西的小人阿莉埃蒂‘, ‘菊次郎的夏天‘, ‘爱在日落黄昏时‘, ‘恐怖直播‘, ‘完美的世界‘, ‘神偷奶爸‘, ‘怪兽电力公司‘, ‘玩具总动员3‘, ‘功夫‘, ‘人生果实‘, ‘血战钢锯岭‘, ‘傲慢与偏见‘, ‘风之谷‘, ‘时空恋旅人‘, ‘教父3‘, ‘上帝之城‘, ‘天书奇谭‘, ‘电锯惊魂‘, ‘喜宴‘, ‘英雄本色‘, ‘被解救的姜戈‘, ‘谍影重重3‘, ‘七武士‘, ‘岁月神偷‘, ‘哪吒闹海‘, ‘我是山姆‘, ‘头号玩家‘, ‘釜山行‘, ‘疯狂原始人‘, ‘纵横四海‘, ‘三块广告牌‘, ‘心迷宫‘, ‘达拉斯买家俱乐部‘, ‘萤火虫之墓‘, ‘哈利·波特与阿兹卡班的囚徒‘, ‘真爱至上‘, ‘荒蛮故事‘, ‘贫民窟的百万富翁‘, ‘东邪西毒‘, ‘你的名字。‘, ‘记忆碎片‘, ‘卢旺达饭店‘, ‘爆裂鼓手‘, ‘花样年华‘, ‘黑天鹅‘, ‘忠犬八公物语‘, ‘黑客帝国3：矩阵革命‘, ‘模仿游戏‘, ‘一个叫欧维的男人决定去死‘, ‘头脑特工队‘, ‘哈利·波特与密室‘, ‘你看起来好像很好吃‘, ‘雨人‘, ‘未麻的部屋‘, ‘无敌破坏王‘, ‘新世界‘, ‘冰川时代‘, ‘恋恋笔记本‘, ‘海街日记‘, ‘二十二‘, ‘海边的曼彻斯特‘, ‘惊魂记‘, ‘房间‘, ‘虎口脱险‘, ‘恐怖游轮‘, ‘奇迹男孩‘, ‘魔女宅急便‘, ‘人工智能‘, ‘雨中曲‘, ‘疯狂的石头‘, ‘小偷家族‘, ‘爱在午夜降临前‘, ‘绿里奇迹‘, ‘罗生门‘, ‘终结者2：审判日‘, ‘海洋‘, ‘初恋这件小事‘, ‘魂断蓝桥‘, ‘燃情岁月‘, ‘可可西里‘, ‘2001太空漫游‘, ‘穿越时空的少女‘, ‘牯岭街少年杀人事件‘, ‘城市之光‘, ‘完美陌生人‘, ‘无耻混蛋‘, ‘新龙门客栈‘, ‘源代码‘, ‘阿飞正传‘, ‘青蛇‘, ‘色，戒‘, ‘香水‘, ‘谍影重重2‘, ‘遗愿清单‘, ‘地球上的星星‘, ‘血钻‘, ‘战争之王‘, ‘谍影重重‘, ‘大佛普拉斯‘, ‘猜火车‘, ‘疯狂的麦克斯4：狂暴之路‘, ‘彗星来的那一夜‘, ‘步履不停‘, ‘朗读者‘, ‘浪潮‘, ‘小萝莉的猴神大叔‘, ‘再次出发之纽约遇见你‘, ‘九品芝麻官‘, ‘驴得水‘, ‘东京物语‘, ‘聚焦‘, ‘哈利·波特与火焰杯‘, ‘追随‘, ‘一次别离‘, ‘千钧一发‘, ‘我爱你‘, ‘黑鹰坠落‘, ‘波西米亚狂想曲‘, ‘网络谜踪‘, ‘四个春天‘, ‘发条橙‘, ‘E.T. 外星人‘]