Spider_基础总结2_Request+Beautifulsoup解析HTML

Posted collin-pxy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spider_基础总结2_Request+Beautifulsoup解析HTML相关的知识,希望对你有一定的参考价值。

静态网页 抓取实例:

import requests
from bs4 import BeautifulSoup

def gettop250():
    headers={
        ‘user-agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/80.0.3987.132 Safari/537.36‘,
        ‘Host‘:‘movie.douban.com‘
    }
    move_list=[]
    url=‘https://movie.douban.com/top250?start=‘
    for i in range(10):
        r=requests.get(url+str(i*25)+"&filter=",headers=headers,timeout=10)  # 不使用headers参数时请求不到结果。
        soup=BeautifulSoup(r.text,‘lxml‘)  # 可把 r.text换成 r.content
        #div_list=soup.find_all(‘div‘,class_=‘hd‘)  #或:
        div_list=soup.find(‘div‘,class_=‘article‘).find_all(‘div‘,class_=‘info‘)
        for move in div_list:
            move_list.append(move.a.span.text.strip())
    return move_list

print(gettop250())
import requests
from bs4 import BeautifulSoup
def get_movies():
    headers={
        ‘user-agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36‘,
        ‘Host‘:‘movie.douban.com‘
    }
    movie_list=[]
    for i in range(0,10):
        link=‘https://movie.douban.com/top250?start=‘+str(i*25)
        r=requests.get(link,headers=headers,timeout=10)
        # print(str(i+1),‘页响应状态码:‘,r.status_code)
        soup=BeautifulSoup(r.text,‘html.parser‘)
        div_list=soup.find_all(‘div‘,class_=‘hd‘)
        for each in div_list:
            movie=each.a.span.text.strip() # 相关定位问题参见https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#id20
            movie_list.append(movie)
    return movie_list
movies=get_movies()
print(movies)

[‘肖申克的救赎‘, ‘霸王别姬‘, ‘阿甘正传‘, ‘这个杀手不太冷‘, ‘美丽人生‘, ‘泰坦尼克号‘, ‘千与千寻‘, ‘辛德勒的名单‘, ‘盗梦空间‘, ‘忠犬八公的故事‘, ‘海上钢琴师‘, ‘楚门的世界‘, ‘三傻大闹宝莱坞‘, ‘机器人总动员‘, ‘放牛班的春天‘, ‘星际穿越‘, ‘大话西游之大圣娶亲‘, ‘熔炉‘, ‘疯狂动物城‘, ‘无间道‘, ‘龙猫‘, ‘教父‘, ‘当幸福来敲门‘, ‘怦然心动‘, ‘触不可及‘, ‘蝙蝠侠:黑暗骑士‘, ‘控方证人‘, ‘活着‘, ‘乱世佳人‘, ‘寻梦环游记‘, ‘末代皇帝‘, ‘摔跤吧!爸爸‘, ‘指环王3:王者无敌‘, ‘何以为家‘, ‘少年派的奇幻漂流‘, ‘飞屋环游记‘, ‘十二怒汉‘, ‘鬼子来了‘, ‘天空之城‘, ‘素媛‘, ‘哈尔的移动城堡‘, ‘大话西游之月光宝盒‘, ‘天堂电影院‘, ‘罗马假日‘, ‘闻香识女人‘, ‘辩护人‘, ‘哈利·波特与魔法石‘, ‘我不是药神‘, ‘搏击俱乐部‘, ‘死亡诗社‘, ‘教父2‘, ‘指环王2:双塔奇兵‘, ‘狮子王‘, ‘大闹天宫‘, ‘窃听风暴‘, ‘指环王1:魔戒再现‘, ‘猫鼠游戏‘, ‘两杆大烟枪‘, ‘美丽心灵‘, ‘饮食男女‘, ‘钢琴家‘, ‘黑客帝国‘, ‘飞越疯人院‘, ‘V字仇杀队‘, ‘本杰明·巴顿奇事‘, ‘看不见的客人‘, ‘让子弹飞‘, ‘西西里的美丽传说‘, ‘小鞋子‘, ‘拯救大兵瑞恩‘, ‘海豚湾‘, ‘情书‘, ‘绿皮书‘, ‘穿条纹睡衣的男孩‘, ‘音乐之声‘, ‘海蒂和爷爷‘, ‘美国往事‘, ‘致命魔术‘, ‘低俗小说‘, ‘七宗罪‘, ‘沉默的羔羊‘, ‘蝴蝶效应‘, ‘禁闭岛‘, ‘春光乍泄‘, ‘心灵捕手‘, ‘布达佩斯大饭店‘, ‘被嫌弃的松子的一生‘, ‘阿凡达‘, ‘摩登时代‘, ‘剪刀手爱德华‘, ‘勇敢的心‘, ‘天使爱美丽‘, ‘喜剧之王‘, ‘致命ID‘, ‘加勒比海盗‘, ‘断背山‘, ‘杀人回忆‘, ‘狩猎‘, ‘哈利·波特与死亡圣器(下)‘, ‘请以你的名字呼唤我‘, ‘幽灵公主‘, ‘阳光灿烂的日子‘, ‘小森林 夏秋篇‘, ‘入殓师‘, ‘重庆森林‘, ‘第六感‘, ‘7号房的礼物‘, ‘消失的爱人‘, ‘红辣椒‘, ‘小森林 冬春篇‘, ‘爱在黎明破晓前‘, ‘一一‘, ‘侧耳倾听‘, ‘唐伯虎点秋香‘, ‘玛丽和马克思‘, ‘超脱‘, ‘倩女幽魂‘, ‘蝙蝠侠:黑暗骑士崛起‘, ‘告白‘, ‘大鱼‘, ‘阳光姐妹淘‘, ‘甜蜜蜜‘, ‘射雕英雄传之东成西就‘, ‘萤火之森‘, ‘驯龙高手‘, ‘无人知晓‘, ‘超能陆战队‘, ‘幸福终点站‘, ‘借东西的小人阿莉埃蒂‘, ‘菊次郎的夏天‘, ‘爱在日落黄昏时‘, ‘恐怖直播‘, ‘完美的世界‘, ‘神偷奶爸‘, ‘怪兽电力公司‘, ‘玩具总动员3‘, ‘功夫‘, ‘人生果实‘, ‘血战钢锯岭‘, ‘傲慢与偏见‘, ‘风之谷‘, ‘时空恋旅人‘, ‘教父3‘, ‘上帝之城‘, ‘天书奇谭‘, ‘电锯惊魂‘, ‘喜宴‘, ‘英雄本色‘, ‘被解救的姜戈‘, ‘谍影重重3‘, ‘七武士‘, ‘岁月神偷‘, ‘哪吒闹海‘, ‘我是山姆‘, ‘头号玩家‘, ‘釜山行‘, ‘疯狂原始人‘, ‘纵横四海‘, ‘三块广告牌‘, ‘心迷宫‘, ‘达拉斯买家俱乐部‘, ‘萤火虫之墓‘, ‘哈利·波特与阿兹卡班的囚徒‘, ‘真爱至上‘, ‘荒蛮故事‘, ‘贫民窟的百万富翁‘, ‘东邪西毒‘, ‘你的名字。‘, ‘记忆碎片‘, ‘卢旺达饭店‘, ‘爆裂鼓手‘, ‘花样年华‘, ‘黑天鹅‘, ‘忠犬八公物语‘, ‘黑客帝国3:矩阵革命‘, ‘模仿游戏‘, ‘一个叫欧维的男人决定去死‘, ‘头脑特工队‘, ‘哈利·波特与密室‘, ‘你看起来好像很好吃‘, ‘雨人‘, ‘未麻的部屋‘, ‘无敌破坏王‘, ‘新世界‘, ‘冰川时代‘, ‘恋恋笔记本‘, ‘海街日记‘, ‘二十二‘, ‘海边的曼彻斯特‘, ‘惊魂记‘, ‘房间‘, ‘虎口脱险‘, ‘恐怖游轮‘, ‘奇迹男孩‘, ‘魔女宅急便‘, ‘人工智能‘, ‘雨中曲‘, ‘疯狂的石头‘, ‘小偷家族‘, ‘爱在午夜降临前‘, ‘绿里奇迹‘, ‘罗生门‘, ‘终结者2:审判日‘, ‘海洋‘, ‘初恋这件小事‘, ‘魂断蓝桥‘, ‘燃情岁月‘, ‘可可西里‘, ‘2001太空漫游‘, ‘穿越时空的少女‘, ‘牯岭街少年杀人事件‘, ‘城市之光‘, ‘完美陌生人‘, ‘无耻混蛋‘, ‘新龙门客栈‘, ‘源代码‘, ‘阿飞正传‘, ‘青蛇‘, ‘色,戒‘, ‘香水‘, ‘谍影重重2‘, ‘遗愿清单‘, ‘地球上的星星‘, ‘血钻‘, ‘战争之王‘, ‘谍影重重‘, ‘大佛普拉斯‘, ‘猜火车‘, ‘疯狂的麦克斯4:狂暴之路‘, ‘彗星来的那一夜‘, ‘步履不停‘, ‘朗读者‘, ‘浪潮‘, ‘小萝莉的猴神大叔‘, ‘再次出发之纽约遇见你‘, ‘九品芝麻官‘, ‘驴得水‘, ‘东京物语‘, ‘聚焦‘, ‘哈利·波特与火焰杯‘, ‘追随‘, ‘一次别离‘, ‘千钧一发‘, ‘我爱你‘, ‘黑鹰坠落‘, ‘波西米亚狂想曲‘, ‘网络谜踪‘, ‘四个春天‘, ‘发条橙‘, ‘E.T. 外星人‘]

以上是关于Spider_基础总结2_Request+Beautifulsoup解析HTML的主要内容,如果未能解决你的问题,请参考以下文章

yield self.engine.open_spider()重点是第一次开始执行nextcall.schedule() 和心跳,接下来分析心跳执行engine._next_request_from_

spider类

spider_爬取斗图啦所有表情包(图片保存)

PHP从基础到高级总结

调度 engine._next_request_from_scheduler() 取出request交给handler,结果是request,执行engine.craw(),结果是resp/fail,

Scrapy基础02