01-Python 零基础入门爬虫 图片爬取

Posted 2021-02-28 Fairy

01-Python 零基础入门爬虫开发-爬虫简介

一 什么是爬虫?

网络爬虫(网络蜘蛛 网络机器人)

就是模拟浏览器去访问和获取互联网上信息的一个程序

二 爬虫的分类

通用网络爬虫

百度 谷歌 雅虎... 搜索引擎

特点:关键字获取既定目标 覆盖率很大

聚焦网络爬虫

特点:到互联网上有选择有目的的去抓取特定的目标和相关的主体内容

增量式网络爬虫

特点:只采取增量式的更新或者只爬行新产生或者是已经发生变化的网页

深层网络爬虫

表层

深层 大部分内容是币可以通过静态链接获取到的,隐藏在搜索表单之后的一些数据,有可能需要用户提交一些关键词才可以获得的WEB页面

三 案例演示

聚焦网络爬虫

一个静态为主的web页面 爬取的数据表情包

每张图片都不一样 地址指向它本身 只需找到图片的地址

图片的目标网站 https://qq.yh31.com/zjbq/16100183.html

每张图片所对应的链接只需要在网页源代码中找到就可以了

                                /tp/zjbq/202004162056276094.gif 未找到图片

https://qq.yh31.com/tp/zjbq/202004162056276094.gif 可找到图片