爬虫基础

Posted Thank CAT

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫基础相关的知识,希望对你有一定的参考价值。

HTTP基本原理

URL

URL(Uniform Resource Locator),即统一资源定位符,也就是我们说的网址,统一资源定位符是对可以从互联网上得到的资源的位置 和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联 网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置 以及浏览器应该怎么处理它

hypertext

超文本:hypertext,浏览器里面看到的网页就是超文本解析而成, 其网页源代码是一系列html代码,如img表示图片,p指定段落

HTTP基本原理

  • http和https:访问资源需要的协议类型,还有其他的类型,ftp, sftp,smb等

  • http:hyper text transfer protocol,超文本传输协议,网络传 输超文本数据到本地浏览器的传送协议,保证高效而准确的传送超 文本文档

  • https : Hyper Text Transfer Protocol over Secure Socket Layer,以安全为目标的http通道,http下加入ssl层

  • 作用:建立一个信息安全通道来保证数据传输的安全,确认网站的真实性

  • HTTP请求过程

    • 浏览器中输入url后,浏览器向网站所在服务器发送了一个请求,网 站服务器接收请求,并对这个请求进行处理和解析,然后返回对应 的响应,传回给浏览器,再通过浏览器解析出来
  • 请求:可分为四部分内容

    • 请求的网站(request url)
    • 请求方法(request method)
    • 请求头(request headers)
    • 请求体(request body)

请求方法主要分为get和post请求

  • get请求
    • 请求中的参数包含在url里面
    • 请求提交的数据最多只有1024字节
    • 百度中输入关键字,wd表示要搜索的关键字
  • post请求
    • 表单提交时候发起,用户登录
    • 数据以表单的形式传输,不会体现在url中
    • 请求提交的数据没有大小限制
    • 数据传输更安全(参数不会体现在url中)

请求头

用来说明服务器要使用的附加信息,比较重要的 信息有cookie,user-agent

请求体

一般承载的内容是post请求中的表单数据,对于 get请求,请求体为空

响应

由服务器返回给客户端,可以分为三部分,响应状 态 码 ( response status code ) , 响应头 ( response headers),响应体(response body)

响应状态码

表示服务器的响应状态,200代表服务器正常 响应,404代表页面未找到,500代表服务器内部发生错误

https://blog.csdn.net/q1056843325/article/details/53147180

响应头

包含了服务器对请求的应答信息,如contenttype,server,set-cookis等

响应体

爬虫请求后解析的内容就是响应体,响应的正文数据,比如请求网页时,响应体是html代码;请求一张图片时, 响应体为图片的二进制数据;json数据等

网页基础

网页的组成

  • HTML,CSS,JavaScript
  • Html相当于骨架,Css相当于皮肤,JavaScript相当于肌肉
  • 三者结合起来形成完善的网页

HTML:超文本标记语言(hyper text markup language)

HTML: 决定网页的结构和内容 (是什么),<head>元素标记头部文件,用<title>元素标记网页名称,用<body>元素标记网页主体,用<table>元素标记表格等等,段落用p标签表示,布局通过布局标签div嵌套组合合成

CSS:层叠样式表(cascading stytle sheets)

层叠指在html中引用了数个样式文件,并且样式发生冲突时候,浏览器能依据层叠顺序处理

样式:设定网页的表现样式(什么样子)。将网页样式提取出来方便更改某一类元素的样式,通过<style>元素插入CSS代码,<style>元素放在<head>元素中。网页中文字的大小,颜色,元素间距,排列等

JavaScript(JS)

  • Html和Css只是实现静态信息,缺乏交互性。网页的交互和动画效果 通过JavaScript实现
  • JavaScript通过单独的文件形式加载,后缀为js
  • Html中通过<script>标签引入

爬虫基本原理

爬虫基本流程

  • 获取网页源代码:通过请求库来实现,urllib,requests等实现 http请求
  • 提取信息:分析网页源代码,提取数据,如正则表达式,beautiful soup,pyquery,lxml等
  • 保存数据:保存为txt,json或数据库

抓什么数据

  • Html代码
  • Json字符串(api接口,手机端大部分是这种数据格式)
  • 二进制文件(图片,音频,视频等)
  • 各种扩展名的文件:css,JavaScript,各种配置文件等

JavaScript渲染页面

  • 用urllib或requests抓取网页时,得到的源代码和浏览器中看到的不一样
  • 越来越多的网页采用ajax、前端模块化工具来构建,整个网页都是 JavaScript渲染出来的
  • 需要分析ajax接口,或使用selenium等库实现模拟JavaScript渲染
  • 页面渲染/https://blog.csdn.net/zyf__java/article/details/73526682

cookies

  • cookies在浏览器端,在访问动态网页时候浏览器会自动附带上它发 送给服务器,服务器通过识别cookies并鉴定其是哪个用户,判断其 是否登录状态,然后返回对应的响应
  • cookies / https://baike.baidu.com/item/cookie/1119?fr=aladdin

爬虫代理

  • 代理网络用户去取得网络信息
  • 代理的作用:突破自身IP访问限制,访问团体内部资源,提高访问 速度,隐藏真实IP
  • 爬虫代理可以获得较好的爬取效果(防止被封禁或输入验证码登录)

检查robots.txt

  • Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬 虫排除标准”(Robots Exclusion Protocol),网站通过Robots协 议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取
  • 当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是 否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内 容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够 访问网站上所有没有被口令保护的页面

以上是关于爬虫基础的主要内容,如果未能解决你的问题,请参考以下文章

爬虫基础知识

爬虫基础知识

0基础学爬虫爬虫基础之抓包工具的使用

0基础学爬虫爬虫基础之网页解析库的使用

0基础学爬虫爬虫基础之自动化工具 Pyppeteer 的使用

0基础学爬虫爬虫基础之自动化工具 Selenium 的使用