python爬虫和测试的区别

Posted 2023-03-27

爬虫的基本流程

发起请求

通过HTTP库向目标站点发起请求，也就是发送一个Request，请求可以包含额外的header等信息，等待服务器响应

获取响应内容

如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能是HTML,Json字符串，二进制数据（图片或者视频）等类型

解析内容

得到的内容可能是HTML,可以用正则表达式，页面解析库进行解析，可能是Json,可以直接转换为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理

保存数据

保存形式多样，可以存为文本，也可以保存到数据库，或者保存特定格式的文件 参考技术A 爬虫一般抓取速度比较高的，有爬网页和爬接口的，追求的是时效性，稳定性，用代理ip等伪装手段进行反扒，多半是爬别人的网站，如果是自己的网站直接去读数据库效率更高一点。也有用selenium等工具打开本地浏览器抓取的，但是这种情况下一般是模仿人工点击去做网页操作，然后在页面提取数据，一般抓取速度不会太高，再说本地浏览器也来不及处理。
网站的测试有很多种类，接口测试、页面测试、压力测试、性能测试等，这些测试也还分手动，半自动和全自动，这些测试里面，网页页面的自动化测试确实也很多用selenium的，那种一般是测试自己的网页是不是有异常，展现的数据是不是有错误，所以抓取的内容一般会和自己预期的结果做比对，一般来说不会追求跑得很快，因为并发测试有其他的测试工具。 参考技术B

代理IP http爬虫（Web crawler），是一种按照一定的规则，自动地提取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网站的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的http分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网站URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网站将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

参考技术C 爬虫的基本流程
发起请求
通过HTTP库向目标站点发起请求，也就是发送一个Request，请求可以包含额外的header等信息，等待服务器响应
获取响应内容
如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能是HTML,Json字符串，二进制数据（图片或者视频）等类型
解析内容
得到的内容可能是HTML,可以用正则表达式，页面解析库进行解析，可能是Json,可以直接转换为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理
保存数据
保存形式多样，可以存为文本，也可以保存到数据库，或者保存特定格式的文件