学习总结-2020-01-04

Posted 2021-03-18 aaron456-rgv

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了学习总结-2020-01-04相关的知识，希望对你有一定的参考价值。

前言

该文章主要是学习Python3爬虫，以及os,re，type(),super()的描述

修改时间：2020-01-04

天象独行

　　0X01；Python3爬虫总结

　　首先，我们先了解一下什么是爬虫，在我看来“爬虫”的本质就是使用代码来替代人为网页浏览数据的一种行为。如果这么一来那么就比较简单了。我们先看看人操作WEB浏览器是如何上网浏览数据的。

　　下面来看看WEB是如何与数据沟通的：

　　　　1；WEB浏览器通过地址url发送数据包到请求所需要的数据。

　　　　2；服务器经过验证（通过Cookie等方式）通过，返回WEB浏览器所需要的数据。

　　　　3；WEB浏览器经过特定的格式来分析解包，展现信息。

　　根据上面的分析，我们了解，希望利用代码来替代以上分析的行为。

　　　　1；WEB浏览器发送数据包到请求所需要的数据。

　　　　1.1；在Python3当中使用urllib模块来执行爬虫功能，其中request模块可以模拟该行为来发送web数据包。urllib.request.urlopen()可以直接发送数据包，当然，如果需要完全的模拟WEB发送数据包，也可以定制发送数据包。其中urllib.request.Request()来定制WEB数据包，通过urllib.request.urlopen()来发送出去。

　　　　1.2；定制数据包完成了那我们要往哪里发送这个数据包呢？WEB浏览器是通过URL来找到对应的服务器的。通过代码当然也是如此，这里我们可以使用模块urllib.parse模块来构造我们需要的URL。

　　　　3；WEB浏览器经过特定的格式来分析解包，展现信息。

　　　　对于返回来的数据我们并不是全部都需要，所以，我们需要筛选数据。常见的筛选数据的方法可以是通过BS库，正则表达式，xpath，jsonpath，selenium。来筛选数据。

　　0X02；Python3 os库

　　　　1；os.access(path,mode) 方法作用是尝试访问uid/gid路径。

　　　　2；os.chdir(path) 方法用于切换工作路径。

　　　　3；os.chmod(path,mode) 方法用于更改文件或目录的权限。

　　　　4；os.chown(path,uid,gid) 方法用户更改文件所有者。

　　　　5；os.makedirs(path,mode) 递归常见目录。

　　　　6；os.path.exists(path) 确定路径是否存在。

　　0X03；Python3 re库

　　　　1；re.match(pattern,string,flags=0) 从字符串起始位置匹配。