Python 爬虫神器 requests 工具

Posted 2023-05-27 Yxh_blogs

一、模块安装

pip install requests

二、常用方法

在实际的爬虫中，其实真正用到的只有 GET、POST，像其他的方法基本用不到，比如：DELETE、HEAD、PUT 等。

1、GET 方法

headers = \'user-agent\': \'my-app/0.0.1\'
payload = \'key1\': \'value1\', \'key2\': \'value2\'
requests.get(url, params=payload, headers=headers)

2、POST 方法

headers = \'user-agent\': \'my-app/0.0.1\'
payload = \'key1\': \'value1\', \'key2\': \'value2\'
requests.post(url, data=payload, headers=headers)

3、参数设置

禁用证书验证
verify = False
如果爬取的目标网站是 HTTPS 的，那么需要设置下这个参数。

代理设置
proxies =
\'http\': \'http://10.10.1.10:3128\',
\'https\': \'http://10.10.1.10:1080\',

proxies = proxies
设置代理的目的是隐藏真实的IP地址，防止被禁IP地址。

HTTP Auth 认证

auth = HTTPBasicAuth(\'admin\', \'admin\')
如果网站设置了 Auth 认证，需要配置这个参数传递账号密码。

附：
requests地址 https://requests.readthedocs.io

三、案例

搞爬虫都是注重效率的，俗话说："工欲善其，必先利其器"。那我们在这里利用一个工具将 CURL 请求直接生成 Python 代码。

复制网络请求的 CURL 命令。

将 CURL 命令转换成 Python 代码

最终生成的 Python 代码

附：
目标网址 https://spa1.scrape.center/
工具地址 https://curlconverter.com/python/

四、小结

1、requests 工具是编写爬虫程序中最常用的模块。
2、为了提高爬虫程序的编写效率直接使用 curlconverter 工具，将 curl 命令转换成 Python 代码。
3、本篇文章主要是作为笔记记录下，希望这些内容能够对你有帮助。

Python爬虫解密神器，无需知道哪种类型加密，全自动解密工具

 

Ciphey 是一个使用自然语言处理和人工智能的全自动解密/解码/破解工具。

简单地来讲，你只需要输入加密文本，它就能给你返回解密文本。就是这么牛逼。

有了Ciphey，你根本不需要知道你的密文是哪种类型的加密，你只知道它是加密的，那么Ciphey就能在3秒甚至更短的时间内给你解密，返回你想要的大部分密文的答案。

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！
QQ群：701698587

欢迎加入，一起讨论 一起学习！

 

下面就给大家介绍 Ciphey 的实战使用教程。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，可以访问这篇文章：超详细Python安装指南进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda： Python数据分析与挖掘好帮手—Anaconda ，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器，它有许多的优点： Python 编程的最好搭档—VSCode 详细指南 。

请选择以下任一种方式输入命令安装依赖：

1. Windows 环境 打开 Cmd (开始-运行-CMD)。

2. MacOS 环境 打开 Terminal (command+空格输入Terminal)。

3. 如果你用的是 VSCode编辑器 或 Pycharm，可以直接使用界面下方的Terminal.

pip install -U ciphey

2.Ciphey 基本使用

有3种方法可以运行 Ciphey：

1.文件输入：

ciphey -f encrypted.txt
# 或
python -m ciphey -f encrypted.txt

2. 不规范的方法：

ciphey -- "Encrypted input"
# 或
python -m ciphey -- "Encrypted input"

3.正常方式

ciphey -t "Encrypted input"
# 或
python -m ciphey -t "Encrypted input"

如下图所示：

 

要去除进度条、概率表和所有噪音，请使用安静模式：

ciphey -t "encrypted text here" -q

3.在Python中调用Ciphey

如果你需要在Python中使用Ciphey，请这样使用：

# Python实用宝典
# 2021/07/19
from ciphey.__main__ import main, main_decrypt, make_default_config
main_decrypt(make_default_config("SGVsbG8gbXkgbmFtZSBpcyBiZWUgYW5kIEkgbGlrZSBkb2cgYW5kIGFwcGxlIGFuZCB0cmVl"))
# >> Hello my name is bee and I like dog and apple and tree

运行后会输出如下的结果：

 

效果还是相当不错的，如果你不想输出概率表，只想要解密内容，代码需要这么写：

# Python实用宝典
# 2021/07/19
from ciphey.__main__ import main, main_decrypt, make_default_config
config = make_default_config("SGVsbG8gbXkgbmFtZSBpcyBiZWUgYW5kIEkgbGlrZSBkb2cgYW5kIGFwcGxlIGFuZCB0cmVl")
config["grep"] = True
main_decrypt(config)
# >> Hello my name is bee and I like dog and apple and tree

 

非常Nice，你根本无需知道这是什么密文/编码。