今天终于把爬虫的Ajax请求搞懂了

Posted 2021-09-27 江月

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了今天终于把爬虫的Ajax请求搞懂了相关的知识，希望对你有一定的参考价值。

今天终于把爬虫的Ajax请求搞懂了

文章目录

一、案例分析及存在的问题

首先，我们是想要爬取http://www.fintechdb.cn/这个网站中的各个不同省份的一些数据，但是如果像普通的请求方式那样：(注意是不同省份的数据)

直接撸出代码来：

import requests
url = 'http://www.fintechdb.cn/request/loadmore'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/91.0.4472.77 Safari/537.36 Edg/91.0.864.41',
    # 'X-Requested-With': 'XMLHttpRequest'
}
data = {
    'csrf_weiyangx_token': 'a8c2eafab6bd8f2041b6c2e0c8a3811b',
    'city': '台湾省,四川省',
    'financing': '0',
    'field': '0',
    'timestart': '0',
    'timeend': '0',
    'offset': '0',
    'sort': '1',
    'order': 'desc'
}
res = requests.post(url=url, data=data, headers=headers)
print(res.status_code)
print(res)
print(res.content.decode())

好了，敲完代码，自己还以为万事大吉了，谁知道右击然后，点击运行：
结果一看，傻眼了；

我说：诶，真是奇怪了，我的请求不都是返回来了状态码 200 嘛？怎么给我一个Wrong啊？是不是他故意返回一个 200 ，让我以为请求成功了啊？

带着这些疑问，我打开了网页，点进去了我的那个网址，发现；

啊，原来网页本身的内容就是Wrong啊，看来是请求正确的啦。

那么，问题又来了，那那些请求的数据又是放在了哪里了呢？

明明是可以看到的啊

真的是邪门了啊？？？

二、问题的解决

后来，我查阅各种资料。。。。。。

最后发现，原来原因在于这个网站是用Ajax来写的，

Ajax简介

AJAX 是一种在无需重新加载整个网页的情况下，能够更新部分网页的技术。

AJAX 不是新的编程语言，而是一种使用现有标准的新方法。

AJAX 是一种用于创建快速动态网页的技术。

总之一句话：
Ajax就是不需要重新加载页面就可以使得网页的一部分内容进行一定的更新，而 XMLHttpRequest 对象是实现Ajax的基础环节， XMLHttpRequest 对象对象是实现浏览器（Html）与数据进行交互的。

下面回到原本的额问题

问题解决

我们重新进行一下网页的捕获，发现，诶，果然有一个 XMLHttpRequest 对象对象这个请求的头的参数

那好办，我们直接就把这个请求的参数也带进请求头里面去就好了，对不对？
代码如下：

import requests
url = 'http://www.fintechdb.cn/request/loadmore'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36 Edg/91.0.864.41',
    'X-Requested-With': 'XMLHttpRequest'
}
data = {
    'csrf_weiyangx_token': 'a8c2eafab6bd8f2041b6c2e0c8a3811b',
    'city': '台湾省,四川省',
    'financing': '0',
    'field': '0',
    'timestart': '0',
    'timeend': '0',
    'offset': '0',
    'sort': '1',
    'order': 'desc'
}
res = requests.post(url=url, data=data, headers=headers)
print(res.status_code)
print(res)
print(res.content.decode())