Python爬虫工程师必学——App数据抓取实战 ??

Posted itye2

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫工程师必学——App数据抓取实战 ??相关的知识,希望对你有一定的参考价值。

Python爬虫工程师必学——App数据抓取实战

随着移动互联网的市场份额逐步扩大,手机APP已经占据我们的生活,以往的数据分析都借助于爬虫爬取网页数据进行分析,但是新兴的产品有的只有APP,并没有网页端这对于想要提取数据的我们就遇到了些问题,本章以豆果美食APP为例给大家演示如何提取手机的数据。

安装Fiddler

Fiddler官网下载地址:http://www.fiddler2.com/fiddl...,我是直接在百度搜索的下载版本

安装过程就是下一步下一步最后完成即可,安装好了以后需要配置一些内容

设置允许抓取HTTPS信息包
打开下载好的fiddler,找到 Tools -> Options,然后在HTTPS的工具栏下勾选Decrpt HTTPS traffic,在新弹出的选项栏下勾选Ignore server certificate errors。这样,fiddler就会抓取到HTTPS的信息包
技术图片

设置允许外部设备发送HTTP/HTTPS到fiddler
在Connections选项栏下勾选Allow remote computers to connect
技术图片

连通手机与电脑

想要抓取手机APP上的数据一大难点就在于,你并不知道他们数据请求的接口地址是多少,在PC端想要抓取一个网站的数据只要访问网址,用抓包工具就可以知道了,所以我们第一步先把环境配置好,就是在手机上访问地址(发送任何网络请求)都可以在电脑上通过Fiddler抓取到。

第一步:先保障手机和电脑上面连接网络,我这里是电脑连的网线,我单独安装了一个Wi-Fi共享精灵,手机(iphone6s)连接上共享出去的wifi
技术图片

第二步:查看电脑IP地址
先在电脑上打开cmd,输入ipconfig查看IP地址
技术图片
这里要注意IP地址用的是无线网络连接这个IP地址,不是本地连接的IP地址(坑点)

第三步:手机设置HTTP代理
打开手机无线网络连接,选择已经连接的网络连接,点击一个小圆圈叹号进入可以看到下图,选择配置代理,进入后把刚刚的IP地址输入进去,端口就是Fiddler中设置的8888即可。
技术图片

第四步:手机和电脑端安装证书
电脑端访问:http://localhost:8888/进行安装
技术图片
手机访问电脑的IP地址加端口8888即可,我这里的地址是:http://192.168.23.1:8888
技术图片

第五步:测试通过
最后就是来测试下,打开手机随便一个APP,去访问里面的内容,这时打开fiddler可以看到所发出的网络请求,我这里打开的是豆果美食APP
技术图片

分析手机APP请求地址

通过观察fiddler中的请求可以发现http://api.douguo.net/persona...,这个就是请求首页中的部分数据,直接把地址复制到网页中可以看到返回的JSON数据
技术图片

其实这部分内容是最重要也是最困难的一个环节,考验你工作年限的时候到了,要从中剥离出正确的API请求,并分析API中的数据结构,为后续数据分析做准备。

Python3.x爬虫获取数据

这里直接通过urllib.request进行请求即可,这里并没有使用框架,代码如下:

import urllib.request

# 向指定的url地址发送请求,并返回服务器响应的类文件对象
response = urllib.request.urlopen("http://api.douguo.net/personalized/home/0/20")

# 服务器返回的类文件对象支持Python文件对象的操作方法
# read()方法就是读取文件里的全部内容,返回字符串
html = response.read()
 
# 打印响应内容
print(html.decode("unicode_escape"))

运行代码结果打印数据如下
技术图片
后续对这个数据是存储,还是分析就是后续的操作了,到此我们就已经完成了从手机APP中提取数据的步骤

以上是关于Python爬虫工程师必学——App数据抓取实战 ??的主要内容,如果未能解决你的问题,请参考以下文章

Python 爬虫工程师必学 App数据抓取实战

移动端Python爬虫实战-2020版

Python爬虫实现抓取腾讯视频所有电影实战必学

新手必学Python爬虫之Scrapy框架案例详解

新手必学Python爬虫之Scrapy框架案例详解

Python爬虫编程思想(126):项目实战--实时抓取“得到”App在线课程