一篇文章教会你用Python抓取抖音app热点数据

Posted dcpeng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了一篇文章教会你用Python抓取抖音app热点数据相关的知识,希望对你有一定的参考价值。

今天给大家分享一篇简单的安卓app数据分析及抓取方法。以抖音为例,我们想要抓取抖音的热点榜数据。

 
技术图片
 

    要知道,这个数据是没有网页版的,只能从手机端下手。

    首先我们要安装charles抓包APP数据,它是一款收费的抓包修改工具,易上手,数据请求容易控制,修改简单,抓取数据的开始暂停方便等优势,网上也有汉化版,下载地址为http://www.zdfans.com/html/42074.html,一路默认安装就ok了。

    安装完成后要设置代理,依次点击代理——代理设置。

 
技术图片
 

    然后在手机端设置代理,如下图所示:

 
技术图片
 

    在保证手机和电脑在同一局域网的情况下,代理服务器主机名设为电脑的ip地址,端口设为8888。

    最后在电脑端和手机端分别安装证书。

    电脑端安装方法:依次点击帮助——ssl代理——安装charles root证书 ,按下图进行安装。

 
技术图片
 

    手机端安装方式:帮助——ssl代理——在移动设备或远程浏览器上安装charles root证书。

    再在模拟器浏览器中输入chls.pro/ssl,会自动下载手机端证书

    最后再手机端依次点击设置——安全——从SD卡安装。

 
技术图片
 

    为证书命名,点击确认就安装成功了。

    打开charles,然后打开抖音app的热点榜界面,在charles很容易就找到了数据接口,一次就返回了50条数据,如下图所示。

 
技术图片
 

    它的url信息如下图所示。

 
技术图片
 

    此接口只能返回这一时刻的热点数据,要想返回新的数据,就要变换参数信息,但是App端的数据接口参数都比较复杂,这里我们不再深入分析。

    为了解决这一问题,我们可以用appium定时模拟操控手机,然后用mitmproxy把数据拦截下来(关于appium、mitmproxy的简介与安装网上有很多教程,这里不再赘述)

    Appium脚本如下图所示:

 
技术图片
 

    这个自动化测试脚本比较简单,主要是重复获取热点最新信息。

    Mitmproxy脚本如图:

 
技术图片
 

有4点需要注意的地方:

    1.用mitmproxy抓包前,先把手机代理ip端口设置为8080,设置方法同上;

    2.要想在此脚本运行外置函数,必须加上前两行,要不然会出错;

    3.脚本中if url in flow.request.url为数据流判断条件,如果url在该数据流的url请求数据中,则判断该数据为抖音app热点数据;

    4.最后在脚本所在路径运行以下程序:

 
技术图片
 

最后再运行appium自动化测试脚本,就大功告成了。

如果需要本文的代码,请在后台回复“抖音”二字,觉得不错,记得给个star噢~

看完本文有收获?请转发分享给更多的人

IT共享之家

入群请在微信后台回复【入群】

 
技术图片


作者:Python进阶学习交流
链接:https://www.jianshu.com/p/46020e4c6106
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

以上是关于一篇文章教会你用Python抓取抖音app热点数据的主要内容,如果未能解决你的问题,请参考以下文章

一篇文章教会你用Python抓取抖音app热点数据

一篇文章教会你用Python爬取淘宝评论数据(写在记事本)

一篇文章教会你用Python爬取淘宝评论数据(写在记事本)

一篇文章教会你使用Python定时抓取微博评论

一篇文章教会你利用Python网络爬虫抓取百度贴吧评论区图片和视频

一篇文章带你用Python网络爬虫实现网易云音乐歌词抓取