抖音对指定用用户的所有视频抓取策略

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了抖音对指定用用户的所有视频抓取策略相关的知识,希望对你有一定的参考价值。

参考技术A 抖音对指定用用户的所有视频抓取策略

方案1:接口参数有加密,需脱壳app进行反编译破解加密参数。(难度较大,不容易实现)

方案2:使用appium自动化框架配合mitmdump中间人代理截取手机发送的数据包,从而获取数据。(容易实现,且不容易被识别反爬)

综上所述我选用的实现方案是方案2

二、可能需要的资源

android模拟器或者真机

长期有效代理

三、实现原理流程图

三、具体实现过程

1、首先利用fiddler抓包工具分析抖音app的主页滑动的请求接口

2、设置手机或者模拟器的代理为本机ip和端口 8888(fiddler监控端口)

3、手机点到监测账号主页动态页面,(因为动态页面的数据跟作品是相对应的,而所有 作品的接口反爬比较严格,所以采用动态接口)手动向下滑动触发请求数据接口(后 期可通过appium实现自动化操作)

4、对抖音app数据请求接口进行抓包分析

5、找到具体接口之后编写mitmproxy监控脚本准备拦截请求和解析入库的操作

5、设置模拟器或者手机的代理为本机ip和自定义的端口 9090(mitmproxy监控此端口)

6、运行mitmproxy监控脚本监控手机 9090 端口发出的请求

7. 手动滑动抖音app视频动态页刷新请求会看到数据已经被截获了(可利用appium 自动化实现滑动)

以上是关于抖音对指定用用户的所有视频抓取策略的主要内容,如果未能解决你的问题,请参考以下文章

python爬取抖音热搜视频

抖音获取视频点赞数播放数获取用户粉丝列表

抖音推荐系统背后的算法,你知道吗?

请教下制作抖音纯文字图片视频还有一边讲话配音要用到哪些软件?

抖音视频数据可视化从 0 到 1

爆肝!用Python制作抖音爆款视频!