头条视频的数据隐藏的好深啊！隐藏的再深也逃不过Python的法眼！

Posted 2020-12-29 python1314

 

 

目标情况

这次我们的目标网站，是ajax加载的数据，首先，打开网页后，直接用浏览器（火狐）自带的开发者工具，点击网络，然后下滑网页，点击xhr，找到json数据，可以看到大概有100条内容！进群：548377875   即可获取数十套PDF哦！

 

 

里面有每一个视频的相关信息，我们只需要取出每一个视频的url即可！然后在去看看详情页的情况

 

 

 

有没有发现，在url中的关键字，是存在于网页源代码中的，虽然不是完全一样，但是我们可以和前面的那个标签中内容，对比下

 

 

可以判定，这里的值就是网页渲染后出现在html标签中的值，而且在源代码中它存在2个不同格式的视频地址！，这就很简单了，我们来写代码吧！

代码实现

简单写了一下，直接用requests请求内容，然后用re匹配，取出目标url

 

类似网站

 

 

用关键字在源代码中查找

 

最终代码

 

验证结果

 

上述文章如有错误欢迎在留言区指出，如果这篇文章对你有用，点个赞，转个发如何？