python爬虫,有个网页点击之后才会出现标签,这种元素怎么爬,xpath有,但是定位不到,和frame无关
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫,有个网页点击之后才会出现标签,这种元素怎么爬,xpath有,但是定位不到,和frame无关相关的知识,希望对你有一定的参考价值。
比如腾讯视频的搜索某个电视剧。点击进入这个电视剧,下面会有月份和集数,怎么定位出全部的
参考技术A 这种是动态更新的,需要抓包找到对应的请求地址 参考技术B 这是动态网页,需要用网络分析工具找到对应的请求怎么用python爬虫爬取可以加载更多的网页
就像百度图片,当加载了更多图片之后网页源码却没有发生变化,多加载的图片也不能爬取下来,这种情况该怎么处理?
参考技术A 这种情况我自己还没有试过,只是借助爬虫框架pyspider结合PhantomJS,这样就可以在python里面嵌入一些js代码,实现点击,下拉等操作啦。本回答被提问者采纳以上是关于python爬虫,有个网页点击之后才会出现标签,这种元素怎么爬,xpath有,但是定位不到,和frame无关的主要内容,如果未能解决你的问题,请参考以下文章
Python+selenium 模拟网页点击爬虫交管12123违章数据