python爬虫,有个网页点击之后才会出现标签,这种元素怎么爬,xpath有,但是定位不到,和frame无关

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫,有个网页点击之后才会出现标签,这种元素怎么爬,xpath有,但是定位不到,和frame无关相关的知识,希望对你有一定的参考价值。

比如腾讯视频的搜索某个电视剧。点击进入这个电视剧,下面会有月份和集数,怎么定位出全部的

参考技术A 这种是动态更新的,需要抓包找到对应的请求地址 参考技术B 这是动态网页,需要用网络分析工具找到对应的请求

怎么用python爬虫爬取可以加载更多的网页

就像百度图片,当加载了更多图片之后网页源码却没有发生变化,多加载的图片也不能爬取下来,这种情况该怎么处理?

参考技术A 这种情况我自己还没有试过,只是借助爬虫框架pyspider结合PhantomJS,这样就可以在python里面嵌入一些js代码,实现点击,下拉等操作啦。本回答被提问者采纳

以上是关于python爬虫,有个网页点击之后才会出现标签,这种元素怎么爬,xpath有,但是定位不到,和frame无关的主要内容,如果未能解决你的问题,请参考以下文章

浅谈基于Python的Scrapy爬虫入门

Python爬虫学习:四headers和data的获取

Python爬虫——利用爬虫从网页获取视频资源

Python+selenium 模拟网页点击爬虫交管12123违章数据

Python+Selenium+PhantomJs爬虫 怎么抓取弹出新标签页的内容

爬虫学习心得