怎么用python爬虫爬取可以加载更多的网页
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了怎么用python爬虫爬取可以加载更多的网页相关的知识，希望对你有一定的参考价值。
就像百度图片,当加载了更多图片之后网页源码却没有发生变化,多加载的图片也不能爬取下来,这种情况该怎么处理?
参考技术A 这种情况我自己还没有试过，只是借助爬虫框架pyspider结合PhantomJS，这样就可以在python里面嵌入一些js代码，实现点击，下拉等操作啦。本回答被提问者采纳爬虫中怎样用扒出来的链接扒网页中的内容？
我们在浏览器地址栏输入一个网址并按回车，就会打开一个页面，同样，爬虫是通过每一个网址打开页面并收集页面中的信息，通常我们在写网络爬虫时需要指定一个起始网址，爬虫通过请求该起始网址获得浏览器给出的响应，响应中包含页面上的所有内容，爬虫分析页面内容进行信息收集，这个过程可以通过采集器或手写爬虫实现。望采纳 参考技术A 网页上的数据的话可以用采集器工具去采集。不同的工具也有对应的使用教程以上是关于怎么用python爬虫爬取可以加载更多的网页的主要内容，如果未能解决你的问题，请参考以下文章