python--web crawler-II
Posted fortwater
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python--web crawler-II相关的知识，希望对你有一定的参考价值。
使用Chrome or Firefox 进行网页抓取，不足之处，程序运行过程中需要一直开着浏览器。
方法一：目前，最新的Chrome支持无界面模式。
方法二：安装无界面浏览器PhantomJS，此时抓取过程在后台运行，不会有窗口出现。
selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击，下拉等。对于一些javascript渲染的页面来说，这种抓取方式非常有效。
以上是关于python--web crawler-II的主要内容，如果未能解决你的问题，请参考以下文章