Python爬虫编程思想(45):在Chrome中自动获得XPath代码
Posted 蒙娜丽宁
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫编程思想(45):在Chrome中自动获得XPath代码相关的知识,希望对你有一定的参考价值。
尽管XPath代码写起来要比正则表达式简单得多,但如果遇到复杂的节点,仍然写起来比较费劲,幸好很多浏览器提供了自动获取XPath代码的能力。我们可以在自动获取的XPath代码的基础上修改,甚至很多时候不需要修改就可以直接使用。本节用Chrome浏览器来演示如何获取特定节点的XPath代码。
下面的例子在Chrome浏览器中通过开发者工具获取京东商城首页与导航条对应的XPath代码,并稍加修改,然后利用requests库抓取导航条文本。
现在进入京东商城首页(https://www.jd.com),导航条如图1所示黑框中的内容。
在页面右键菜单中单击“检查”菜单项显示开发者工具,然后定位到导航条的某一个链接(如“秒杀”&#x
以上是关于Python爬虫编程思想(45):在Chrome中自动获得XPath代码的主要内容,如果未能解决你的问题,请参考以下文章
Python爬虫编程思想(60): 通过浏览器获取CSS选择器代码
Python爬虫编程思想(62): 项目实战:抓取酷狗网络红歌榜
Python爬虫编程思想(62): 项目实战:抓取酷狗网络红歌榜
Python爬虫编程思想(162): 综合爬虫项目:可视化爬虫