Chrome安装爬虫必备插件：Xpath Helper高效解析网页内容（实测有效）
Posted ZSYL
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Chrome安装爬虫必备插件：Xpath Helper高效解析网页内容（实测有效）相关的知识，希望对你有一定的参考价值。
Chrome安装爬虫必备插件：Xpath Helper（最新教程）
1. 谷歌浏览器xpath helper插件的安装和使用
要想利用lxml模块提取数据，需要我们掌握xpath语法规则。接下来我们就来了解一下xpath helper插件，它可以帮助我们练习xpath语法，操作更加方便。
2. 谷歌浏览器xpath helper插件的作用
xpath helper插件是一款免费的Chrome爬虫网页解析工具。
可以帮助用户解决在获取xpath路径时无法正常定位等问题。
该插件主要能帮助你在各类网站上通过按shift键选择想要查看的页面元素来提取查询其代码，同时你还能对查询出来的代码进行编辑，而编辑出的结果将立即显示在旁边的结果框中。
在谷歌浏览器中对当前页面测试xpath语法规则
3. 谷歌浏览器xpath helper插件的安装和使用
我们以windows为例进行xpath helper的安装
3.1 xpath helper插件的安装
-
下载Chrome插件 XPath Helper
-
可以在chrome应用商城进行下载，如果无法下载，也可以从下面的链接进行下载
-
下载地址：https://pan.baidu.com/s/1UM94dcwgus4SgECuoJ-Jcg 密码:337b
-
-
把文件的后缀名crx改为rar，然后解压到同名文件夹中
-
把解压后的文件夹拖入到已经开启开发者模式的chrome浏览器扩展程序界面
- 重启浏览器后，访问url之后在页面中点击xpath图标，就可以使用了
- 如果是linux或macOS操作系统，无需操作上述的步骤2，直接将crx文件拖入已经开启开发者模式的chrome浏览器扩展程序界面，即可。
4. XPath调试
安装好Xpath Helper后,我们再来抓取 博客园首页的文章xpath 路径。
- 打开xpath-helper工具
- 复制好 xpath 到左边的输入框
- 右边输入框将显示 xpath 定位元素的文本内容
这样就可以在输入文本框中输入相应 XPath 进行调试了，提取的结果将被显示在旁边的 Result 文本框中。
5. 附加内容
写过爬虫和网页解析的人都知道，在定位、获取xpath路径上要花费大量的时间，甚至有时候当爬虫框架成熟之后，基本上主要的时间都花费在了页面的解析上。
在没有这些辅助工具的日子里，我们只能通过搜索html源代码，定位一些id去找到对应的位置，非常的麻烦，而且经常出错。
这里分享一个chrome浏览器的小技巧:
比如: 现在我们在抓取 博客园首页的文章xpath 路径
- 打开 开发者工具，鼠标选中标题元素上，右键–>Copy XPath 即可获取xpath。
- 执行copy xpath，获取标题元素在当前父节点的xpath
//*[@id="post_list"]/div[1]/div[2]/h3/a
- 执行copy full xpath,获取标题元素的在html文档中的完整xpath
/html/body/div[1]/div[4]/div[6]/div[1]/div[2]/h3/a
这样其实还不够方便，毕竟你复制了没法即时查看正确与否。所以我们需要上面这款开源的爬虫利器！
恭喜你get了！
参考：link
加油!
感谢!
努力!
以上是关于Chrome安装爬虫必备插件：Xpath Helper高效解析网页内容（实测有效）的主要内容，如果未能解决你的问题，请参考以下文章