python网络数据采集之xpath
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python网络数据采集之xpath相关的知识，希望对你有一定的参考价值。
本文主要讲解如何在scrapy中使用xpath获取各种你想要的值
使用豆瓣作为例子
https://book.douban.com/tag/%E6%BC%AB%E7%94%BB?start=20&type=T
此处可以配合chrome浏览器的插件 xpath helper配合验证你的xpath是否正确,
这里我想要获取a标签下的href和a标签中的title ， 使用图中红色框内的 extract_first() , 注意这里xpath的语法，前面要加上"."，否则会从文档根节点而不是当前节点为起点开始查询
如果想要获取标签内的文本值则使用 /text（）即可
以上是关于python网络数据采集之xpath的主要内容，如果未能解决你的问题，请参考以下文章