爬虫scrapy
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了爬虫scrapy相关的知识，希望对你有一定的参考价值。
嘛本来今天是要开发分布式爬虫的，
然而悲伤的发现，还要先学scrapy,
so，我就先熟悉一下scrapy咯
windous好烦，很多开发都不太支持，要买个Linux主机
目的：scrapy 静态爬虫
过程：windous下先完成安装环境
在终端运行，scrapy shell url
筛选数据
用到火狐的firebug
response.xpath().extract()
/text()
//*[@id=‘puid-2657983011‘]/dl/dd[5]/div[1]/span[1]
.//*[@id=‘puid-2657983011‘]/dl/dd[5]/div[1]/span[1]/text()
.//div[@class=‘f-list-item‘]/dl/dd[5]/div[1]/span[1]/text()
.//div[@class=‘f-list-item ‘]/dl/dd[1]/a/text()
几个筛选示例
总结：嘛简单的静态爬爬取做到了，和昨天的方式还是不太一样的
之间知道了ipython zip（）
还可以吧，明天开始进行scrapy框架内的学习
PS：妈蛋我一定要用双系统，入Linux的坑
以上是关于爬虫scrapy的主要内容，如果未能解决你的问题，请参考以下文章