Scrapy+seleninu抓取内容同时下载图片几个问题

Posted jessicor

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy+seleninu抓取内容同时下载图片几个问题相关的知识,希望对你有一定的参考价值。

使用了Scrapy+Seleninm+Scrapy_redis抓取了详情页的内容和图片,贴出需要完善和出问题的代码,做部分解析和说明。

# -*- coding: utf-8 -*-
import time;

from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import Rule
from scrapy_redis.spiders import RedisCrawlSpider #导入RedisCrawSpider,以便使用Scrapy_redis实现1任务队列持久化(可支持暂停或重启爬虫)和2进行重复过滤
from selenium import webdriver;#导入seleninum的Webdriver,以调用无界流利器,实现动态内容的的获取,本文用的是Chrome,当然可以用非常多的浏览器,可以看看源码,支持很多的
from selenium.webdriver.chrome.options import Options #调用Chorme浏览器的启动参数选项

from scrapyYF.items import ScrapyyfItem


class YaofangSpider(RedisCrawlSpider):
name = ‘yaofang‘
allowed_domains = [‘www.jian.com‘]
start_urls = [‘https://www.jian.com/‘]
redis_key = ‘JK:YP‘
# 必须是列表
rules = [
# follow=False(不跟进), 只提取首页符合规则的url,然后爬取这些url页面数据,callback解析
# Follow=True(跟进链接), 在次级url页面中继续寻找符合规则的url,如此循环,直到把全站爬取完毕
# Rule(LinkExtractor(allow=(r‘/c/category?cat_id=d*$‘)),follow=True),#要想抓取更多,可以同时放开此项,从分类页也可以找相应的内容
Rule(LinkExtractor(allow=(r‘/product/d*.html$‘), unique=True), callback=‘parse_druginfo‘, follow=True)
# Rule(LinkExtractor(allow=(r‘/product/11929.html‘), unique=True), callback=‘parse_druginfo‘, follow=False)
# Rule(LinkExtractor(allow=(r‘/article/d*$‘),unique=True), callback=‘parse_item‘, follow=True)
]

def __init__(self, *args, **kwargs):
super(YaofangSpider, self).__init__(*args, **kwargs)#如果不调用父类的这个,会出现AttributeError: ‘xxxSpider‘ object has no attribute ‘_rules‘的错误
chrome_opt = Options(); # 创建参数设置对象.
chrome_opt.add_argument(‘--headless‘); # 无界面化.
chrome_opt.add_argument(‘--disable-gpu‘); # 配合上面的无界面化.
chrome_opt.add_argument(‘--disable-infobars‘); # 配合上面的无界面化.
chrome_opt.add_argument(‘--window-size=1366,768‘); # 设置窗口大小, 窗口大小会有影响.
chrome_opt.add_argument(‘blink-settings=imagesEnabled=false‘); # 禁止加载图片
# self.bro=webdriver.Chrome(executable_path=r‘D:Python27Scriptschromedriver.exe‘)
self.bro = webdriver.Chrome(chrome_options=chrome_opt);

def parse_druginfo(self, response):
item = ScrapyyfItem();
item[‘from_url‘] = response.url;
item[‘addtime‘] = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime());
item[‘updated‘] = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime());
item[‘class_name‘] = response.xpath(
‘normalize-space(//div[@class="crumb"]/div/a[2]/text())‘).extract_first() + ‘_‘ + response.xpath(
‘normalize-space(//div[@class="crumb"]/div/a[3]/text())‘).extract_first(); # 分类,比如:中西药品_男科药品 extract_first是提取第一个内容,python3以上已经用get()来代替了getall=extract,get=extract_first
item[‘goods_id‘] = "jianke_" + response.xpath(
‘normalize-space(//dl[@class="assort"][1]/dd/text())‘).extract_first(); # 来源+唯一标识,比如:jianke_B13003000675
item[‘drug_name‘] = response.xpath(
‘normalize-space(//dl[@class="assort tongyong"]/dd/a/text())‘).extract_first(); # 药品名称:六味地黄丸
item[‘goods_name‘] = response.xpath(
‘normalize-space(//div[@class="det_title"]//h1/text())‘).extract_first(); # 商品名称:同仁堂 六味地黄丸(浓缩丸) 120s
item[‘grant_number‘] = response.xpath(
‘normalize-space(//dl[@class="assort"][2]/dd/span/text())‘).extract_first(); # ‘批准文号‘
item[‘ingredient‘] = response.xpath(
u"normalize-space(//*[@id=‘b_1_1‘]/table//tr[contains(td,‘主要原料‘)]/td[2]/text())").extract_first(); # 主要成份:熟地黄、酒萸肉、牡丹皮、山药、茯苓、泽泻。xpath提取标题为"主要原料"后的内容
item[‘indiction‘] = response.xpath(
u"normalize-space(//*[@id=‘b_1_1‘]/table//tr[contains(td,‘主要作用‘)]/td[2]/text())").extract_first(); # 主要作用:滋阴补肾。用于肾阴亏损,头晕耳鸣,腰膝酸软,骨蒸潮热,盗汗遗精。
item[‘standard‘] = response.xpath(
u‘normalize-space(//*[@id="b_1_1"]/table//tr[td="产品规格"]/td[2]/text())‘).extract_first(); # 产品规格:120丸(浓缩丸)
item[‘usages‘] = response.xpath(
u‘normalize-space(//*[@id="b_1_1"]/table//tr[td="用法用量"]/td[2]/text())‘).extract_first(); # 用法用量:口服。一次8丸,一日3次。
item[‘manual‘] = "".join(response.xpath(u‘//div[@id="b_2_2"]/div/child::p‘).extract()); # 抓取说明书的内容
item[‘imgsrc‘] = response.xpath(u‘//div[@id="tb21"]/div//child::img/@src‘).extract();
item[‘manufacturer‘] = response.xpath(
u‘normalize-space(//*[@id="b_1_1"]/table//tr[td="生产企业"]/td[2]/text())‘).extract_first(); # 生产企业:北京同仁堂科技发展股份有限公司制药厂
yield item;


def __del__(self):
self.bro.quit();

  代码总结:

  •  使用RedisCrawSpider,要导入Scrapy_redis可以实现1任务队列持久化(可支持暂停或重启爬虫)和2进行重复过滤
  •    使用CrawlSpider或RedisCrawSpider,如果重构_init函数时,一定要调用父类函数,不然会报AttributeError: ‘xxxSpider‘ object has no attribute ‘_rules‘的错误
  •   使用selenium调用webdriver以使用无界浏览器时,可以调好多无界浏览器,比如:chrome,firefox,safari等,并能设置相应的启动参数.具体,可以看https://www.cnblogs.com/jessicor/p/12072255.html
  •  extract_first是提取第一个内容,python3以上已经用get()来代替了getall=extract,get=extract_first
  •     xpath提取标题为"主要原料"后的内容//*[@id=‘b_1_1‘]/table//tr[contains(td,‘主要原料‘)]/td[2]/text()
class safetyChainMiddleware(object):
def process_request(self, request, spider):
request.headers[‘User_Agent‘] = user_agent.generate_user_agent()#调用user_agent生成随机headers头,防止被封
referer = request.url
if referer:
request.headers[‘Referer‘] = referer#生成头信息Referer,以防止被封

class seleniumMiddleware(object):
def isFindElement(self, spider):
try:
# spider.bro.find_element_by_id(‘b_2‘).click();
if WebDriverWait(spider.bro, 3).until(
EC.text_to_be_present_in_element((By.XPATH, "//ul/li[@id=‘b_2‘]"), u‘说明书‘)):#每0.05ms请求一次,请求3s钟,判断id=b_2,标题等于说明书的元素是否存在,存在则执行下边的模拟单击动作
spider.bro.find_element_by_xpath(u"//ul/li[@id=‘b_2‘ and contains(text(),‘说明书‘)]").click();
pass
except:
# spider.bro.quit()
pass
def process_response(self, request, response, spider):
url = request.url
if string.find(url, ‘.jpg‘) != -1:#如果是图片,直接返回response,不能用HtmlResponse,不然图片不能正常返回或下载
return response
else:
spider.bro.get(request.url)

return HtmlResponse(url=spider.bro.current_url, body=page_text, encoding=‘utf8‘, request=request)#返回无界浏览器返回的response内容信息.

  • 添加自定义中间件,为了防止被封,一般要添加的是user_agent,proxy,referer和cookie,要注意,一定要在process_requess里处理,另外还要注意这个函数的返回值.不同的返回值,会执行不同操作:

    

当每个request通过下载中间件时,该方法被调用。

process_request() 必须返回其中之一: 返回 None 、返回一个 Response 对象、返回一个 Request 对象或raise IgnoreRequest 。

如果其返回 None ,Scrapy将继续处理该request,执行其他的中间件的相应方法,直到合适的下载器处理函数(download handler)被调用, 该request被执行(其response被下载)。

如果其返回 Response 对象,Scrapy将不会调用 任何 其他的 process_request() 或 process_exception() 方法,或相应地下载函数; 其将返回该response。 已安装的中间件的 process_response() 方法则会在每个response返回时被调用。

如果其返回 Request 对象,Scrapy则停止调用 process_request方法并重新调度返回的request。当新返回的request被执行后, 相应地中间件链将会根据下载的response被调用。

如果其raise一个 IgnoreRequest 异常,则安装的下载中间件的 process_exception() 方法会被调用。如果没有任何一个方法处理该异常, 则request的errback(Request.errback)方法会被调用。如果没有代码处理抛出的异常, 则该异常被忽略且不记录(不同于其他异常那样)。

 

  • process_response,这个处理response,针对图片,一定要单独返回.不要用htmlResponse.这个是无界浏览器返回的内容.我在这儿是做了判断.不然图片不能下载.纠结了好几天,最后好好看了看文档,Step by step若干遍程序,终于找到了原因.scrapy的执行流程很重要.
    process_response的返回值也需要说明下

 

      

process_request() 必须返回以下之一: 返回一个 Response 对象、 返回一个 Request 对象或raise一个 IgnoreRequest 异常。

如果其返回一个 Response (可以与传入的response相同,也可以是全新的对象), 该response会被在链中的其他中间件的 process_response() 方法处理。

如果其返回一个 Request 对象,则中间件链停止, 返回的request会被重新调度下载。处理类似于 process_request() 返回request所做的那样。

如果其抛出一个 IgnoreRequest 异常,则调用request的errback(Request.errback)。 如果没有代码处理抛出的异常,则该异常被忽略且不记录(不同于其他异常那样)。

 

以上是关于Scrapy+seleninu抓取内容同时下载图片几个问题的主要内容,如果未能解决你的问题,请参考以下文章

scrapy框架来爬取壁纸网站并将图片下载到本地文件中

scrapy五大核心组件

scrapy五大核心组件

scrapy工作流程

python爬虫之Scrapy框架,基本介绍使用以及用框架下载图片案例

python爬虫之Scrapy框架,基本介绍使用以及用框架下载图片案例