PythonCrawl自学日志

Posted 2020-08-09

2016年9月21日09:21:43
1.爬虫的抓取周期:
（1）首先生成初始请求爬第一个url,并指定一个回调函数被称为与下载这些请求的响应。
（2）第一个请求执行通过调用 start_requests()方法(默认情况下)生成 Request中指定
的url start_urls和 parse方法作为请求的回调函数。
（3）在回调函数中,解析响应(网页),并返回与提取的数据字典, Item对象, Request这
些对象的对象,或一个iterable。这些请求还将包含一个回调(也许相同),将由Scrapy然后
下载他们的反应由指定的回调。
（4）在回调函数中,您解析页面内容,通常使用 选择器(但您还可以使用BeautifulSoup,
lxml或其他机制你喜欢)与解析数据并生成项目。
（5）最后,返回的物品爬虫通常会保存到数据库(在一些 项目管道)或写入一个文件使用
Feed exports.
2.爬虫属性值设定
Spider：
（1）name 爬虫名字
（2）allowed_domains 爬虫允许的域名
（3）start_urls 网址的列表
（4）custom_settings 爬虫的设置（包括了下载中间件、两次下载间隙、下载超时、下载最大值
日志开启、日志文件位置、日志等级（默认debug）、
标准输出是否存入日志、存储debug、随机下载延迟、用户代理（流浪器））
（5）crawler 绑定当前爬虫的Crawler对象
（6）settings Settings类的一个实例，包含成员函数（from_crawler(crawler,*args,**kwargs)创建爬虫、
start_request()：无指定URL时调用、
make_requests_from_url（url）为url生成start_url、
parse（response）处理爬虫得到的数据、
log（message[level,component]）、
closed（原因））
CrawlSpider：通用型爬虫，继承Spider
（1）rules rule的列表，定义爬虫特定行为
rule： scrapy.spiders.Rule(link_extractor(链接提取器),callback=None（是否回调）,
cb_kwargs=None(传递给回调函数的参数(keyword argument)的字典),
follow=None(指定了根据该规则从response提取的链接是否需要跟进),
process_links=None(过滤链接),
process_request=None（提取到每个request时都会调用该函数，过滤request）)
XMLFeedSpider：通过迭代各个节点分析XML源
（1）iterator:用于确定使用哪个迭代器的字符串属性
iternodes：推荐，基于正则表达式的快速迭代器
xml 使用 Selector 的迭代器，使用DOM存取，数据量大时会出现问题
html 使用 Selector 的迭代器，使用DOM存取，数据量大时会出现问题
（2）itertag 迭代起点字符串
（3）namespace 一个由（prefix，url）元组所组成的list，定义改文档中会被Spider处理的可用的namespace，
prefix 及 uri 会被自动调用 register_namespace() 生成namespace
（4）adapt_response(response) 接受一个response并返回一个response(可以相同也可以不同)
（5）parse_node（response，selector） 节点符合提供的标签名时(itertag)该方法被调用,
返回一个 Item 对象或者 Request 对象 或者一个包含二者的可迭代对象(iterable)
（6）process_results(response,results) spider返回结果(item或request)时该方法被调用，返回一个结果的列表

CSVFeedSpider：类似于XMLFeedSpider的爬虫，除了遍历模式为按其行遍历，每次迭代是使用parse_row()
（1）delimiter csv文件中用于区分字段的分隔符，默认‘,’
（2）headers csv文件中包含用来提取字段的行的列表
（3）parse_row(response,row) 可以覆盖 adapt_response 及 process_results 方法来进行预处理(pre-processing)
及后(post-processing)处理
SitemapSpider:通过SiteMaps（网站地图）来发现爬取的URL，能从robotos.txt中获取sitemap的url
（1）sitemap_urls 爬取的url的sitemap的url列表(list)。 您也可以指定为一个 robots.txt ,
spider会从中分析并提取url
（2）sitemap_rules 一个包含 (regex, callback) 元组的列表(list)
regex 匹配网站地图提供的URL的正则表达式
callback 指定了匹配正则表达式的url的处理函数
（3）sitemap_follow 匹配要跟进的sitemap的正则表达式的列表
（4）sitemap_alternate_links url有可选连接时，是否跟进，默认关闭