XML

Posted 2022-07-13 dalton

进入新浪博客点击订阅后会提示订阅地址为 XML 格式的地址，如图

博客地址

http://blog.sina.com.cn/u/3980770831

XML 地址内容，如图

XML 地址：

http://blog.sina.com.cn/rss/3980770831.xml

创建一个项目：

$ scrapy startproject blogxml

填写 item 需要定义的存储数据：

import scrapy   class BlogxmlItem(scrapy.Item):     # 存储标题     title = scrapy.Field()     # 存储对应连接     link = scrapy.Field()     # 存储对应文章作者     author = scrapy.Field()

创建一个 xml 模板：

$ cd blogxml $ scrapy genspider -l $ scrapy genspider -t xmlfeed blogxmlspider sina.com.cn

打开创建的 blogxmlspider.py 文件更改代码:

# -*- coding: utf-8 -*- from scrapy.spiders import XMLFeedSpider from blogxml.items import BlogxmlItem   class BlogxmlspiderSpider(XMLFeedSpider):     name = ‘blogxmlspider‘     allowed_domains = [‘sina.com.cn‘]     # 设置 xml 地址     start_urls = [‘http://blog.sina.com.cn/rss/3980770831.xml‘]     iterator = ‘iternodes‘ # you can change this; see the docs     # 此时将开始迭代的节点设置为第一个节点 rss     itertag = ‘rss‘ # change it accordingly       def parse_node(self, response, node):         i = BlogxmlItem()         # 利用 XPath 表达式将对应信息提取出来，并存储到对应的 Item 中         i[‘title‘] = node.xpath("//rss/channel/item/title/text()").extract()         i[‘link‘] = node.xpath("//rss/channel/item/link/text()").extract()         i[‘author‘] = node.xpath("//rss/channel/item/author/text()").extract()         for j in range(len(i[‘title‘])):             print(" 第 "+str(j+1)+" 篇文章 ")             print(" 标题是: ")             print(i[‘title‘][j])             print(" 对应链接是: ")             print(i[‘link‘][j])             print(" 对应作者是: ")             print(i[‘author‘][j])             print("------------------------")         return i

修改前：

修改后：

写入一个 main.py 内容为：

from scrapy import cmdline cmdline.execute("scrapy crawl blogxmlspider".split())

直接执行即可。