Python 3使用lxml编写大型(300+ mb)XML

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python 3使用lxml编写大型(300+ mb)XML相关的知识,希望对你有一定的参考价值。

我一直在谷歌搜索过去几天,但我根本找不到任何远程simillar问题:(

我在Python 3中的脚本有一个简单的目标:

  1. 连接到MySQL数据库并获取数据
  2. 用lxml创建XML
  3. 将该XML保存到文件

通常我对包含5000多个元素的XML文件没有任何问题,但在这种情况下,我的VPS(Amazon EC2 micro)达到了最大内存使用率。我的代码(核心部分):

engine = create_engine(config('DB_URI'))
Session = sessionmaker(bind=engine)
session = Session()

query = session.query(Trips.Country,
                      Trips.Region,
                      Trips.Name,
                      Trips.Rebate,
                      Trips.Stars,
                      Trips.PromotionName,
                      Trips.ProductURL,
                      Trips.SubProductURL,
                      Trips.Date,
                      Trips.City,
                      Trips.Type,
                      Trips.Price,
                      TripsImages.ImageURL) 
    .join(TripsImages) 
    .all()

# define namespace xmlns:g
XMLNS = "{http://base.google.com/ns/1.0}"
NSMAP = {"g": "http://base.google.com/ns/1.0"}

# create root rss and channel
rss = etree.Element("rss", nsmap=NSMAP, attrib={"version": "2.0"})
channel = etree.SubElement(rss, "channel", attrib={"generated": str(datetime.now())})

# add <channel> title and description
channel_title = etree.SubElement(channel, "title")
channel_link = etree.SubElement(channel, "link")
channel_description = etree.SubElement(channel, "description")

channel_title.text = "Trips"
channel_link.text = "https://example.com"
channel_description.text = "Description"

# generate xml elements
for count, elem in enumerate(query):
    item = etree.SubElement(channel, "item")

    url = "/".join(["https://example.com",
                    elem.ProductURL,
                    elem.SubProductURL,
                    datetime.strftime(elem.Date, '%Y%m%d')
                    ])
    price_discounted = round(elem.Price - elem.Price * (elem.Rebate / 100))

    etree.SubElement(item, XMLNS + "id").text = str(count)
    etree.SubElement(item, XMLNS + "title").text = elem.Country
    etree.SubElement(item, XMLNS + "description").text = elem.Product
    etree.SubElement(item, XMLNS + "link").text = url
    etree.SubElement(item, XMLNS + "image_link").text = elem.ImageURL
    etree.SubElement(item, XMLNS + "condition").text = "new"
    etree.SubElement(item, XMLNS + "availability").text = "in stock"
    etree.SubElement(item, XMLNS + "price").text = str(elem.Price)
    etree.SubElement(item, XMLNS + "sale_price").text = str(price_discounted)
    etree.SubElement(item, XMLNS + "brand").text = "Brand"
    etree.SubElement(item, XMLNS + "additional_image_link").text = elem.ImageURL
    etree.SubElement(item, XMLNS + "custom_label_0").text = elem.Date.strftime("%Y-%m-%d")
    etree.SubElement(item, XMLNS + "custom_label_1").text = elem.Type
    etree.SubElement(item, XMLNS + "custom_label_2").text = str(elem.Stars / 10)
    etree.SubElement(item, XMLNS + "custom_label_3").text = elem.City
    etree.SubElement(item, XMLNS + "custom_label_4").text = elem.Country
    etree.SubElement(item, XMLNS + "custom_label_5").text = elem.PromotionName


# finally, serialize XML and save as file
with open(target_xml, "wb") as file:
    file.write(etree.tostring(rss, encoding="utf-8", pretty_print=True))

我正在使用SQLAlchemy查询数据库和LXML来生成XML文件。从DB获取数据时,它已经创建了包含228890个元素的列表,这些元素使用了大量内存。然后创建XML还会在内存中创建对象,从而总共使用大约1.5 GB的RAM。

这个代码在我的笔记本电脑上使用8 GB内存工作正常,但是在使用1 gb ram和1 gb swap的Amazon EC2上执行时,我点击了write()操作并从Linux获得“Killed”响应。

在解析大型XML文件时,StackOverflow上有很多内容,但除了避免多个I / O操作外,我找不到任何关于在Python中编写大文件的问题:(

答案

我认为你需要的是yield_per()函数,所以你不必一次处理所有结果,而是将它们分成几块。这样可以节省更多内存。您可以在this link上阅读有关此功能的更多信息。

但请注意,yield_per()可能会忽略您的某些查询行,而the answer in this question会提供详细说明。如果您认为在阅读后不想使用yield_per(),您可以参考this stackoverflow question上发布的所有答案。

处理大型列表的另一个技巧是使用yield,因此您不必一次加载内存中的所有条目,而是逐个处理它们。希望能帮助到你。

以上是关于Python 3使用lxml编写大型(300+ mb)XML的主要内容,如果未能解决你的问题,请参考以下文章

Python导入 from lxml import etree 导入不了

使用由 Python 编写的 lxml 实现高性能 XML 解析

16.Python使用lxml爬虫

python 3.6 lxml标准库lxml的安装及etree的使用注意

学习笔记Python - Lxml

Python爬虫编程思想(39):使用lxml解析HTML与XML