如何使 Luigi 任务生成内存列表作为目标

Posted 2023-03-31

【中文标题】如何使 Luigi 任务生成内存列表作为目标

【英文标题】：How to make a Luigi task generate an in-memory list as target

【发布时间】：2016-11-20 22:44:43

【问题描述】：

我正在尝试使用luigi 编写一个 etl 管道。据我从文档中了解到，luigi 中的任务可以生成一个目标，该目标可以是某种类型的文件存储或数据库。为了减少处理时间，我希望有一个内存列表作为输出。这可能吗？我必须创建自定义目标吗？

【问题讨论】：

与问题***.com/questions/42515463/…相关，有一些看起来很有用的答案

【参考方案1】：

我发现我可以使用 MockFile 作为目标。一个很好的例子：

http://gouthamanbalaraman.com/blog/building-luigi-task-pipeline.html

【讨论】：

作者指出：“我在这里使用 MockFile 只是为了在控制台上查看结果。这通常是一个很好的测试工具，尽管我不确定它是否是生产就绪的方法。”那么您是否尝试过用于（半）生产管道的 MockFile？它是内存流水线的正确方法吗？