如何通过将数据框作为输入来编写 pytest 以获取 palantir Foundry 中的所有必需值

Posted 2023-04-15

【中文标题】如何通过将数据框作为输入来编写 pytest 以获取 palantir Foundry 中的所有必需值

【英文标题】：How to write pytest by taking dataframe as an input to fetch all the required values in palantir foundry

【发布时间】：2020-11-17 06:54:56

【问题描述】：

我可以编写 pytest 函数，方法是手动提供列名和值以创建数据框并将其传递给生产代码以检查 palantir 代工厂代码存储库中所有转换后的字段值。

我不想手动传递列名及其各自的值，而是将所有必需的数据存储在数据集中，并将该数据集导入pytest 函数以获取所有必需的值并传递给生产代码以检查所有转换后的字段值。

无论如何都可以接受数据集作为 planatir 代码存储库中测试函数的输入。

【问题讨论】：

pytests 在 CI 时运行，您无法从 CI 的代工厂数据集中读取数据

【参考方案1】：

您无法在运行测试时读取数据集。但是，也许您可​​以创建测试数据集，将其保存为 CSV，然后在测试中使用测试的 spark 会话读取 CSV。其代码类似于spark.read.csv("path")。

这会增加文件 I/O 时间并减慢您的测试速度，因此我的建议是使用已在内存中的测试数据创建数据帧。代码为spark.createDataFrame(data)。