.NET Apache Spark 的单元测试

Posted 2023-04-13

【中文标题】.NET Apache Spark 的单元测试

【英文标题】：UnitTest for .NET Apache Spark

【发布时间】：2020-08-11 05:53:36

【问题描述】：

我想为我用 C#/.NET 编写的 Spark 应用程序编写单元测试。我目前正在使用 XUnit 编写测试，但我还没有找到任何好的文档来编写单元测试来测试我的 spark 应用程序组件。

我已经编写了一个 spark 单元测试，但是如果我运行“dotnet test”命令它会失败。如果我使用 spark-submit 运行测试，则没有像测试通过或失败这样的输出。我使用的 Spark 提交命令是“spark-submit --class org.apache.spark.deploy.dotnet.DotnetRunner --master local bin/Debug/netcoreapp3.1/microsoft-spark-2.4.x-0.12.1.jar dotnet bin/Debug/netcoreapp3.1/MedicalClaims.SparkUnitTests.dll"

任何帮助将不胜感激。

【参考方案1】：

我已修复并且测试确实有效。我失踪了

test 在 spark 提交中。因此，使用 C#/.NET 运行 spark 测试的正确语句是 spark-submit --class org.apache.spark.deploy.dotnet.DotnetRunner --master local bin/Debug/netcoreapp3.1/microsoft-spark -2.4.x-0.12.1.jar dotnet test bin/Debug/netcoreapp3.1/MedicalClaims.SparkUnitTests.dll

【讨论】：

您好，我也在寻找带有 dotnet spark 的测试用例。你能帮忙看看你是怎么做到的吗？