使用 Nsight Systems 跟踪自定义 CUDA 内核

Posted 2023-03-23

【中文标题】使用 Nsight Systems 跟踪自定义 CUDA 内核

【英文标题】：Tracing custom CUDA kernels with Nsight Systems

【发布时间】：2021-07-14 14:11:57

【问题描述】：

我在使用 C++20 和 CUDA 11 实现的库。这个库是从 Python 通过ctypes 通过一个只交换 JSON 字符串的 C API 调用的。我们使用 Clang 11 编译它。

为了分析代码，我在 C++ 代码中添加了很多 NVTX 范围。这对我使用 Nsight Systems 很有效，当使用 nsys profile -t nvtx … 收集数据时，我可以看到带有手动选择名称的范围堆栈。不过，这并没有告诉我有关 GPU 的任何信息。所以我指定nvtx,cuda,cublas,cudnn 以获得更多信息。

但我得到的只是众多内核中的一个。输出如下所示：

可以看到漂亮的 NVTX 上下文，可以看到对 CUDA API（memcpy 等）的调用。但是只显示了一个内核，我用红色箭头标记了它。

我们有许多不同的内核，并使用 <<<>>> 语法从 .cu 文件启动它们。

感觉我缺少nsys 的跟踪标志、CUDA 代码的一些编译选项或内核代码的一些代码注释（如 NVTX）。我需要做什么才能让我的自定义内核显示在配置文件中？

【问题讨论】：

您正在做所有需要的事情。 一个证明点是您正在观察分析器中的内核执行。如果没有更完整的示例，我认为任何人都不太可能查明问题所在。一些可能性是 1. 您认为应该调用的内核实际上并未被调用， 2. 可能通过分析器启动和停止语句，您意外禁用了分析 3. 您有一些复杂的多进程场景，您只分析其中一个过程。我会按照大致的顺序来证明或反驳这些理论。

谢谢，原来是非终止程序的隐式停止效果不佳。

【参考方案1】：

问题可能是我没有正确停止数据收集，我们的程序是一个交互式服务器，它会以 SIGINT 停止。可能中断后数据没有正确存储。

我在代码中添加了对分析器 API 的调用，以便在我们的主循环完成后显式调用 cudaProfilerStop()。我用一个小的 RAII 包装器完成了它，这样它甚至可以与 SIGINT 一起工作。

#include <cuda_profiler_api.h>

class ProfilingRange 
 public:
  ProfilingRange() 
    cudaProfilerStart();
  

  ~ProfilingRange() 
    cudaProfilerStop();
  
;

在nsys profile 命令行上，我指定--capture-range=cudaProfilerApi，它似乎工作正常。现在出现了很多内核，我可以进一步了解系统。