了解 tensorflow 分析结果

Posted 2023-03-06

【中文标题】了解 tensorflow 分析结果

【英文标题】：Understanding tensorflow profiling results

【发布时间】：2017-04-12 14:32:00

【问题描述】：

This example 展示了如何分析 tensorflow 程序。我已经使用这个工具来分析我的程序，一个简单的 LSTM。结果显示为：

/gpu:0/stream:all Compute(pid 5)

/job:localhost/replica:0/task:0/gpu:0 Compute(pid 3)

我的问题：

a)每一行的含义是什么。

b)特别是/gpu:0/stream:all Compute(pid 5) 和/job:localhost/replica:0/task:0/gpu:0 Compute(pid 3) 之间的区别。

c)为什么它们的执行时间不同，即0.072ms和0.094ms。

【参考方案1】：

以下是一位工程师的最新消息：

“/gpu:0/stream:*”时间线是 CUDA 内核执行时间的硬件跟踪。

'/gpu:0' 行是 TF 软件设备在 CUDA 流上对操作进行排队（通常花费几乎为零的时间）

【讨论】：

那么，/gpu:0 行中的数字包括 gpu 内核启动时间？