带有 CTC 层的 TensorRT

Posted

技术标签:

【中文标题】带有 CTC 层的 TensorRT【英文标题】:TensorRT with CTC layers 【发布时间】:2018-08-21 13:03:12 【问题描述】:

我想使用 tensorRT 优化我的模型,但是 tensorRT 不支持我模型中的 CTC 层。有人用 tensorRT 成功地优化了 CTC 层。

【问题讨论】:

【参考方案1】:

我已经设法分两步做到这一点,首先使用 TensorRT 获取概率 logits,然后使用 C++ CTC 解码器对 logits 进行解码。

由于 CTC 的解码适用于 CPU,而且我设法使用 GPU 来获取批次的 logit,并在 GPU 运行时将每批次的 logit 排入 CPU CTC 解码队列。所以这样一来,CPU和GPU就可以并行运行了。 CTC 解码器的 C++ 实现可以在 Github 或 Tensorflow 存储库中找到。

【讨论】:

以上是关于带有 CTC 层的 TensorRT的主要内容,如果未能解决你的问题,请参考以下文章

Tesseract 微调错误 - 计算 CTC 目标失败

Tensorflow CTC 损失:ctc_merge_repeated 参数

pytorch如何导入ctc库

CTC Loss和Focal CTC Loss

CTC论文分析

构建CTC语音识别解码网络