多任务学习——RecSys 2020腾讯视频PLE
Posted 卓寿杰SoulJoy
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了多任务学习——RecSys 2020腾讯视频PLE相关的知识，希望对你有一定的参考价值。
当不同的学习任务之间较为相关时，多任务学习可以通过任务之间的信息共享，来提升学习的效率。但任务之间的相关性并不强，多任务学习可能带来负迁移（negative transfer）跷跷板现象，相关性不强的任务之间的信息共享会影响网络的表现。
腾讯视频提出CGC，其实就是在MMOE（参阅：《多任务学习——【KDD 2018】MMoE》）的基础上加上Customized Sharing：
每个任务除了有共享的Experts，还有独有的Experts，这样就很好的降低了相关性不强的任务之间的信息共享带来的问题。如第k个任务的控制门公式为：
S
k
(
x
)
S^k(x)
Sk(x)则是第k个任务的Experts的输出，包含了 Experts k和Experts Shared。
PLE就是多层的CGC。多层堆叠共享的Experts也是基于同样的控制门机制往后输出：
以上是关于多任务学习——RecSys 2020腾讯视频PLE的主要内容，如果未能解决你的问题，请参考以下文章
推荐系统（十六）多任务学习：腾讯PLE模型（Progressive Layered Extraction model）
推荐系统（十六）多任务学习：腾讯PLE模型（Progressive Layered Extraction model）