信息论——JS散度(Jensen-Shannon)

Posted 2023-01-16 Vic时代

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了信息论——JS散度(Jensen-Shannon)相关的知识，希望对你有一定的参考价值。

JS散度相似度衡量指标。现有两个分布 $P_1$ 和 $P_2$ ，其JS散度公式为：

JS(P1||P2)=12KL(P1||P1+P22)+12KL(P2||P1+P22) $JS(P_1||P_2)=\\frac12KL(P_1||\\fracP_1+P_22)+\\frac12KL(P_2||\\fracP_1+P_22)$

以上是关于信息论——JS散度(Jensen-Shannon)的主要内容，如果未能解决你的问题，请参考以下文章

KL散度(KL divergence, JS divergence)

Jensen-Shannon 分歧

ELBO 与 KL散度

理解「交叉熵」损失函数（包含自信息信息熵KL散度交叉熵概念整理）