机器学习信息熵和热力学定律中的熵有关系吗？
Posted papaofdoudou
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习信息熵和热力学定律中的熵有关系吗？相关的知识，希望对你有一定的参考价值。
在AI量化阶段应用KL散度来计算量化前后两笔tensor之间的信息损失程度，然后根据信息损失去调整量化参数，通过不断调整，选择使KL散度最小的 ZP和SCALE值作为量化参数，达到使量化信息损失最少的目的，关于这些介绍，可以参考博文：
模型量化中的KL散度扫盲_papaofdoudou的博客-CSDN博客_kl三度
使用NCNN的INT8量化方式进行推理_papaofdoudou的博客-CSDN博客_ncnn量化
KL散度计算公式：
以上是关于机器学习信息熵和热力学定律中的熵有关系吗？的主要内容，如果未能解决你的问题，请参考以下文章