语言建模的交叉熵
Posted
技术标签:
【中文标题】语言建模的交叉熵【英文标题】：Cross Entropy for Language modelling 【发布时间】：2011-07-12 14:15:01 【问题描述】：我目前正在使用语言建模进行分类任务。该项目的第一部分涉及使用 n-gram 语言模型使用 c5.0 对文档进行分类。项目的最后一部分要求我使用交叉熵对每个类进行建模，并根据这些模型对测试用例进行分类。
有没有人有使用交叉熵的经验，或者有关于如何使用交叉熵模型对数据进行采样的信息的链接？任何信息都会很棒！谢谢
【问题讨论】：
【参考方案1】：您可以在各种教科书上获得有关使用交叉熵和语言模型的理论背景，例如Jurafsky & Martin 的“语音和语言处理”，第 2 版第 116-118 页。 至于具体用法，在大多数语言建模工具中，交叉熵不是直接测量的，而是“Perplexity”，即交叉熵的exp。反过来，困惑度可用于对文档进行分类。见，例如SLM 中命令“evallm”的文档，卡内基-梅隆大学语言建模工具 (http://www.speech.cs.cmu.edu/SLM/toolkit_documentation.html)
祝你好运:)
【讨论】：
以上是关于语言建模的交叉熵的主要内容，如果未能解决你的问题，请参考以下文章