机器学习笔记十一 条件随机场(CRF)

Posted 猛男Banana君

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习笔记十一 条件随机场(CRF)相关的知识,希望对你有一定的参考价值。

一、基本定义

条件随机场(CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫随机场。

概率无向图模型:又称为马尔可夫随机场,是一个可以由无向图表示的联合概率分布

图是由结点及连接节点的边组成的集合,无向图是指边没有方向的图。

概率图模型是由图表示的概率分布。

二、三种马尔可夫性

成对马尔可夫性、 局部马尔可夫性、全局马尔可夫性
在这里插入图片描述
在这里插入图片描述

概率无向图模型的定义为,设有联合概率分布P(Y),由无向图G = ( V , E )表示,在图G中,如果联合概率分布P(Y)满足成对、局部或全局马尔可夫性,则称此联合概率分布为概率无向图模型,或马尔可夫随机场。

概率无向图模型的因子分解:将概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的乘积形式的操作。

三、HMM和CRF的比较

1、HMM是生成模型,CRF是判别模型
2、HMM是概率有向图,CRF是概率无向图
3、HMM求解过程可能是局部最优,CRF可以全局最优

四、书本例题&课后习题

1、例11.1
在这里插入图片描述

2、例11.2
在这里插入图片描述

3、课后习题11.4

在这里插入图片描述

以上是关于机器学习笔记十一 条件随机场(CRF)的主要内容,如果未能解决你的问题,请参考以下文章

CRF条件随机场总结

NLP系列学习:CRF条件随机场

条件随机场之CRF++源码详解-开篇

条件随机场(CRF) - 1 - 简介

如何轻松愉快地理解条件随机场(CRF)

ML-13-6条件随机场的三个问题(CRF-Conditional Random Field)