机器学习 - 3 - 线性分类

Posted 2021-01-11 childishchange

机器学习 - 3 - 线性分类

符号约定

贝叶斯分类器

1. 基于最小错误率的决策

   • 符号约定：
     • 样本 $ old{x} in R^d$
     • 状态（类） (w = {w_1,w_2,dots})
     • 先验概率 (P(w_1),P(w_2))
     • 样本分布密度 (p(x))
     • 类条件概率密度 (p(old{x}|w_1),p(old{x}|w_2))
     • 后验概率 (P(w_1|old{x}),P(w_2|old{x}))
     • 错误概率
       [P(e|old{x})lbrace_{P(W_1|old{X}) if old{x} is assigned to w_2}^{P(W_2|old{X}) if old{x} is assigned to w_1}]
     • 平均错误率 (P(e) = int P(e|old{x})p(old{x})dold{x})
     • 正确率 (P(c))

   • 策略：错误概率最小嘛，很简单易懂

     [P(e|old{x})lbrace_{P(W_1|old{X}), if P(w_1|old{x})>P(w_2|old{x})}^{P(W_2|old{X}), if P(w_1|old{x})<P(w_2|old{x})}]

     所以：(x) 属于那种状态时的错误概率小，就认为 (x) 是那种状态

2. 基于最小风险的决策

   • 符号约定：
     • 样本 (old{x}in R^d)
     • 状态（类） (w = {w_1,w_2,dots})
     • 决策， (alpha_i) 表示将样本分类为 (w_j,jin1,dots,n)
     • 将真实标记为 (w_j) 的样本误分类为 (w_i) 所产生的损失 (lambda_{i,j})
     • 对于特定 (x) 采取决策 (alpha_i) 的期望损失（基于后验概率 (P(w_i|old{x})) ）
       [R(alpha_i|old{x}) = sum_{j=1}^{N}lambda_{ij}P(w_j|old{x})]
     • 期望风险，即对 (x) 所有可能的决策 (alpha(x)) 所造成的期望损失之和，也称为平均风险
       [R(alpha) = int R(alpha(x)|x)p(x)dx]
   • 策略：使 (R(alpha(x)|x)) 最小

线性判别函数

1. 广义
2. 齐次化

线性分类器设计

1. 准则函数

多分类问题