统计学习方法　李航　逻辑斯谛回归与最大熵模型

Posted 2021-02-12 w-j-c

介绍了分布函数和概率密度，函数特点．



这里的逻辑斯谛回归模型就是为了将实数范围映射到(0,1)范围上．即将线性函数外套上sigmoid函数．
https://blog.csdn.net/hfutxiaoguozhi/article/details/78843932 这篇博客对此解释非常好．

既然已经有了模型，接下来就是求参数了，所以转换成似然函数最优化问题，然后一般就是梯度下降了．


这里推广到多项不是太理解，网上也没找到什么有用的解释．





这里的最大熵原理大概就是未知就假定等概率．


实在看不懂







这里实际上就是这个模型的解法，没什么难点



一些证明，略过．
　










这些是最优化算法，表示看不懂，我就会一个梯度下降．