机器学习逻辑回归LR的推导及特性是什么，面试回答？

Posted 2022-08-18 Better Bench

1、LR 的推导，特性？

Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic Regression 简单、可并行化、可解释强。Logistic 回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。

逻辑回归 = 线性回归+sigmoid函数

即线性回归的公式是$z=w\times x+b$，Sigmoid函数的公式$y=\frac{1}{1+e^{-z}}$，则逻辑回归的公式就是，将是将线性回归的z输入到Sigmoid函数中，得到逻辑回归的输出即
$$\hat{y}=\frac{1}{1+e^{-w\times x+b}}$$

LR的损失函数是对数损失函数（Log loss），逻辑回归假设样本服从伯努利分布（0-1分布），然后求得满足该分布的似然函数，接着取对数求极值，最小化负的似然函数（即$maxF(y,f(x))—min-[F(y,f(x))]$，则LR的损失函数为负的对数损失函数：
$$J(\theta )=-\frac{1}{m}\times \sum _{i=1}^m(y_i\times log\hat{y}+(1-y_i)\times log(1-\hat{y})$$

2、决策树的特性？

• 不要求任何先验假设，不假定类和其他属性服从一定的概率分布。

• 效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。

• 决策树相对容易解释，特别是小型的决策树

• 对缺失值不敏感

• 冗余属性不会对决策树的准确率造成不利的影响。一个属性如果在数据中它与另一个属性是强相关的，那么它是冗余的。在两个冗余的属性中，如果已经选择其中一个作为用于划分的属性，则另一个将被忽略。假设两个属性完全一样，那么当其中一个被选中作为划分属性时，那么划分过后的子女结点中包含的另一个属性应该是完全一样的。这时如果你想对子女结点用第二个属性划分时，将只有一个属性值。非上述极端情况下，增益也会很小，这样就不会被选中作为划分属性。