线性回归和逻辑回归

线性回归 Linear Regression

确定两种或两种以上变量间相互依赖的定量关系。

$$y=\theta_0+\theta_1x_1+....+\theta_nx_n$$

损失函数 Loss Function

找到最好的$\theta$

$$J(\theta_0,\theta_1,...,\theta_n)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2$$

最小化损失函数

梯度下降

$$\theta_1:=\theta_1 - \alpha \frac{\partial J(\theta_1,...,\theta_n)}{\partial \theta_1} \\ \alpha 是学习率 \quad learning \; rate$$

过拟合与正则化

为了防止过拟合，可以通过正则化，将$\theta$放入损失函数，通常过拟合时部分$\theta$会过大。

$$L2正则化：\quad J(\theta_0,\theta_1,...,\theta_n)=\frac{1}{2m}[\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2+\lambda \sum_{j=1}^n \theta^2]$$

逻辑回归 Logistic Regression

逻辑回归处理的是一个分类方法，寻找判定边界（decision boundary）

sigmoid函数

能把x映射到（0，1），可用于分类

$$y=\frac{1}{1+e^{-x}}$$

损失函数

单样本分错的损失

$$Cost(h_\theta(x),y)= \begin{cases} -log(h_\theta(x)) \quad if \; y=1 \\ -log(1-h_\theta(x)) \quad if \; y=0 \end{cases}$$

损失函数

$$J(\theta)=\frac{1}{m}\sum_{i=1}^mCost(h_\theta(x^{(i)}),y^{(i)}) \\ =-\frac{1}{m}[\sum_{i=1}^my^{(i)}\log h_\theta(x^{(i)})+(1-y^{(i)})\log (1-h_\theta(x^{(i)}))]$$

矩阵形式

$$J(\theta) = \frac{1}{m}\big((\,log\,(g(X\theta))^Ty+(\,log\,(1-g(X\theta))^T(1-y)\big)$$

正则化

$$J'(\theta)=J(\theta)+\frac{\lambda}{2m} \sum_{j=1}^n \theta^2$$

LR的优势

• LR能以概率的形式输出结果，而非只是0、1判定，可以做ranking model；
• LR的可解释性强，可控度高；
• 训练快，feature engineering之后效果好；

LR的应用

• CTR预估/推荐系统的learning to rank/各种分类场景；

参考文献

【1】周志华.机器学习.清华大学出版社.P