分类问题之 Logistic Regression

线性回归简介

• 线性模型

  

• 向量形式

  

• 可解释性

  w 可以理解为特征的权重

• 目标

  

对数几率回归, Logistic Regression

• 训练过程(梯度下降)

  

  

• 分类预测步骤

  P(Y=1|x) = e^z / (1 + e^z)
  P(Y=0|x) = 1 / (1 + e^z)
  z = wx

正则化

与 Naive Bayes 的区别

• NB 假设特征相互独立

• LR 是线性分类器

• 训练方式不一样