机器学习之逻辑分类问题

逻辑回归问题

系统函数

  1. 逻辑回归
    逻辑回归
  2. 线性回归

    线性回归中 g(z)=1

决策边界(Decision boundary)

一条分割y=0和y=1的线

代价函数(cost function)

代价函数
整合之后
整合代价函数
gradient计算
gradient

梯度下降法

梯度下降法

过度拟合

过度拟合只会充分的拟合训练数据集,对数据预测并不会得到想要的值

  • 解决方法(regularization)

regularization

  1. 重新设置代价函数(cost function)J
    J
    给每个theta做惩罚,用足够大的lambda去削弱theta的作用,从而平滑h。但是lambda太大的话将导致欠拟合,太大的时候得到的仅仅是一条扁平的直线
  2. 梯度下降法

    将theta分开更新是因为在重新设计代价函数的时候没有给theta惩罚,简化之后为
  3. 归一化求代价函数的最小值