局部加权回归

机器学习笔记2 有监督学习 线性回归 局部加权回归 概率解释

Andrew Ng cs229 Machine Learning 笔记

有监督学习

局部加权线性回归(Locally weighted linear regression)

参数学习算法(parametric learning algorithm):参数个数固定

非参数学习算法(non-parametric learning algorithm):参数个数随样本增加

特征选择对参数学习算法非常重要,否则会出现下面的问题:

  • 欠拟合(underfitting):特征过少,模型过于简单,高偏差(high bias),不能很好拟合训练集
  • 过拟合(overfitting):特征过多,模型过于复杂,高方差(high variance),过于拟合训练集,不能很好预测新样本

对于非参数学习算法来说,并不需要进行精心的特征选择,局部加权线性回归就是这样。

局部加权回归又叫做Loess,其成本函数为: