Andrew Ng cs229 Machine Learning 笔记

有监督学习

局部加权线性回归(Locally weighted linear regression)

参数学习算法(parametric learning algorithm)：参数个数固定

非参数学习算法(non-parametric learning algorithm)：参数个数随样本增加

特征选择对参数学习算法非常重要，否则会出现下面的问题：

• 欠拟合(underfitting)：特征过少，模型过于简单，高偏差(high bias)，不能很好拟合训练集
• 过拟合(overfitting)：特征过多，模型过于复杂，高方差(high variance)，过于拟合训练集，不能很好预测新样本

对于非参数学习算法来说，并不需要进行精心的特征选择，局部加权线性回归就是这样。

局部加权回归又叫做Loess，其成本函数为：