梯度检查

机器学习笔记5 神经网络2 参数学习

Andrew Ng cs229 Machine Learning 笔记

成本函数(Cost Function)

以下是我们会用到的一些变量:

  • $L$表示神经网络的层数
  • $s_l$表示第$l$层的神经单元数(不包括偏差(bias)单元)
  • $K$表示输出单元数(分类数)

当有多个输出类别时,采用$h_\Theta(x)_k$表示第$k$个输出的假设结果。

神经网络的成本函数是logistic回归中的成本函数更普遍的一种形式。

logistic回归中的成本函数为: