第2章 深度神经网络

深度神经网络是含有多个隐藏层的神经网络。常见的神经网络结构，如图2.1所示。Layer L1是输入层；Layer L2和Layer L3是中间的计算层，也称“隐藏层”；Layer L4是输出层。+1是指每一层的偏置值。h_w，b（x）是输出值，它是权重和偏置值的函数，在后面会详细介绍。靠近左侧输入层的特征层称为“低层”；靠近右侧输出层的特征层称为“高层”。在通常情况下，由低层到高层，表达的特征越来越抽象。

图2.1 常见的神经网络结构

本章以神经元、感知机为切入点，介绍神经网络的前向传递、激活函数、损失函数、后向传递和一些防止过拟合的常用方法。就让我们从图2.1中的这些圆圈节点——神经元开始吧。