在深度神經網絡（DNN）模型與前向傳播算法中，我們對DNN的模型和前向傳播算法做了總結，這里我們更進一步，對DNN的反向傳播算法（Back Propagation，BP）做一個總結。

1. DNN反向傳播算法要解決的問題

在了解DNN的反向傳播算法前，我們先要知道DNN反向傳播算法要解決的問題，也就是說，什么時候我們需要這個反向傳播算法？

回到我們監督學習的一般問題，假設我們有m個訓練樣本：{ ( x1 , y1 ) , ( x2 , y2 ) , ... , ( xm , ym ) }，其中 x 為輸入向量，特征維度為 n_in ，而 y 為輸出向量，特征維度為 n_out 。我們需要利用這 m 個樣本訓練出一個模型，當有一個新的測試樣本 ( xtest , ? ) 來到時, 我們可以預測 ytest 向量的輸出。

如果我們采用DNN的模型，即我們使輸入層有 n_in 個神經元，而輸出層有 n_out 個神經元。再加上一些含有若干神經元的隱藏層。此時我們需要找到合適的所有隱藏層和輸出層對應的線性系數矩陣 W ，偏倚向量 b ，讓所有的訓練樣本輸入計算出的輸出盡可能的等于或很接近樣本輸出。怎么找到合適的參數呢？

如果大家對傳統的機器學習的算法優化過程熟悉的話，這里就很容易聯想到我們可以用一個合適的損失函數來度量訓練樣本的輸出損失，接著對這個損失函數進行優化求最小化的極值，對應的一系列線性系數矩陣W,偏倚向量b即為我們的最終結果。在DNN中，損失函數優化極值求解的過程最常見的一般是通過梯度下降法來一步步迭代完成的，當然也可以是其他的迭代方法比如牛頓法與擬牛頓法。如果大家對梯度下降法不熟悉，建議先閱讀我之前寫的梯度下降（Gradient Descent）小結。

對DNN的損失函數用梯度下降法進行迭代優化求極小值的過程即為我們的反向傳播算法。

2. DNN反向傳播算法的基本思路

在進行DNN反向傳播算法前，我們需要選擇一個損失函數，來度量訓練樣本計算出的輸出和真實的訓練樣本輸出之間的損失。你也許會問：訓練樣本計算出的輸出是怎么得來的？這 個輸出是隨機選擇一系列 W ，b，用我們上一節的前向傳播算法計算出來的。即通過一系列的計算：

計算到輸出層第L層對應的 aL 即為前向傳播算法計算出來的輸出。

回到損失函數，DNN可選擇的損失函數有不少，為了專注算法，這里我們使用最常見的均方差來度量損失。即對于每個樣本，我們期望最小化下式：

其中，aL 和 y 為特征維度為 n_out 的向量，而 ||S||2 為 S 的L2范數。

損失函數有了，現在我們開始用梯度下降法迭代求解每一層的 W，b。

首先是輸出層第L層。注意到輸出層的 W，b 滿足下式：

這樣對于輸出層的參數，我們的損失函數變為：

這樣求解 W，b 的梯度就簡單了：

注意上式中有一個符號 ⊙，它代表Hadamard積，對于兩個維度相同的向量 A ( a1 , a2 , ... an ) T 和 B ( b1 , b2 , ... bn ) T，則 A⊙B = ( a1b1,a2b2,... anbn ) T。

我們注意到在求解輸出層的 W，b 的時候，有公共的部分

因此我們可以把公共的部分即對 zL 先算出來，記為：

現在我們終于把輸出層的梯度算出來了，那么如何計算上一層 L ? 1 層的梯度，上上層 L ? 2 層的梯度呢？這里我們需要一步步的遞推，注意到對于第l層的未激活輸出 zL ，它的梯度可以表示為：

如果我們可以依次計算出第 l 層的 δl ，則該層的 Wl，bl 很容易計算？為什么呢？注意到根據前向傳播算法，我們有：

所以根據上式我們可以很方便的計算出第 l 層的 Wl，bl 的梯度如下：

那么現在問題的關鍵就是要求出 δl 了。這里我們用數學歸納法，第 L 層的 δL上面我們已經求出， 假設第 l + 1 層的 δl+1 已經求出來了，那么我們如何求出第 l 層的 δl 呢？我們注意到：

可見，用歸納法遞推 δl+1 和 δl 的關鍵在于求解

而 zl+1 和 zl 的關系其實很容易找出：

這樣很容易求出：

將上式帶入上面 δl+1 和 δl 關系式我們得到：

現在我們得到了δl的遞推關系式，只要求出了某一層的 δl ，求解 Wl，bl 的對應梯度就很簡單的。

（注意，上面的矩陣求導推導部分不太嚴謹，定性理解即可。）

3. DNN反向傳播算法過程

現在我們總結下DNN反向傳播算法的過程。由于梯度下降法有批量（Batch），小批量(mini-Batch)，隨機三個變種，為了簡化描述，這里我們以最基本的批量梯度下降法為例來描述反向傳播算法。實際上在業界使用最多的是mini-Batch的梯度下降法。不過區別僅僅在于迭代時訓練樣本的選擇而已。

輸入: 總層數 L ，以及各隱藏層與輸出層的神經元個數，激活函數，損失函數，迭代步長 α，最大迭代次數MAX與停止迭代閾值 ?，輸入的 m 個訓練樣本{ ( x1 , y1 ) , ( x2 , y2 ) , ... , ( xm , ym ) }

輸出：各隱藏層與輸出層的線性關系系數矩陣 W 和偏倚向量 b

1) 初始化各隱藏層與輸出層的線性關系系數矩陣 W 和偏倚向量 b 的值為一個隨機值。

2）for iter to 1 to MAX：

2-1) for i = 1 to m：

a) 將DNN輸入 a1 設置為 xi
b) for l = 2 to L，進行前向傳播算法計算

c) 通過損失函數計算輸出層的 δi,L
d) for l= L-1 to 2, 進行反向傳播算法計算

2-2) for l = 2 to L，更新第 l 層的 Wl，Wl，bl：

2-3) 如果所有 W，b 的變化值都小于停止迭代閾值 ?，則跳出迭代循環到步驟3。

3） 輸出各隱藏層與輸出層的線性關系系數矩陣 W 和偏倚向量 b 。

4. DNN反向傳播算法小結

有了DNN反向傳播算法，我們就可以很方便的用DNN的模型去解決第一節里面提到了各種監督學習的分類回歸問題。當然DNN的參數眾多，矩陣運算量也很大，直接使用會有各種各樣的問題。有哪些問題以及如何嘗試解決這些問題并優化DNN模型與算法，我們在下一篇講。

編輯：jq