在訓練模型的時候，通常會遇到這種情況：我們平衡模型的訓練速度和損失（loss）后選擇了相對合適的學習率（learning rate），但是訓練集的損失下降到一定的程度后就不在下降了，比如training loss一直在0.7和0.9之間來回震蕩，不能進一步下降。如下圖所示：

遇到這種情況通常可以通過適當降低學習率（learning rate）來實現。但是，降低學習率又會延長訓練所需的時間。

學習率衰減（learning rate decay）就是一種可以平衡這兩者之間矛盾的解決方案。學習率衰減的基本思想是：學習率隨著訓練的進行逐漸衰減。

學習率衰減基本有兩種實現方法：

線性衰減。例如：每過5個epochs學習率減半；

指數衰減。例如：每過5個epochs將學習率乘以0.1。

4、dropout

在當前的大規模神經網絡中有兩個缺點：

費時；

容易過擬合

Dropout 可以很好地解決這個問題。Dropout說的簡單一點就是在前向傳導的時候，讓某個神經元的激活值以一定的概率p停止工作，示意圖如下：

每次做完dropout，相當于從原始的網絡中找到一個更瘦的網絡。

Hinton在其論文中做了這樣的類比，無性繁殖可以保留大段的優秀基因，而有性繁殖則將基因隨機拆了又拆，破壞了大段基因的聯合適應性；但是自然選擇了有性繁殖，物競天擇，適者生存，可見有性繁殖的強大。dropout 也能達到同樣的效果，它強迫一個神經單元，和隨機挑選出來的其他神經單元共同工作，消除減弱了神經元節點間的聯合適應性，增強了泛化能力。

5、max pooling

池化（Pooling）是卷積神經網絡中另一個重要的概念，它實際上是一種形式的向下采樣。有多種不同形式的非線性池化函數，而其中“最大池化（Max pooling）”是最為常見的。它是將輸入的圖像劃分為若干個矩形區域，對每個子區域輸出最大值。

直覺上，這種機制能夠有效地原因在于，在發現一個特征之后，它的精確位置遠不及它和其他特征的相對位置的關系重要。池化層會不斷地減小數據的空間大小，因此參數的數量和計算量也會下降，這在一定程度上也控制了過擬合。通常來說，CNN的卷積層之間都會周期性地插入池化層。

6、批標準化

包括深度網絡在內的神經網絡需要仔細調整權重初始化和學習參數。批標準化使這些變得輕松許多。

權重問題：

無論權重的初始化如何，是隨機的還是經驗性的選擇，它們離學習權重都會很遠。考慮一個小批量，初期在所需的特征激活方面會有很多異常值。

深層神經網絡本身是病態的，初始層中的微小擾動都會導致后面層的非常大的變化。

在反向傳播過程中，這些現象會導致梯度彌散。這就意味著在學習權重產生所需要的輸出前，必須對梯度的異常值進行補償，這將導致需要額外的時段來收斂。

批量歸一化使這些梯度從分散到正常值并在小批量范圍內流向共同目標（通過歸一化）。

學習率問題：一般來說，學習率需要保持較低的值，使得只有一小部分的梯度來校正權重，原因是要使異常激活的梯度不影響已學習到的激活。通過批量標準化，可以減少這些異常激活，因此也就可以使用更高的學習率來加速學習過程。

7、long short-term memory

LSTM網絡具有以下三個方面，使其與循環神經網絡中的常見神經元不同：

它能夠決定何時讓輸入進入神經元；

它能夠決定何時記住上一個時間步中計算的內容；

它決定何時讓輸出傳遞到下一個時間步。

LSTM的美妙之處在于它能夠根據當前的輸入本身來決定所有這些。 所以你看下面的圖表：