可變的 batch size
對于方案 (b) 和 (c) 在運行同步 128K SGD 的時候相對于方案 (a) 有了一些細微的變動，其中 (a) 是標準的 forward-backward 傳播方式。(b) 和 (c) 方案在全連接層執(zhí)行 K 次 forward 和 backward 過程，每一次執(zhí)行不同的 128 examples，這就是說，如果我們愿意，我們可以在上面每一次局部的后向傳播執(zhí)行過程結(jié)束之后，更新全連接層的系數(shù)，這樣不會帶來任何額外的計算開銷。因此，我們可以在全連接層使用 batch size = 128，在卷積層 batch size = 128K。用了這樣的可變 batch size 之后，這就不再是一個純粹的并行 SGD 算法了，因為不再為任何與卷積層一致的模型更新梯度值，但是事實證明，在實踐中，這并不重要。在實際中，使用有效的 batch size 從 128K 到數(shù)千，在全連接層使用小的 batch size，最后能夠更快的收斂到更好的極小值。

案例圖示

上圖給出了方案 (b) 的 forward 和 backward 傳播，其中 K = 2，即 2 個 workers。

在三層結(jié)構(gòu)的卷積層中，兩路數(shù)據(jù)并行的方案被實施。在兩層結(jié)構(gòu)的全連接層中，兩路模型并行的方案被實施。上圖將數(shù)據(jù)并行和模型并行 2 個過程分解為 6 個過程。
step1：卷積層數(shù)據(jù)并行實現(xiàn)前向傳播（3個卷積層順序執(zhí)行，2個 worker 數(shù)據(jù)并行執(zhí)行）
step2：陰影部分的卷積層將數(shù)據(jù)傳遞給兩個全連接層，模型并行實現(xiàn)前向傳播（2個全連接層順序執(zhí)行，F(xiàn)C11 和 FC12 模型并行執(zhí)行，F(xiàn)C21 和 FC22 模型并行執(zhí)行）
step3：全連接層實現(xiàn)反向傳播，并將梯度數(shù)據(jù)傳回卷積層
step4：同 step2，worker 2 的卷積層數(shù)據(jù)傳遞到全連接層，實現(xiàn)前向傳播
step5：同 step3，全連接層實現(xiàn)反向傳播，將梯度傳回 worker 2 對應的卷積層
step6：完成卷積層的反向傳播。