深度學習入門教程

1. 引言

在深度學習十分火熱的今天，不時會涌現(xiàn)出各種新型的人工神經網絡，想要實時了解這些新型神經網絡的架構還真是不容易 。光是知道各式各樣的神經網絡模型縮寫（如
：DCIGN、BiLSTM、DCGAN……還有哪些？) ，就已經讓人招架不住了  。

因此 ，這里整理出一份清單來梳理所有這些架構
。其中大部分是人工神經網絡 ，也有一些完全不同的怪物 。盡管所有這些架構都各不相同、功能獨特，當我在畫它們的節(jié)點圖時……其中潛在的關系開始逐漸清晰起來。

把這些架構做成節(jié)點圖，會存在一個問題：它無法展示神經網絡架構內部的工作原理 。舉例來說，變分自編碼機（VAE：variational autoencoders ）看起來跟自編碼機（AE：autoencoders）差不多，但它們的訓練過程卻大不相同 。訓練后的模型在使用場景上差別更大 ：VAE是生成器，通過插入噪音數(shù)據來獲取新樣本；而AE僅僅是把他們所收到的任何信息作為輸入，映射到“記憶中”最相似的訓練樣本上 。

在介紹不同模型的神經元和神經細胞層之間的連接方式前 ，我們一步一步來，先來了解不同的神經元節(jié)點內部是如何工作的 。

1.1 神經元

對不同類型的神經元標記不同的顏色，可以更好地在各種網絡架構之間進行區(qū)分