深度學習入門教程

1. 引言

在深度學習十分火熱的今天，不時會涌現(xiàn)出各種新型的人工神經(jīng)網(wǎng)絡(luò)
，想要實時了解這些新型神經(jīng)網(wǎng)絡(luò)的架構(gòu)還真是不容易。光是知道各式各樣的神經(jīng)網(wǎng)絡(luò)模型縮寫（如：DCIGN、BiLSTM 、DCGAN……還有哪些？)
，就已經(jīng)讓人招架不住了。

因此，這里整理出一份清單來梳理所有這些架構(gòu) 。其中大部分是人工神經(jīng)網(wǎng)絡(luò)
，也有一些完全不同的怪物 。盡管所有這些架構(gòu)都各不相同
、功能獨特
，當我在畫它們的節(jié)點圖時……其中潛在的關(guān)系開始逐漸清晰起來。

把這些架構(gòu)做成節(jié)點圖 ，會存在一個問題
：它無法展示神經(jīng)網(wǎng)絡(luò)架構(gòu)內(nèi)部的工作原理。舉例來說 ，變分自編碼機（VAE ：variational autoencoders ）看起來跟自編碼機（AE：autoencoders）差不多，但它們的訓練過程卻大不相同。訓練后的模型在使用場景上差別更大：VAE是生成器，通過插入噪音數(shù)據(jù)來獲取新樣本；而AE僅僅是把他們所收到的任何信息作為輸入，映射到“記憶中”最相似的訓練樣本上。

在介紹不同模型的神經(jīng)元和神經(jīng)細胞層之間的連接方式前，我們一步一步來