要理解深度學(xué)習(xí)，首先必須理解“深度學(xué)習(xí)”的概念：神經(jīng)網(wǎng)絡(luò)和神經(jīng)元的概念。

關(guān)于神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)之間的概念和差異，我不會(huì)詳細(xì)介紹“機(jī)器學(xué)習(xí)（一）”文章。

深度學(xué)習(xí)可以說是當(dāng)前“人工智能浪潮”的根本原因，因?yàn)樗呐d起，包括深度神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的突破，允許語音識(shí)別，自然語言處理和基本技術(shù)，如計(jì)算機(jī)視覺已經(jīng)突破了以前的瓶頸。要理解深度學(xué)習(xí)，首先必須理解“前身，神經(jīng)網(wǎng)絡(luò)和神經(jīng)元”的概念。

一，神經(jīng)元的組成

神經(jīng)元可以說是深度學(xué)習(xí)中最基本的單元。幾乎所有的深度學(xué)習(xí)網(wǎng)絡(luò)都以不同的方式由神經(jīng)元組成。

完整的神經(jīng)元由兩部分組成，即“線性模型”和“激勵(lì)函數(shù)”。如果您已閱讀上一篇文章，我相信您可以回想起“線性回歸”和“激勵(lì)函數(shù)”的概念。

1.線性模型

（1）作文

假設(shè)這個(gè)線性模型的函??數(shù)：y=wx + b（木材很熟悉），其中x是1xn向量矩陣，矩陣中的每個(gè)向量值代表樣本特征的值，w是權(quán)重nx1的矩陣（對(duì)應(yīng)于矢量的比例），b是偏移項(xiàng)。

（2）工作流程

以蘋果的質(zhì)量為例，我們假設(shè)y代表質(zhì)量變量，x是1× 3矩陣，w是3&次; 1個(gè)矩陣（當(dāng)忽略偏移量為0時(shí)），如下：

x矩陣中的矢量值< 1,2,3"表示分別從數(shù)據(jù)中提取的特征向量的值。

w矩陣中的“0.2,0.6,0.7”表示每個(gè)特征向量的權(quán)重。

將這兩個(gè)矩陣相乘最終將得到一個(gè)實(shí)數(shù)（涉及數(shù)學(xué)矩陣運(yùn)算，并非所有都是實(shí)數(shù)）。

1X0.2 + 2X0.6 + 3X0.7=3.5

獲得的3.5是我們已經(jīng)適合假設(shè)y1的蘋果的質(zhì)量。使用此值與已校準(zhǔn)的真實(shí)質(zhì)量y0產(chǎn)生差異，我們可以得到擬合值與數(shù)據(jù)真值之間的誤差。當(dāng)然，實(shí)際計(jì)算這是一個(gè)海量數(shù)據(jù)計(jì)算

我用第一章分享了線性回歸

該函數(shù)用于描述所有數(shù)據(jù)擬合值與實(shí)際值之間的關(guān)系。目的是與機(jī)器學(xué)習(xí)相同。最后，我們需要找到所需的Loss和w，b之間的映射關(guān)系。

“線性模型”中上述單神經(jīng)元的操作流程與機(jī)器學(xué)習(xí)中的“線性回歸”過程基本相同。

2.激勵(lì)功能

（1）激勵(lì)功能的作用

激勵(lì)函數(shù)位于神經(jīng)元線性模型之后，并且還被轉(zhuǎn)換為激活函數(shù)。它有兩個(gè)功能：

加入“非線性”因子

根據(jù)不同培訓(xùn)目的的需要進(jìn)行數(shù)學(xué)函數(shù)映射

為什么加入“非線性”因子，因?yàn)椤罢鎸?shí)世界”的數(shù)據(jù)不能是線性的，如果強(qiáng)迫“線性模型”擬合非線性數(shù)據(jù)，最終結(jié)果肯定是“不合適””

如何理解數(shù)學(xué)函數(shù)映射，采取最常用的Sigmoid函數(shù)示例

Sigmoid函數(shù)定義：

激勵(lì)函數(shù)前的線性模型“y=wx + b”;已被計(jì)算得到一個(gè)實(shí)數(shù)（即前3.5）

可以推導(dǎo)如下

然后激勵(lì)函數(shù)sigmoid變?yōu)?/p>

下圖顯示了Sigmoid函數(shù)圖。從圖像中可以看出，初始x被線性建模為z（z理論上可以是任意大小的實(shí)數(shù)），并且z由激勵(lì)函數(shù)再次映射，最后輸出必須是實(shí)數(shù)的[0,1]間隔，它實(shí)現(xiàn)了數(shù)學(xué)函數(shù)的映射。

它可以實(shí)現(xiàn)簡(jiǎn)單的概率分類判斷，假設(shè)“0”為“0”。并且“ 1”每個(gè)代表一個(gè)概念，然后最終輸出在區(qū)間[0,1]，更接近“1”，這意味著它更可能是由“1”代表的概念;

（2）激勵(lì)功能的類型

激勵(lì)功能有很多種，應(yīng)用場(chǎng)景也不同。除了上面提到的Sigmoid函數(shù)之外，還有許多用于RNN（圓形神經(jīng)網(wǎng)絡(luò)）的Tanh函數(shù)，其中大部分用于CNN（卷積神經(jīng)網(wǎng)絡(luò)）。網(wǎng)絡(luò)）ReLU功能，以及線性功能等。

這里不列出他們的公式和功能圖像。簡(jiǎn)而言之，每個(gè)刺激功能都有自己的“個(gè)性”（特征）。根據(jù)不同的算法模型和應(yīng)用場(chǎng)景，將使用不同的激勵(lì)函數(shù)。當(dāng)然，最終目標(biāo)只有一個(gè)，即算法模型收斂得越快，擬合越好

二，神經(jīng)網(wǎng)絡(luò)

1.神經(jīng)網(wǎng)絡(luò)的組成

神經(jīng)網(wǎng)絡(luò)實(shí)際上是多個(gè)神經(jīng)元的水平和垂直堆疊。最簡(jiǎn)單和最基本的神經(jīng)網(wǎng)絡(luò)可以用下圖表示

通常分為以下三層：

輸入層：負(fù)責(zé)直接接受輸入的向量。通常，不處理數(shù)據(jù)，并且不計(jì)算神經(jīng)網(wǎng)絡(luò)的層數(shù)。

隱式層：它是整個(gè)神經(jīng)網(wǎng)絡(luò)中最重要的部分。它可以是一層或N層。隱藏層中的每個(gè)神經(jīng)元都將處理數(shù)據(jù)。

輸出層：用于輸出整個(gè)網(wǎng)絡(luò)處理的值。該值可以是分類矢量值或類似于線性回歸的連續(xù)值。

2.神經(jīng)網(wǎng)絡(luò)工作流程

最初，神經(jīng)元通過圖中的端到端連接進(jìn)行連接和連接。先前神經(jīng)元的輸出成為下一層神經(jīng)元的輸入。對(duì)于x向量中任何維度的分量，它在整個(gè)神經(jīng)網(wǎng)絡(luò)中逐層處理。

神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)在于我們可以調(diào)整神經(jīng)網(wǎng)絡(luò)的層數(shù)，網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和神經(jīng)元的參數(shù)，以改變輸入向量x的不同數(shù)學(xué)維度的處理，以實(shí)現(xiàn)不同的訓(xùn)練目的。 。這也是DNN，RNN和CNN成為當(dāng)今人工智能熱門話題的主要原因。 （事實(shí)上??，DNN，但在結(jié)構(gòu)上，可以簡(jiǎn)單地理解為層數(shù)的增加，這反過來又會(huì)導(dǎo)致特征提取和抽象功能的增強(qiáng)）

當(dāng)然，隨著網(wǎng)絡(luò)層數(shù)的增加，拓?fù)浣Y(jié)構(gòu)變得復(fù)雜，反過來又帶來整個(gè)神經(jīng)網(wǎng)絡(luò)的副作用和問題，例如容易陷入局部最優(yōu)解和嚴(yán)重梯度消失等問題。這也是事后需要探索和深化的事情。

« Facebook廣告系統(tǒng)萎縮。系統(tǒng)當(dāng)前正在恢復(fù) | 如何做熊側(cè)PC端的SEO優(yōu)化！ »