什么是神經(jīng)網(wǎng)絡(luò)?用代碼示例解析其工作原理|每日播報(bào)
發(fā)稿時(shí)間:2023-06-23 17:24:36 來(lái)源: 博客園
【資料圖】
本文由gpt4輔助撰寫(gptschools.cn)神經(jīng)網(wǎng)絡(luò)是一種模仿人腦神經(jīng)元工作原理的計(jì)算模型,用于實(shí)現(xiàn)機(jī)器學(xué)習(xí)和人工智能系統(tǒng)。它由一系列相互連接的神經(jīng)元(也稱為節(jié)點(diǎn)或單元)組成,這些神經(jīng)元組織成不同的層。神經(jīng)網(wǎng)絡(luò)通常包括輸入層、一個(gè)或多個(gè)隱藏層和輸出層。每個(gè)節(jié)點(diǎn)根據(jù)其輸入數(shù)據(jù)和相應(yīng)的權(quán)重計(jì)算輸出值,并通過(guò)激活函數(shù)進(jìn)行非線性轉(zhuǎn)換。 神經(jīng)網(wǎng)絡(luò)可以通過(guò)學(xué)習(xí)和調(diào)整權(quán)重實(shí)現(xiàn)自適應(yīng),從而在處理復(fù)雜問(wèn)題(如圖像識(shí)別、自然語(yǔ)言處理和游戲策略等)時(shí)具有很高的靈活性。訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程通常包括使用大量輸入數(shù)據(jù)和期望輸出,計(jì)算損失函數(shù)(用于衡量網(wǎng)絡(luò)輸出與期望輸出之間的差距),并使用優(yōu)化算法(如梯度下降法)調(diào)整權(quán)重以最小化損失。 神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的核心組成部分,深度學(xué)習(xí)模型通常包含多個(gè)隱藏層,從而能夠?qū)W習(xí)更復(fù)雜數(shù)學(xué)表示和抽象概念。?下面以一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)(用于解決 XOR 問(wèn)題)為例,說(shuō)明神經(jīng)網(wǎng)絡(luò)中的各個(gè)概念。該神經(jīng)網(wǎng)絡(luò)示例中,包含一個(gè)輸入層(2個(gè)節(jié)點(diǎn)),一個(gè)隱藏層(2個(gè)節(jié)點(diǎn))和一個(gè)輸出層(1個(gè)節(jié)點(diǎn))。輸入輸出層之間以及隱藏層與輸出層之間的所有節(jié)點(diǎn)均相互連接。激活函數(shù)為 Sigmoid 函數(shù)。上述神經(jīng)網(wǎng)絡(luò)的python實(shí)現(xiàn)如下:
import numpy as np# Sigmoid 激活函數(shù)def sigmoid(x): return 1 / (1 + np.exp(-x))# 使用 sigmoid 導(dǎo)數(shù)進(jìn)行非線性變換以及反向傳播計(jì)算梯度def sigmoid_derivative(x): return x * (1 - x)def mse_loss(y_true, y_pred): return np.mean(np.square(y_true - y_pred))class NeuralNetwork: def __init__(self, input_nodes, hidden_nodes, output_nodes): self.input_nodes = input_nodes self.hidden_nodes = hidden_nodes self.output_nodes = output_nodes self.weights_ih = np.random.rand(self.input_nodes, self.hidden_nodes) - 0.5 self.weights_ho = np.random.rand(self.hidden_nodes, self.output_nodes) - 0.5 self.bias_h = np.random.rand(1, self.hidden_nodes) - 0.5 self.bias_o = np.random.rand(1, self.output_nodes) - 0.5 def feedforward(self, input_data): hidden = sigmoid(np.dot(input_data, self.weights_ih) + self.bias_h) output = sigmoid(np.dot(hidden, self.weights_ho) + self.bias_o) return hidden, output def backward(self, input_data, hidden, output, target_data, learning_rate=0.1): # 計(jì)算損失函數(shù)的梯度 output_error = target_data - output output_delta = output_error * sigmoid_derivative(output) hidden_error = np.dot(output_delta, self.weights_ho.T) hidden_delta = hidden_error * sigmoid_derivative(hidden) self.weights_ho += learning_rate * np.dot(hidden.T, output_delta) self.weights_ih += learning_rate * np.dot(input_data.T, hidden_delta) self.bias_o += learning_rate * np.sum(output_delta, axis=0) self.bias_h += learning_rate * np.sum(hidden_delta, axis=0) # 根據(jù)輸入輸出數(shù)據(jù),訓(xùn)練多輪,更新神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏置,最終得到正確的神經(jīng)網(wǎng)絡(luò)參數(shù) def train(self, input_data, target_data, epochs, learning_rate=0.5): for _ in range(epochs): hidden, output = self.feedforward(input_data) self.backward(input_data, hidden, output, target_data, learning_rate)if __name__ == "__main__": # 示例 X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]]) Y = np.array([[0], [1], [1], [0]]) nn = NeuralNetwork(input_nodes=2, hidden_nodes=2, output_nodes=1) print("Before training:") _, output = nn.feedforward(X) print(output) nn.train(X, Y, epochs=2000, learning_rate=0.8) print("After training:") _, output = nn.feedforward(X) print(output) # 計(jì)算損失 loss = mse_loss(Y, output) print("Loss:", loss)首先,創(chuàng)建 XOR 問(wèn)題的輸入和輸出數(shù)據(jù)集,分別存儲(chǔ)在 NumPy 數(shù)組中初始化權(quán)重與偏置然后,根據(jù)輸入輸出數(shù)據(jù),訓(xùn)練2000輪每輪訓(xùn)練都會(huì)通過(guò)反向傳播更新各層的權(quán)重和偏置,最終得到正確的神經(jīng)網(wǎng)絡(luò)參數(shù)上述簡(jiǎn)單示例中,涉及到如下神經(jīng)網(wǎng)絡(luò)基本概念:前向傳播:利用若干個(gè)權(quán)重系數(shù)矩陣W,偏倚向量b來(lái)和輸入值向量x進(jìn)行一系列線性運(yùn)算和激活運(yùn)算,從輸入層開始,一層層的向后計(jì)算,一直到運(yùn)算到輸出層,得到輸出結(jié)果為值激活函數(shù):(Activation Function)是一種在神經(jīng)網(wǎng)絡(luò)中使用的非線性函數(shù),用于將神經(jīng)元的累積輸入值轉(zhuǎn)換為輸出值。激活函數(shù)的主要目的是引入非線性特性,使得神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)并表示復(fù)雜的數(shù)據(jù)模式。如果沒(méi)有激活函數(shù),神經(jīng)網(wǎng)絡(luò)將僅僅是一個(gè)線性回歸模型,無(wú)法處理復(fù)雜的問(wèn)題。反向傳播:核心思想是通過(guò)優(yōu)化權(quán)重與偏置,從而逐漸減小預(yù)測(cè)輸出與真實(shí)值之間的差距,提高神經(jīng)網(wǎng)絡(luò)的性能。反向傳播過(guò)程開始于計(jì)算輸出層的誤差,即預(yù)測(cè)輸出與實(shí)際目標(biāo)之間的差值。然后,這個(gè)誤差將從輸出層向后傳播到隱藏層。為了更新神經(jīng)網(wǎng)絡(luò)中的權(quán)重,我們需要計(jì)算損失函數(shù)相對(duì)于每個(gè)權(quán)重的梯度。我們使用鏈?zhǔn)椒▌t(chain rule)將這些梯度分解為前一層的輸出、當(dāng)前層的梯度和后一層的梯度。通過(guò)這種方式,我們可以得到每個(gè)權(quán)重的梯度,并用它們更新權(quán)重以最小化損失。損失函數(shù):損失函數(shù)值在訓(xùn)練過(guò)程中起到的作用是衡量模型預(yù)測(cè)結(jié)果與實(shí)際目標(biāo)值之間的差距。在反向傳播過(guò)程中,我們實(shí)際上是通過(guò)損失函數(shù)的梯度來(lái)調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏置,從而使得損失值最小化。在上面的代碼示例中,我們計(jì)算了輸出層的誤差(output_error),這個(gè)誤差實(shí)際上就是損失函數(shù)的梯度。這里的損失函數(shù)是均方誤差(MSE),計(jì)算梯度的公式為:
output_error = target_data - output在反向傳播過(guò)程中,我們通過(guò)該梯度來(lái)更新權(quán)重和偏置,以使得損失值最小化。因此,損失值在訓(xùn)練過(guò)程中起到了關(guān)鍵作用。其中,Sigmoid 函數(shù)是一種常用的激活函數(shù),用于神經(jīng)網(wǎng)絡(luò)中對(duì)節(jié)點(diǎn)輸出進(jìn)行非線性轉(zhuǎn)換。Sigmoid 函數(shù)的數(shù)學(xué)表達(dá)式如下:
sigmoid(x) = 1 / (1 + e^(-x))其中,x 是輸入值,e 是自然常數(shù)(約等于 2.71828)。Sigmoid 函數(shù)的輸出值范圍在 0 和 1 之間,具有平滑的 S 形曲線。當(dāng)輸入值 x 趨向于正無(wú)窮大時(shí),函數(shù)值接近 1;當(dāng)輸入值 x 趨向于負(fù)無(wú)窮大時(shí),函數(shù)值接近 0。因此,Sigmoid 函數(shù)可以將任意實(shí)數(shù)輸入映射到 (0, 1) 區(qū)間內(nèi),使得網(wǎng)絡(luò)輸出具有更好的解釋性。此外,Sigmoid 函數(shù)的導(dǎo)數(shù)也可以方便地用其函數(shù)值表示,便于進(jìn)行梯度下降優(yōu)化算法。然而,Sigmoid 函數(shù)也存在一些問(wèn)題,例如梯度消失問(wèn)題。當(dāng)輸入值過(guò)大或過(guò)小時(shí),Sigmoid 函數(shù)的梯度(導(dǎo)數(shù))接近于 0,導(dǎo)致權(quán)重更新非常緩慢,從而影響訓(xùn)練速度和效果。因此,在深度學(xué)習(xí)中,有時(shí)會(huì)選擇其他激活函數(shù),如 ReLU(線性整流單元)等。另外,偏置(bias)的引入是為了增加模型的表達(dá)能力。具體來(lái)說(shuō),在 Sigmoid 激活函數(shù)中,偏置的作用如下:調(diào)整激活函數(shù)的輸出:在神經(jīng)網(wǎng)絡(luò)中,激活函數(shù)(如 Sigmoid 函數(shù))用于對(duì)節(jié)點(diǎn)的線性加權(quán)和進(jìn)行非線性轉(zhuǎn)換。偏置相當(dāng)于一個(gè)常數(shù)值,可以使得激活函數(shù)的輸出在整體上向上或向下平移。這樣,激活函數(shù)可以在不同區(qū)域內(nèi)保持對(duì)輸入的敏感性,提高模型的擬合能力。提高模型的靈活性:加入偏置后,神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)到更復(fù)雜的表示。偏置參數(shù)使神經(jīng)網(wǎng)絡(luò)能夠在沒(méi)有輸入(或輸入為零)時(shí)產(chǎn)生非零輸出。如果沒(méi)有偏置,即使權(quán)重參數(shù)不同,神經(jīng)元在輸入為零時(shí)的輸出也將相同。因此,引入偏置為神經(jīng)網(wǎng)絡(luò)提供了額外的自由度,使其能夠更好地?cái)M合復(fù)雜的數(shù)據(jù)。以 Sigmoid 函數(shù)為例,一個(gè)神經(jīng)元的輸出可以表示為:output = sigmoid(w1 * x1 + w2 * x2 + ... + wn * xn + b)這里,w1、w2、...、wn 是輸入數(shù)據(jù)(x1、x2、...、xn)對(duì)應(yīng)的權(quán)重,b 是偏置。通過(guò)調(diào)整偏置 b 的值,可以使 Sigmoid 函數(shù)的輸出整體上升或下降,從而改變神經(jīng)元的激活閾值。這使神經(jīng)網(wǎng)絡(luò)能夠更好地適應(yīng)不同的數(shù)據(jù)分布,提高模型的泛化能力。FAQs梯度與函數(shù)導(dǎo)數(shù)的關(guān)系?梯度與導(dǎo)數(shù)密切相關(guān),但它們有一些區(qū)別。對(duì)于單變量函數(shù)(即只有一個(gè)自變量的函數(shù)),梯度就是導(dǎo)數(shù)。導(dǎo)數(shù)表示該函數(shù)在某一點(diǎn)處的切線斜率。對(duì)于多變量函數(shù)(即有多個(gè)自變量的函數(shù)),梯度是一個(gè)向量,包含了函數(shù)在某一點(diǎn)處沿著各個(gè)坐標(biāo)軸方向的偏導(dǎo)數(shù)。換句話說(shuō),梯度是一個(gè)向量,它將多個(gè)偏導(dǎo)數(shù)組合在一起,描述了多變量函數(shù)在各個(gè)方向上的變化情況。梯度的方向是函數(shù)在該點(diǎn)處變化最快的方向,梯度的大小表示函數(shù)在該點(diǎn)處的變化速率。總結(jié)一下:對(duì)于單變量函數(shù),梯度就是導(dǎo)數(shù)。對(duì)于多變量函數(shù),梯度是一個(gè)包含所有偏導(dǎo)數(shù)的向量。 AI Advisor公眾號(hào):?參考什么是神經(jīng)網(wǎng)絡(luò)?深度神經(jīng)網(wǎng)絡(luò)(DNN)
標(biāo)簽:
- 什么是神經(jīng)網(wǎng)絡(luò)?用代碼示例解析其工作原理|每日播報(bào)
- 一年四季都有新鮮國(guó)產(chǎn)柑橘,背后離不開他 焦點(diǎn)
- 迎亞運(yùn),做香囊,過(guò)端午,學(xué)非遺!這個(gè)假期,衢州小朋友收獲滿滿 全球觀熱點(diǎn)
- 全球新消息丨防水防腐保溫工程承包范圍是什么?
- 這樣防曬,也能中暑!高溫天氣七點(diǎn)重要提醒_熱推薦
- 夏季不想被蚊蟲“親吻”,請(qǐng)get這些小妙招!
- 各級(jí)工會(huì)積極做好高溫天氣作業(yè)職工勞動(dòng)保護(hù)工作
- 江南華南仍有持續(xù)性強(qiáng)降雨,華北黃淮等地?zé)岢鲂赂叨?/a>
- 當(dāng)前播報(bào):北京今天有多烤?記者實(shí)測(cè),共享單車車座已快80℃!
- 當(dāng)前視訊!這位小姐姐舉動(dòng)實(shí)在是大膽,公然在背上留字,表達(dá)對(duì)某人的愛(ài)意
- 天天速看:歐元區(qū)PMI加劇經(jīng)濟(jì)衰退擔(dān)憂 債券收益率下跌
- 環(huán)球新消息丨夏季不想被蚊蟲“親吻”,請(qǐng)get這些小妙招!
- 馬斯克與扎克伯格單挑:一場(chǎng)關(guān)乎社交媒體之爭(zhēng)的大戰(zhàn)
- 三舞婚后生活曝光,唐三內(nèi)褲外穿,小舞當(dāng)媽,唐舞桐低胸裝好頂
- FD-03【GT】高達(dá)型古斯塔夫
- 聽(tīng)到呼救飛身沖下河,上岸立即做心肺復(fù)蘇,點(diǎn)贊這位救人的“無(wú)名英雄”
- 中國(guó)女籃升至第一位!女籃亞洲杯實(shí)力榜更新 獨(dú)家
- 焦點(diǎn)訊息:細(xì)胞培育雞肉美國(guó)獲批上市
- 邁入動(dòng)車時(shí)代!7月1日,復(fù)興號(hào)將在青藏鐵路上運(yùn)營(yíng)
- 四川高考成績(jī)6月23日22時(shí)可查
- 當(dāng)前快報(bào):2023年氣溫會(huì)創(chuàng)造最暖紀(jì)錄?專家回應(yīng)
- 天天熱訊:flv文件怎么轉(zhuǎn)換成mp4在線(flv文件)
- 上證i播報(bào):歐洲股市集體走弱 德國(guó)DAX30指數(shù)跌0.89%
- 新發(fā)行版使運(yùn)行Arch Linux變得更加“Cachy” 全球聚焦
- 商丘體育中考會(huì)取消嗎年_河南商丘中考時(shí)間年具體時(shí)間
- 補(bǔ)一下《推子》部分吐槽的文案,視頻里應(yīng)該不會(huì)再出現(xiàn)《推子》了,很難過(guò)...... 每日速讀
- 全球報(bào)道:《碧藍(lán)航線漫畫集Breaking!!》第七卷 06話
- 環(huán)球觀察:假面騎士空我:升華天馬形態(tài)真骨雕公開,看著還不錯(cuò)哦
- 全球快看:遼寧營(yíng)口一鋼鐵廠發(fā)生燙傷事故,造成4人死亡5人受傷
- 離婚訴訟的證據(jù)都有哪些_天天實(shí)時(shí)
延伸閱讀
資訊
- 1 一年四季都有新鮮國(guó)產(chǎn)柑橘,背后離不開他 焦點(diǎn)
- 2 這樣防曬,也能中暑!高溫天氣七點(diǎn)重要提醒_熱推薦
- 3 夏季不想被蚊蟲“親吻”,請(qǐng)get這些小妙招!
- 4 各級(jí)工會(huì)積極做好高溫天氣作業(yè)職工勞動(dòng)保護(hù)工作
- 5 6 當(dāng)前播報(bào):北京今天有多烤?記者實(shí)測(cè),共享單車車座已快80℃!
- 7 馬斯克與扎克伯格單挑:一場(chǎng)關(guān)乎社交媒體之爭(zhēng)的大戰(zhàn)
- 8 三舞婚后生活曝光,唐三內(nèi)褲外穿,小舞當(dāng)媽,唐舞桐低胸裝好頂
- 9 FD-03【GT】高達(dá)型古斯塔夫
- 10 中國(guó)女籃升至第一位!女籃亞洲杯實(shí)力榜更新 獨(dú)家