建站
咨詢
售后
建站咨詢
新聞中心
損失函數(shù)實(shí)際上是我們經(jīng)常使用的這些技術(shù)的核心，本文介紹了多種損失函數(shù)，他們的工作位置以及如何在Python中進(jìn)行編碼。
長(zhǎng)嶺網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)公司！從網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、響應(yīng)式網(wǎng)站等網(wǎng)站項(xiàng)目制作，到程序開發(fā)，運(yùn)營(yíng)維護(hù)。創(chuàng)新互聯(lián)公司于2013年創(chuàng)立到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來(lái)保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)公司。
前言
首先想象一下一個(gè)場(chǎng)景–你已經(jīng)在給定的數(shù)據(jù)集上訓(xùn)練了一個(gè)機(jī)器學(xué)習(xí)模型，并且已經(jīng)準(zhǔn)備將其放在客戶面前。但是，這個(gè)時(shí)候你應(yīng)該如何確定該模型會(huì)給出很好的結(jié)果呢?是否有一種度量標(biāo)準(zhǔn)或技術(shù)可以幫助你快速評(píng)估數(shù)據(jù)集中的模型?
當(dāng)然有了—簡(jiǎn)單的說(shuō)，這就是損失函數(shù)在機(jī)器學(xué)習(xí)中發(fā)揮作用的地方。
損失函數(shù)是我們喜歡使用的機(jī)器學(xué)習(xí)算法的核心。但是可以看到大多數(shù)初學(xué)者和愛好者對(duì)如何使用損失函數(shù)們以及在哪里使用損失函數(shù)感到非常困惑。
損失函數(shù)并不是那么的難以理解，并且如果掌握了它將無(wú)限地增強(qiáng)你對(duì)機(jī)器學(xué)習(xí)算法的理解。那么，損失函數(shù)是什么，我們應(yīng)該如何把握損失函數(shù)的意義呢?
在本文中，我們將討論機(jī)器學(xué)習(xí)中使用的7種常見的損失函數(shù)，并說(shuō)明每個(gè)函數(shù)中在什么地方使用。 我們將在本文中介紹很多內(nèi)容，所以讓我們現(xiàn)在開始吧!
什么是損失函數(shù)?
假設(shè)你現(xiàn)在在山頂上，這個(gè)時(shí)候需要往下走。你應(yīng)該怎么決定你往哪個(gè)方向走?
假如是我的話，我會(huì)這么做：
- 首先，環(huán)顧四周，看看所有有可能的道路。
- 然后，拒絕那些向上的路。這是因?yàn)檫@些路徑實(shí)際上會(huì)消耗我更多的精力，并使我的任務(wù)更加困難。
- 最后，選擇我認(rèn)為最容易下坡的那條路。
我剛剛只是憑借我的直接來(lái)判斷我的決定的么?當(dāng)然不是，這些決定正是損失函數(shù)所提供的。
損失函數(shù)將決策映射到相關(guān)的成本上。
決策認(rèn)為上坡會(huì)浪費(fèi)我們的精力和時(shí)間。決定認(rèn)為向下對(duì)我們來(lái)說(shuō)更有利。因此，它具有負(fù)成本。
在有監(jiān)督的機(jī)器學(xué)習(xí)算法中，我們希望在學(xué)習(xí)過(guò)程中將每個(gè)訓(xùn)練樣本的誤差最小化。這可以通過(guò)一些優(yōu)化策略(例如梯度下降)來(lái)完成。這個(gè)誤差就來(lái)自損失函數(shù)。
損失函數(shù)和成本函數(shù)有什么區(qū)別?
首先需要在這里強(qiáng)調(diào)一下，盡管成本函數(shù)和損失函數(shù)是同義詞，可以互換使用，但是它們是不同的。
損失函數(shù)僅用于單個(gè)訓(xùn)練樣本。有時(shí)也稱為錯(cuò)誤函數(shù)。另一方面，成本函數(shù)是整個(gè)訓(xùn)練數(shù)據(jù)集的平均損失。優(yōu)化策略的目標(biāo)是最小化成本函數(shù)。
回歸損失函數(shù)
此時(shí)，你應(yīng)該非常熟悉線性回歸了。它涉及對(duì)因變量 Y和幾個(gè)自變量 X_i 之間的線性關(guān)系建模。因此，我們實(shí)際上在這些變量上在空間上擬合了一條空間線。
我們將使用給定的數(shù)據(jù)點(diǎn)來(lái)找到系數(shù)a0，a1，...，an。
我們將使用著名的波士頓住房數(shù)據(jù)集來(lái)理解這一概念。為了簡(jiǎn)單起見，我們將只使用一個(gè)特征- 每個(gè)住宅的平均房間數(shù)(X)，來(lái)預(yù)測(cè)因變量，以1000美元為單位的房屋的中位數(shù)價(jià)值(Y)。
我們將使用“ 梯度下降”作為一個(gè)優(yōu)化策略來(lái)找到回歸線。我不會(huì)詳細(xì)介紹有關(guān)“梯度下降”的復(fù)雜細(xì)節(jié)，但是這里有一個(gè)關(guān)于權(quán)重更新規(guī)則的提示”：
在這里，theta_j是要更新的權(quán)重，alpha是學(xué)習(xí)率，J是成本函數(shù)。成本函數(shù)由theta參數(shù)化。我們的目標(biāo)是找到產(chǎn)生最小總成本的theta值。
我已經(jīng)定義了以下每個(gè)損失函數(shù)要遵循的步驟：
- 為我們的預(yù)測(cè)函數(shù)f(X)編寫表達(dá)式，并確定我們需要查找的參數(shù)
- 確定每個(gè)訓(xùn)練樣本要使用的損失函數(shù)
- 查找成本函數(shù)的表達(dá)式–所有樣本的平均損失
- 查找成本函數(shù)相對(duì)于每個(gè)未知參數(shù)的梯度
- 確定學(xué)習(xí)率并對(duì)固定次數(shù)的迭代運(yùn)行權(quán)重更新規(guī)則
1.平方誤差損失
每個(gè)訓(xùn)練樣本的平方誤差損失(也稱為L(zhǎng)2損失)是實(shí)際值與預(yù)測(cè)值之差的平方：
相應(yīng)的成本函數(shù)是這些平方誤差(MSE)的均值
我覺得在你參考下面的這些代碼之前，先自己嘗試找到梯度下降的梯度。
def update_weights_MSE(m, b, X, Y, learning_rate): m_deriv = 0 b_deriv = 0 N = len(X) for i in range(N): # Calculate partial derivatives # -2x(y - (mx + b)) m_deriv += -2*X[i] * (Y[i] - (m*X[i] + b)) # -2(y - (mx + b)) b_deriv += -2*(Y[i] - (m*X[i] + b)) # We subtract because the derivatives point in direction of steepest ascent m -= (m_deriv / float(N)) * learning_rate b -= (b_deriv / float(N)) * learning_rate return m, b
我在波士頓數(shù)據(jù)上使用了這段代碼，以獲取500次迭代中不同的學(xué)習(xí)率值：
接下來(lái)你可以嘗試以0.1的學(xué)習(xí)率再次運(yùn)行該代碼500次迭代。
讓我們?cè)俣嗾勔幌翸SE損失函數(shù)。它是一個(gè)二次函數(shù)，其中a> 0),還記得它的是什么樣子么?
二次函數(shù)僅具有全局最小值。由于沒(méi)有局部最小值，因此我們永遠(yuǎn)不會(huì)陷入局部最小值的困境。因此，它始終可以確?！疤荻认陆怠笔諗?如果它完全收斂)到全局最小值。
MSE損失函數(shù)通過(guò)對(duì)錯(cuò)誤進(jìn)行平方來(lái)懲罰模型，以免產(chǎn)生大的錯(cuò)誤。平方大會(huì)使它更大，對(duì)嗎?但是在這里有一個(gè)警告。此屬性使MSE成本函數(shù)對(duì)異常值的魯棒性(Robust)降低。因此，如果我們的數(shù)據(jù)容易出現(xiàn)異常值，則不應(yīng)使用此方法。
2.絕對(duì)誤差損失
每個(gè)訓(xùn)練樣本的絕對(duì)誤差是預(yù)測(cè)值與實(shí)際值之間的距離，而與符號(hào)無(wú)關(guān)。絕對(duì)誤差也稱為L(zhǎng)1損失：
正如我之前提到的，代價(jià)是這些絕對(duì)誤差(MAE)的均值。
與MSE相比，MAE成本對(duì)于異常值更為穩(wěn)健。但是，在處理數(shù)學(xué)方程中的絕對(duì)或模運(yùn)算并不容易。我相信你們中的很多人都會(huì)同意這一點(diǎn)!我們可以認(rèn)為這是MAE的一個(gè)缺點(diǎn)。
這是帶有MAE成本的update_weight函數(shù)的代碼：
def update_weights_MAE(m, b, X, Y, learning_rate): m_deriv = 0 b_deriv = 0 N = len(X) for i in range(N): # Calculate partial derivatives # -x(y - (mx + b)) / |mx + b| m_deriv += - X[i] * (Y[i] - (m*X[i] + b)) / abs(Y[i] - (m*X[i] + b)) # -(y - (mx + b)) / |mx + b| b_deriv += -(Y[i] - (m*X[i] + b)) / abs(Y[i] - (m*X[i] + b)) # We subtract because the derivatives point in direction of steepest ascent m -= (m_deriv / float(N)) * learning_rate b -= (b_deriv / float(N)) * learning_rate return m, b
在以不同的學(xué)習(xí)率運(yùn)行代碼500次的迭代后，我們得到以下圖表：
3.Huber Loss
Huber損失綜合了MSE和MAE的優(yōu)質(zhì)性能。對(duì)于較小的誤差，它是平方的;對(duì)于其他誤差，它是線性的(對(duì)于梯度，也是類似)。由其delta參數(shù)進(jìn)行標(biāo)識(shí)：
上方是針對(duì)較小的誤差是平方的，下方是針對(duì)其他誤差為線性的。
def update_weights_Huber(m, b, X, Y, delta, learning_rate): m_deriv = 0 b_deriv = 0 N = len(X) for i in range(N): # derivative of quadratic for small values and of linear for large values if abs(Y[i] - m*X[i] - b) <= delta: m_deriv += -X[i] * (Y[i] - (m*X[i] + b)) b_deriv += - (Y[i] - (m*X[i] + b)) else: m_deriv += delta * X[i] * ((m*X[i] + b) - Y[i]) / abs((m*X[i] + b) - Y[i]) b_deriv += delta * ((m*X[i] + b) - Y[i]) / abs((m*X[i] + b) - Y[i]) # We subtract because the derivatives point in direction of steepest ascent m -= (m_deriv / float(N)) * learning_rate b -= (b_deriv / float(N)) * learning_rate return m, b
對(duì)于delta參數(shù)的不同值，我們以 0.0001的學(xué)習(xí)率獲得了500次權(quán)重更新的迭代,獲得了如下圖表：[
與MSE相比，Huber損失對(duì)異常值的魯棒性更高。它被使用與穩(wěn)健回歸，M-估計(jì)和疊加模型。在分類中也使用了Huber Loss的一種變體。
二分類損失函數(shù)
從看到這個(gè)名字就應(yīng)該不言自明了。二分類是指將一個(gè)對(duì)象分配給兩個(gè)類別中的一個(gè)。這種分類基于應(yīng)用于輸入特征向量的規(guī)則。例如，根據(jù)電子郵件的主題，將電子郵件分為垃圾郵件或非垃圾郵件，這是一種二進(jìn)制分類。
我將在乳腺癌數(shù)據(jù)集上說(shuō)明這些二分類損失函數(shù)。
我們希望根據(jù)平均半徑，面積，周長(zhǎng)等特征將腫瘤分類為“惡性”或“良性”。為簡(jiǎn)化起見，我們將僅使用兩個(gè)輸入特征(X1和X2)，即“最差面積”和“平均對(duì)稱”進(jìn)行分類。目標(biāo)值Y可以為0(惡性)或1(良性)。
這是我們數(shù)據(jù)的散點(diǎn)圖：
1.二元交叉熵?fù)p失
讓我們首先了解“熵”一詞。 通常，我們使用熵來(lái)表示混亂或不確定性。對(duì)于具有概率分布p(X)的隨機(jī)變量X進(jìn)行測(cè)量：
負(fù)號(hào)是用于使總量為正的。
概率分布的熵值越大，表示分布的不確定性越大。同樣，較小的值表示更確定的分布。
這使得二元交叉熵適合作為損失函數(shù)– 使其值最小化。我們將二進(jìn)制交叉熵?fù)p失用于分類模型，該模型輸出一個(gè)概率p。
元素屬于1類(或正類)的概率= p 然后，元素屬于0類(或負(fù)類)的概率= 1-p
然后，輸出標(biāo)簽y(可以取值0和1)和預(yù)測(cè)概率p的交叉熵?fù)p失定義為：
這也稱為對(duì)數(shù)丟失。要計(jì)算概率p，我們可以使用Sigmoid函數(shù)。在此，z是我們輸入特性的函數(shù)：
Sigmoid函數(shù)的范圍是[0，1]，使其適合于計(jì)算概率。
嘗試自己輸入一下代碼，然再后查看下面的update_weight函數(shù)的代碼。
def update_weights_BCE(m1, m2, b, X1, X2, Y, learning_rate): m1_deriv = 0 m2_deriv = 0 b_deriv = 0 N = len(X1) for i in range(N): s = 1 / (1 / (1 + math.exp(-m1*X1[i] - m2*X2[i] - b))) # Calculate partial derivatives m1_deriv += -X1[i] * (s - Y[i]) m2_deriv += -X2[i] * (s - Y[i]) b_deriv += -(s - Y[i]) # We subtract because the derivatives point in direction of steepest ascent m1 -= (m1_deriv / float(N)) * learning_rate m2 -= (m2_deriv / float(N)) * learning_rate b -= (b_deriv / float(N)) * learning_rate return m1, m2, b
關(guān)于使用權(quán)重更新規(guī)則進(jìn)行1000次迭代(具有不同的alpha值)，我得到以下圖表：
2.鉸鏈損失(Hinge Loss)
鉸鏈損失主要用于支持標(biāo)簽為-1和1的支持向量機(jī)(SVM)分類器。因此，請(qǐng)確保將數(shù)據(jù)集中“Malignant”類的標(biāo)簽從0更改為-1。
鉸鏈損失不僅會(huì)懲罰錯(cuò)誤的預(yù)測(cè)，還會(huì)懲罰不確定的正確預(yù)測(cè)。
輸入輸出對(duì)(x，y)的鉸鏈損失為：
def update_weights_Hinge(m1, m2, b, X1, X2, Y, learning_rate): m1_deriv = 0 m2_deriv = 0 b_deriv = 0 N = len(X1) for i in range(N): # Calculate partial derivatives if Y[i]*(m1*X1[i] + m2*X2[i] + b) <= 1: m1_deriv += -X1[i] * Y[i] m2_deriv += -X2[i] * Y[i] b_deriv += -Y[i] # else derivatives are zero # We subtract because the derivatives point in direction of steepest ascent m1 -= (m1_deriv / float(N)) * learning_rate m2 -= (m2_deriv / float(N)) * learning_rate b -= (b_deriv / float(N)) * learning_rate return m1, m2, b
在使用三個(gè)不同的alpha值對(duì)2000次迭代運(yùn)行update函數(shù)之后，我們獲得了以下圖：
鉸鏈損失簡(jiǎn)化了SVM的數(shù)學(xué)運(yùn)算，同時(shí)使損失最大化(與對(duì)數(shù)損失相比)。當(dāng)我們要做出實(shí)時(shí)決策而并不是高度關(guān)注準(zhǔn)確性時(shí)，就可以使用它。
多類分類損失函數(shù)
現(xiàn)在電子郵件不只是被歸類為垃圾郵件或非垃圾郵件(現(xiàn)在已經(jīng)不是90年代了!)。它們可以被分為其他各種類別-工作，家庭，社交，晉升等。在現(xiàn)在郵件分類是一個(gè)多類別分類用例。
我們將使用鳶尾花數(shù)據(jù)集來(lái)了解其余兩個(gè)損失函數(shù)。我們將使用2個(gè)特征X1(萼片長(zhǎng)度)和特征X2(花瓣寬度)來(lái)預(yù)測(cè)鳶尾花(Setosa，Versicolor或Virginica)的類別(Y)
我們的任務(wù)是使用神經(jīng)網(wǎng)絡(luò)模型和Keras中內(nèi)置的Adam優(yōu)化器來(lái)實(shí)現(xiàn)分類。這是因?yàn)殡S著參數(shù)數(shù)量的增加，數(shù)學(xué)以及代碼將變得難以理解。
這是我們數(shù)據(jù)的散點(diǎn)圖：
1.多分類交叉熵?fù)p失
多分類交叉熵?fù)p失是二分類交叉熵?fù)p失的概括。輸入向量Xi和相應(yīng)的單編碼目標(biāo)向量Yi的損耗為：
我們使用softmax函數(shù)來(lái)找到概率p_ij：
“ Softmax是通過(guò)在輸出層之前的神經(jīng)網(wǎng)絡(luò)層實(shí)現(xiàn)的。Softmax層必須具有與輸出層相同數(shù)量的節(jié)點(diǎn)。”
最后，我們的輸出是給定輸入具有較大概率的類別。
我們使用一個(gè)輸入層和一個(gè)輸出層來(lái)進(jìn)行構(gòu)建模型，并以不同的學(xué)習(xí)率對(duì)其進(jìn)行編譯。在model.compile()語(yǔ)句中將損失參數(shù)指定為“ categorical_crossentropy”：
# importing requirements from keras.layers import Dense from keras.models import Sequential from keras.optimizers import adam # alpha = 0.001 as given in the lr parameter in adam() optimizer # build the model model_alpha1 = Sequential() model_alpha1.add(Dense(50, input_dim=2, activation='relu')) model_alpha1.add(Dense(3, activation='softmax')) # compile the model opt_alpha1 = adam(lr=0.001) model_alpha1.compile(loss='categorical_crossentropy', optimizer=opt_alpha1, metrics=['accuracy']) # fit the model # dummy_Y is the one-hot encoded # history_alpha1 is used to score the validation and accuracy scores for plotting history_alpha1 = model_alpha1.fit(dataX, dummy_Y, validation_data=(dataX, dummy_Y), epochs=200, verbose=0)
這是經(jīng)過(guò)200個(gè)時(shí)期訓(xùn)練后的成本和準(zhǔn)確率圖：
2. KL散度(KL-Divergence)
KL散度是度量一個(gè)概率分布與另一個(gè)分布之間的差異的指標(biāo)。KL散度為零表示分布相同。
請(qǐng)注意，散度函數(shù)不是對(duì)稱的。
這就是為什么KL散度不能用作距離度量的原因。
我將介紹使用KL-散度作為損失函數(shù)而不涉及其數(shù)學(xué)的基本方法。我們想要得到目標(biāo)變量關(guān)于輸入特征的真實(shí)概率分布P的近似值，給出一個(gè)近似分布q。由于kl散度不是對(duì)稱的，我們可以用兩種方法來(lái)實(shí)現(xiàn):
第一種方法用于監(jiān)督學(xué)習(xí)中，第二種方法用于強(qiáng)化學(xué)習(xí)中。KL-散度在功能上類似于多分類交叉熵，并且也稱為P相對(duì)于Q的相對(duì)熵：
我們像以前對(duì)多類交叉熵?fù)p失所做的那樣，在compile()函數(shù)中將'kullbackleiblerdivergence'指定為損失參數(shù)的值。
# importing requirements from keras.layers import Dense from keras.models import Sequential from keras.optimizers import adam # alpha = 0.001 as given in the lr parameter in adam() optimizer # build the model model_alpha1 = Sequential() model_alpha1.add(Dense(50, input_dim=2, activation='relu')) model_alpha1.add(Dense(3, activation='softmax')) # compile the model opt_alpha1 = adam(lr=0.001) model_alpha1.compile(loss='kullback_leibler_divergence', optimizer=opt_alpha1, metrics=['accuracy']) # fit the model # dummy_Y is the one-hot encoded # history_alpha1 is used to score the validation and accuracy scores for plotting history_alpha1 = model_alpha1.fit(dataX, dummy_Y, validation_data=(dataX, dummy_Y), epochs=200, verbose=0)
與多類分類相比，KL-散度更常用于近似復(fù)雜函數(shù)。我們?cè)谑褂蒙疃茸詣?dòng)生成模型(如變分自動(dòng)編碼器(VAE))時(shí)經(jīng)常遇到KL-散度。
結(jié)語(yǔ)
哇!到這里為止我們已經(jīng)講了很多了。一直看到最后的你，給你自己一點(diǎn)鼓勵(lì)吧。這篇文章中是我們通常在機(jī)器學(xué)習(xí)中使用的損失函數(shù)的詳細(xì)列表。
在這里呢建議你在繼續(xù)進(jìn)行機(jī)器學(xué)習(xí)的過(guò)程中，多讀幾遍。因?yàn)檫@不是一次努力就可以全部理解的。需要一些閱讀時(shí)間和經(jīng)驗(yàn)才能了解這些損失函數(shù)的工作方式和位置。
分享名稱：Python機(jī)器學(xué)習(xí)中七種損失函數(shù)的科學(xué)指南
網(wǎng)頁(yè)網(wǎng)址：http://fisionsoft.com.cn/article/dpjsgei.html
