建站
咨詢
售后
建站咨詢
新聞中心
Pandas對(duì)數(shù)據(jù)科學(xué)界來(lái)說(shuō)是一份天賜的禮物。問(wèn)任何一個(gè)數(shù)據(jù)科學(xué)家，他們喜歡如何使用Python處理他們的數(shù)據(jù)集，他們無(wú)疑會(huì)談到Pandas。
Pandas是一個(gè)偉大的編程庫(kù)的縮影：簡(jiǎn)單、直觀、功能廣泛。
然而，對(duì)數(shù)據(jù)科學(xué)家的一項(xiàng)常規(guī)任務(wù)，使用Pandas進(jìn)行數(shù)千甚至數(shù)百萬(wàn)次的計(jì)算，仍然是一個(gè)挑戰(zhàn)。你不能只是將數(shù)據(jù)放入，編寫(xiě)Python for循環(huán)，然后期望在合理的時(shí)間內(nèi)處理數(shù)據(jù)。
Pandas是為一次性處理整個(gè)行或列的矢量化操作而設(shè)計(jì)的—循環(huán)遍歷每個(gè)單元格、行或列并不是這個(gè)庫(kù)的設(shè)計(jì)用途。因此，在使用Pandas時(shí)，你應(yīng)該考慮到矩陣操作是高度并行化的。
本指南將教你如何使用Pandas的方式，它被設(shè)計(jì)用來(lái)使用矩陣運(yùn)算。在此過(guò)程中，我將向你展示一些實(shí)用的節(jié)省時(shí)間的技巧和技巧，它們將使你的Pandas代碼運(yùn)行得比那些可怕的Python for循環(huán)快得多!
設(shè)置
在本教程中，我們將使用經(jīng)典的鳶尾花數(shù)據(jù)集。我們通過(guò)使用seaborn加載數(shù)據(jù)集并打印出前5行來(lái)開(kāi)始。
現(xiàn)在讓我們建立一個(gè)基線，用Python for循環(huán)來(lái)測(cè)量我們的速度。我們將通過(guò)循環(huán)遍歷每一行來(lái)設(shè)置要在數(shù)據(jù)集上執(zhí)行的計(jì)算，然后測(cè)量整個(gè)操作的速度。這將為我們提供一個(gè)基準(zhǔn)，看看我們的新優(yōu)化能在多大程度上幫助我們加速。
在上面的代碼中，我們創(chuàng)建了一個(gè)基本函數(shù)，它使用If-Else語(yǔ)句根據(jù)花瓣的長(zhǎng)度選擇花的類(lèi)。我們編寫(xiě)了一個(gè)for循環(huán)，通過(guò)循環(huán)dataframe對(duì)每一行使用這個(gè)函數(shù)，然后測(cè)量循環(huán)的總運(yùn)行時(shí)間。
在我的i7-8700k計(jì)算機(jī)上，循環(huán)運(yùn)行5次平均需要0.01345秒。
使用.iterrows()來(lái)實(shí)現(xiàn)循環(huán)
我們可以立即做的最簡(jiǎn)單但非常有價(jià)值的加速是使用Pandas的內(nèi)置 .iterrows()函數(shù)。
在上一節(jié)中編寫(xiě)for循環(huán)時(shí)，我們使用了 range()函數(shù)。然而，當(dāng)我們?cè)赑ython中對(duì)大范圍的值進(jìn)行循環(huán)時(shí)，生成器往往要快得多。在本文中(https://towardsdatascience.com/5-advancedfeaturesof-python-and-how-use-them-73bffa373c84)，你可以閱讀更多關(guān)于生成器如何工作的信息，并加快運(yùn)行速度。
Pandas中的 .iterrows()函數(shù)在內(nèi)部實(shí)現(xiàn)了一個(gè)生成器函數(shù)，它將在每次迭代中“生成”一行數(shù)據(jù)。更準(zhǔn)確地說(shuō)， .iterrows()為DataFrame中的每一行生成(index, Series) 的對(duì)(元組)。這實(shí)際上與在原始Python中使用類(lèi)似于 enumerate()的東西是一樣的，但是運(yùn)行速度要快得多。
下面我們修改了代碼，使用 .iterrows()替常規(guī)的for循環(huán)。在我上一節(jié)測(cè)試所用的同一臺(tái)機(jī)器上，平均運(yùn)行時(shí)間為0.005892秒—提高了2.28倍!
使用.apply()完全丟掉循環(huán)
.iterrows()函數(shù)極大地提高了速度，但還遠(yuǎn)遠(yuǎn)不夠。請(qǐng)始終記住，當(dāng)使用為向量操作設(shè)計(jì)的庫(kù)時(shí)，可能有一種方法可以在完全沒(méi)有for循環(huán)的情況下很高效地完成任務(wù)。
提供這種功能的Pandas函數(shù)是 .apply()函數(shù)。我們的函數(shù) .apply()接受另一個(gè)函數(shù)作為它的輸入，并沿著DataFrame的軸(行、列等)應(yīng)用它。在傳遞函數(shù)的這種情況下，lambda通?？梢苑奖愕貙⑺袃?nèi)容打包在一起。
在下面的代碼中，我們已經(jīng)完全用 .apply()和lambda函數(shù)替換了for循環(huán)來(lái)封裝我們想要的計(jì)算。在我的機(jī)器上，這段代碼的平均運(yùn)行時(shí)間是0.0020897秒—比原來(lái)的for循環(huán)快6.44倍。
.apply()之所以要快得多，是因?yàn)樗趦?nèi)部嘗試遍歷Cython迭代器。如果你的函數(shù)恰好為Cython進(jìn)行了很好的優(yōu)化， .apply()將使你的速度更快。額外的好處是，使用內(nèi)置函數(shù)可以生成更干凈、更可讀的代碼。
最后是使用cut
前面我提到過(guò)，如果你正在使用一個(gè)為向量化操作設(shè)計(jì)的庫(kù)，那么你應(yīng)該始終尋找一種不使用for循環(huán)進(jìn)行任何計(jì)算的方法。
類(lèi)似地，許多以這種方式設(shè)計(jì)的庫(kù)，包括Pandas，都具有方便的內(nèi)置函數(shù)，可以執(zhí)行你正在尋找的精確計(jì)算—但是速度更快。
Pandas的 .cut()函數(shù)接受一組 bins為輸入，其中定義每個(gè)If-Else的范圍，以及一組 labels作為輸入，其中定義為每個(gè)范圍返回哪個(gè)值。然后，它執(zhí)行與我們用 compute_class()函數(shù)手動(dòng)編寫(xiě)的操作完全相同的操作。
查看下面的代碼，看看 .cut()是如何工作的。我們又一次得到了更干凈、更可讀的代碼。最后， .cut()函數(shù)平均運(yùn)行0.001423秒—比原來(lái)的for循環(huán)快了9.39倍!
本文題目：如何使Pandas來(lái)加速你的代碼？
網(wǎng)頁(yè)鏈接：http://fisionsoft.com.cn/article/coecehh.html
