建站
咨詢
售后
建站咨詢
新聞中心
數(shù)據(jù)清洗，是進(jìn)行數(shù)據(jù)分析和使用數(shù)據(jù)訓(xùn)練模型的必經(jīng)之路，也是最耗費(fèi)數(shù)據(jù)科學(xué)家/程序員精力的地方。
創(chuàng)新互聯(lián)公司是一家專業(yè)提供南關(guān)企業(yè)網(wǎng)站建設(shè),專注與網(wǎng)站設(shè)計(jì)、成都網(wǎng)站設(shè)計(jì)、H5場(chǎng)景定制、小程序制作等業(yè)務(wù)。10年已為南關(guān)眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站制作公司優(yōu)惠進(jìn)行中。
這些用于數(shù)據(jù)清洗的代碼有兩個(gè)優(yōu)點(diǎn)：一是由函數(shù)編寫而成，不用改參數(shù)就可以直接使用。二是非常簡(jiǎn)單，加上注釋最長(zhǎng)的也不過11行。
在介紹每一段代碼時(shí)，都給出了用途，也在代碼中也給出注釋。
大家可以把這篇文章收藏起來，當(dāng)做工具箱使用。
涵蓋8大場(chǎng)景的數(shù)據(jù)清洗代碼
這些數(shù)據(jù)清洗代碼，一共涵蓋8個(gè)場(chǎng)景，分別是：
刪除多列、更改數(shù)據(jù)類型、將分類變量轉(zhuǎn)換為數(shù)字變量、檢查缺失數(shù)據(jù)、刪除列中的字符串、刪除列中的空格、用字符串連接兩列（帶條件）、轉(zhuǎn)換時(shí)間戳（從字符串到日期時(shí)間格式）
刪除多列
在進(jìn)行數(shù)據(jù)分析時(shí)，并非所有的列都有用，用df.drop可以方便地刪除你指定的列。
轉(zhuǎn)換數(shù)據(jù)類型
當(dāng)數(shù)據(jù)集變大時(shí)，需要轉(zhuǎn)換數(shù)據(jù)類型來節(jié)省內(nèi)存。
將分類變量轉(zhuǎn)換為數(shù)值變量
一些機(jī)器學(xué)習(xí)模型要求變量采用數(shù)值格式。這需要先將分類變量轉(zhuǎn)換為數(shù)值變量。同時(shí)，你也可以保留分類變量，以便進(jìn)行數(shù)據(jù)可視化。
檢查缺失數(shù)據(jù)
如果你要檢查每列缺失數(shù)據(jù)的數(shù)量，使用下列代碼是最快的方法?？梢宰屇愀玫亓私饽男┝腥笔У臄?shù)據(jù)更多，從而確定怎么進(jìn)行下一步的數(shù)據(jù)清洗和分析操作。
刪除列中的字符串
有時(shí)候，會(huì)有新的字符或者其他奇怪的符號(hào)出現(xiàn)在字符串列中，這可以使用df[‘col_1’].replace很簡(jiǎn)單地把它們處理掉。
刪除列中的空格
數(shù)據(jù)混亂的時(shí)候，什么情況都有可能發(fā)生。字符串開頭經(jīng)常會(huì)有一些空格。在刪除列中字符串開頭的空格時(shí)，下面的代碼非常有用。
用字符串連接兩列（帶條件）
當(dāng)你想要有條件地用字符串將兩列連接在一起時(shí)，這段代碼很有幫助。比如，你可以在第一列結(jié)尾處設(shè)定某些字母，然后用它們與第二列連接在一起。
根據(jù)需要，結(jié)尾處的字母也可以在連接完成后刪除。
轉(zhuǎn)換時(shí)間戳（從字符串到日期時(shí)間格式）
在處理時(shí)間序列數(shù)據(jù)時(shí)，我們很可能會(huì)遇到字符串格式的時(shí)間戳列。
這意味著要將字符串格式轉(zhuǎn)換為日期時(shí)間格式(或者其他根據(jù)我們的需求指定的格式) ，以便對(duì)數(shù)據(jù)進(jìn)行有意義的分析。
python創(chuàng)新互聯(lián)教程，大量的免費(fèi)python視頻教程，歡迎在線學(xué)習(xí)！
本文轉(zhuǎn)自：https://www.jianshu.com/p/b78affa1962a
文章題目：創(chuàng)新互聯(lián)Python教程：八個(gè)數(shù)據(jù)清洗的Python代碼（復(fù)制即可使用）
文章URL：http://fisionsoft.com.cn/article/coehcse.html
