建站
咨詢
售后
建站咨詢
新聞中心
不需要昂貴的工具即可領略數(shù)據(jù)科學的力量，從這些開源工具起步即可。
無論你是一個具有數(shù)學或計算機科學背景的資深數(shù)據(jù)科學愛好者，還是一個其它領域的專家，數(shù)據(jù)科學提供的可能性都在你力所能及的范圍內，而且你不需要昂貴的，高度專業(yè)化的企業(yè)級軟件。本文中討論的開源工具就是你入門時所需的全部內容。
Python，其機器學習和數(shù)據(jù)科學庫（pandas、 Keras、 TensorFlow、 scikit-learn、 SciPy、 NumPy 等），以及大量可視化庫（Matplotlib、pyplot、 Plotly 等）對于初學者和專家來說都是優(yōu)秀的自由及開源軟件工具。它們易于學習，很受歡迎且受到社區(qū)支持，并擁有為數(shù)據(jù)科學而開發(fā)的***技術和算法。它們是你在開始學習時可以獲得的***工具集之一。
許多 Python 庫都是建立在彼此之上的（稱為依賴項），其基礎是 NumPy 庫。NumPy 專門為數(shù)據(jù)科學設計，經(jīng)常被用于在其 ndarray 數(shù)據(jù)類型中存儲數(shù)據(jù)集的相關部分。ndarray 是一種方便的數(shù)據(jù)類型，用于將關系表中的記錄存儲為 cvs 文件或其它任何格式，反之亦然。將 scikit 函數(shù)應用于多維數(shù)組時，它特別方便。SQL 非常適合查詢數(shù)據(jù)庫，但是對于執(zhí)行復雜和資源密集型的數(shù)據(jù)科學操作，在 ndarray 中存儲數(shù)據(jù)可以提高效率和速度（但請確保在處理大量數(shù)據(jù)集時有足夠的 RAM）。當你使用 pandas 進行知識提取和分析時，pandas 中的 DataFrame 數(shù)據(jù)類型和 NumPy 中的 ndarray 之間的無縫轉換分別為提取和計算密集型操作創(chuàng)建了一個強大的組合。
作為快速演示，讓我們啟動 Python shell 并在 pandas DataFrame 變量中加載來自巴爾的摩的犯罪統(tǒng)計數(shù)據(jù)的開放數(shù)據(jù)集，并查看加載的一部分 DataFrame：
>>> import pandas as pd>>> crime_stats = pd.read_csv('BPD_Arrests.csv')>>> crime_stats.head()
我們現(xiàn)在可以在這個 pandas DataFrame 上執(zhí)行大多數(shù)查詢，就像我們可以在數(shù)據(jù)庫中使用 SQL 一樣。例如，要獲取 Description 屬性的所有唯一值，SQL 查詢是：
$ SELECT unique(“Description”) from crime_stats;
利用 pandas DataFrame 編寫相同的查詢如下所示：
>>> crime_stats['Description'].unique()['COMMON ASSAULT' 'LARCENY' 'ROBBERY - STREET' 'AGG. ASSAULT''LARCENY FROM AUTO' 'HOMICIDE' 'BURGLARY' 'AUTO THEFT''ROBBERY - RESIDENCE' 'ROBBERY - COMMERCIAL' 'ROBBERY - CARJACKING''ASSAULT BY THREAT' 'SHOOTING' 'RAPE' 'ARSON']
它返回的是一個 NumPy 數(shù)組（ndarray 類型）：
>>> type(crime_stats['Description'].unique())
接下來讓我們將這些數(shù)據(jù)輸入神經(jīng)網(wǎng)絡，看看它能多準確地預測使用的武器類型，給出的數(shù)據(jù)包括犯罪事件，犯罪類型以及發(fā)生的地點：
>>> from sklearn.neural_network import MLPClassifier>>> import numpy as np>>>>>> prediction = crime_stats[[‘Weapon’]]>>> predictors = crime_stats['CrimeTime', ‘CrimeCode’, ‘Neighborhood’]>>>>>> nn_model = MLPClassifier(solver='lbfgs', alpha=1e-5, hidden_layer_sizes=(5,2), random_state=1)>>>>>>predict_weapon = nn_model.fit(prediction, predictors)
現(xiàn)在學習模型準備就緒，我們可以執(zhí)行一些測試來確定其質量和可靠性。對于初學者，讓我們輸入一個訓練集數(shù)據(jù)（用于訓練模型的原始數(shù)據(jù)集的一部分，不包括在創(chuàng)建模型中）：
>>> predict_weapon.predict(training_set_weapons)array([4, 4, 4, ..., 0, 4, 4])
如你所見，它返回一個列表，每個數(shù)字預測訓練集中每個記錄的武器。我們之所以看到的是數(shù)字而不是武器名稱，是因為大多數(shù)分類算法都是用數(shù)字優(yōu)化的。對于分類數(shù)據(jù)，有一些技術可以將屬性轉換為數(shù)字表示。在這種情況下，使用的技術是標簽編碼，使用 sklearn 預處理庫中的 LabelEncoder 函數(shù)：preprocessing.LabelEncoder()。它能夠對一個數(shù)據(jù)和其對應的數(shù)值表示來進行變換和逆變換。在這個例子中，我們可以使用 LabelEncoder() 的 inverse_transform 函數(shù)來查看武器 0 和 4 是什么:
>>> preprocessing.LabelEncoder().inverse_transform(encoded_weapons)array(['HANDS', 'FIREARM', 'HANDS', ..., 'FIREARM', 'FIREARM', 'FIREARM']
這很有趣，但為了了解這個模型的準確程度，我們將幾個分數(shù)計算為百分比：
>>> nn_model.score(X, y)0.81999999999999995
這表明我們的神經(jīng)網(wǎng)絡模型準確度約為 82%。這個結果似乎令人印象深刻，但用于不同的犯罪數(shù)據(jù)集時，檢查其有效性非常重要。還有其它測試來做這個，如相關性、混淆、矩陣等。盡管我們的模型有很高的準確率，但它對于一般犯罪數(shù)據(jù)集并不是非常有用，因為這個特定數(shù)據(jù)集具有不成比例的行數(shù)，其列出 FIREARM 作為使用的武器。除非重新訓練，否則我們的分類器最有可能預測 FIREARM，即使輸入數(shù)據(jù)集有不同的分布。
在對數(shù)據(jù)進行分類之前清洗數(shù)據(jù)并刪除異常值和畸形數(shù)據(jù)非常重要。預處理越好，我們的見解準確性就越高。此外，為模型或分類器提供過多數(shù)據(jù)（通常超過 90%）以獲得更高的準確度是一個壞主意，因為它看起來準確但由于過度擬合而無效。
Jupyter notebooks 相對于命令行來說是一個很好的交互式替代品。雖然 CLI 對于大多數(shù)事情都很好，但是當你想要運行代碼片段以生成可視化時，Jupyter 會很出色。它比終端更好地格式化數(shù)據(jù)。
這篇文章 列出了一些***的機器學習免費資源，但是還有很多其它的指導和教程。根據(jù)你的興趣和愛好，你還會發(fā)現(xiàn)許多開放數(shù)據(jù)集可供使用。作為起點，由 Kaggle 維護的數(shù)據(jù)集，以及在州政府網(wǎng)站上提供的數(shù)據(jù)集是極好的資源。
網(wǎng)頁標題：開源工具 | Python數(shù)據(jù)科學入門
瀏覽路徑：http://fisionsoft.com.cn/article/dhieejg.html
