建站
咨詢
售后
建站咨詢
新聞中心
正則表達(dá)式對(duì)數(shù)據(jù)處理而言非常重要。近日，Dataquest 博客發(fā)布了一篇針對(duì)入門(mén)級(jí)數(shù)據(jù)科學(xué)家的正則表達(dá)式介紹文章，通過(guò)實(shí)際操作詳細(xì)闡述了正則表達(dá)式的使用方法和一些技巧。
葉集ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景，ssl證書(shū)未來(lái)市場(chǎng)廣闊！成為創(chuàng)新互聯(lián)建站的ssl證書(shū)銷(xiāo)售渠道，可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書(shū)合作）期待與您的合作！
數(shù)據(jù)科學(xué)家的一部分使命是操作大量數(shù)據(jù)。有時(shí)候，這些數(shù)據(jù)中會(huì)包含大量文本語(yǔ)料。比如，假如我們需要搞清楚「巴拿馬文件 [注意，可能是敏感詞]」丑聞中誰(shuí)給誰(shuí)發(fā)送過(guò)郵件，那么我們就要篩查 1150 萬(wàn)份文檔!我們可以采用人工方式，親自閱讀每一封電子郵件，但我們也可以利用 Python 的力量。畢竟，代碼存在的意義就是自動(dòng)執(zhí)行任務(wù)。
即便如此，從頭開(kāi)始寫(xiě)一個(gè)腳本也需要大量時(shí)間和精力。這就是正則表達(dá)式的用武之地。正則表達(dá)式(regular expression)也被稱為 RE、regex 和 regular pattern，這是一種讓我們能快速篩查和分析文本的緊湊型語(yǔ)言。正則表達(dá)式始于 1956 年——Stephen Cole Kleene 創(chuàng)造了它并將其用于描述人類神經(jīng)系統(tǒng)的 McCulloch-Pitts 模型。到了 60 年代，Ken Thompson 將這種標(biāo)記方法添加到了一個(gè)類似 Windows 記事本的文本編輯器中，自那以后，正則表達(dá)式不斷發(fā)展壯大。
正則表達(dá)式的一大關(guān)鍵特征是其經(jīng)濟(jì)實(shí)用的腳本。你甚至可以將其看作是代碼中的捷徑。沒(méi)有它，我們就要碼更多代碼才能實(shí)現(xiàn)相同的功能。學(xué)習(xí)本教程需要基本的 Python 知識(shí)。如果你理解 if-else 語(yǔ)句、while 和 for 循環(huán)、列表(list)和字典(dictionary)，你就能讀懂本教程的大部分內(nèi)容。你也需要一個(gè)代碼編輯器，比如 Visual Code Studio、PyCharm 或 Atom。此外，了解一點(diǎn) pandas 的基本知識(shí)會(huì)很有幫助，這樣在我們解讀每一行代碼時(shí)你才不會(huì)迷失方向。如果你需要學(xué)學(xué) pandas，可以參考這個(gè)教程：
https://www.dataquest.io/blog/pandas-python-tutorial/
學(xué)習(xí)完本教程后，你將熟悉一些正則表達(dá)式的工作原理，并能使用其基本模式和 Python 的 re 模塊提供的函數(shù)來(lái)分析字符串。我們還將體驗(yàn)正則表達(dá)式和 pandas 庫(kù)高效處理大規(guī)模無(wú)組織數(shù)據(jù)集的能力。
現(xiàn)在，我們來(lái)看看正則表達(dá)式的能力。
介紹我們的數(shù)據(jù)集
我們將使用來(lái)自 Kaggle 的 Fraudulent Email Corpus(欺詐電子郵件語(yǔ)料庫(kù))。其中包含 1998 年到 2007 年之間發(fā)送的數(shù)千封釣魚(yú)郵件。這些郵件讀起來(lái)很有意思。我們首先將使用單封郵件學(xué)習(xí)基本的正則表達(dá)式命令，然后我們會(huì)對(duì)整個(gè)語(yǔ)料庫(kù)進(jìn)行處理。
語(yǔ)料庫(kù)地址：https://www.kaggle.com/rtatman/fraudulent-email-corpus
介紹 Python 的正則表達(dá)式模塊
首先，準(zhǔn)備數(shù)據(jù)集：打開(kāi)那個(gè)文本文件，將其設(shè)置成「只讀」，然后讀取它。我們也為其分配了一個(gè)變量 fh，表示文件句柄(file handle)。
- fh = open(r"test_emails.txt", "r").read()
注意我們直接在目錄路徑之前使用了 r。這項(xiàng)技術(shù)會(huì)將一個(gè)字符串轉(zhuǎn)換成一個(gè)原始字符串，這有助于避免由某些機(jī)器閱讀字符的方式所導(dǎo)致的沖突，比如 Windows 中目錄路徑中的反斜杠。
你可能注意到了我們目前沒(méi)有使用整個(gè)語(yǔ)料庫(kù)。我們只是人工地取了該語(yǔ)料庫(kù)中前面幾封郵件，然后將其做成了一個(gè)測(cè)試文件。這樣做的目的是在本教程中輸出顯示測(cè)試結(jié)果時(shí)，就不用每次都顯示數(shù)千行結(jié)果了。這能免除很多煩惱。你自己練習(xí)的時(shí)候使用完整語(yǔ)料庫(kù)或我們的測(cè)試文件都不會(huì)有問(wèn)題。
現(xiàn)在，假設(shè)我們想知道這些電子郵件的發(fā)件人。我們可以試試只用原始的 Python 來(lái)實(shí)現(xiàn)：
- for line in fh.split("\n"):
- if "From:" in line:
- print(line)
也可以使用正則表達(dá)式：
- import re
- for line in re.findall("From:.*", fh):
- print(line)
我們來(lái)解讀一下這段代碼。我們首先導(dǎo)入了 Python 的 re 模塊。然后我們寫(xiě)了操作代碼。在這個(gè)簡(jiǎn)單的示例中，這段代碼只比原始 Python 少一行。但是，隨著任務(wù)的增加，正則表達(dá)式可以讓你的腳本繼續(xù)保持簡(jiǎn)單經(jīng)濟(jì)。
re.findall() 返回字符串中滿足其模式的所有實(shí)例的列表。這是 Python 內(nèi)置的 re 模塊中最常用的函數(shù)之一。分解看看。該函數(shù)的形式是 re.findall(pattern, string)，有兩個(gè)參數(shù)。其中，pattern 表示我們希望尋找的子字符串，string 表示我們要在其中查找的主字符串。主字符串可以包含很多行。
.* 是字符串模式的簡(jiǎn)寫(xiě)。我們馬上就會(huì)詳細(xì)解釋?，F(xiàn)在只需知道它們的作用是匹配 From: 字段中的名稱和電子郵箱地址。
在我們繼續(xù)深入之前，我們先了解一些常見(jiàn)的正則表達(dá)式模式。
常見(jiàn)的正則表達(dá)式模式
我們?cè)谏厦娴?re.findall() 中使用的模式中包含一個(gè)完全拼寫(xiě)出來(lái)的字符串 From:。這在我們知道我們所要尋找的東西是什么時(shí)非常有用，可以確定到實(shí)際的字母以及大小寫(xiě)。如果我們不知道我們所想要的字符串的確切格式，我們將難以為繼。幸運(yùn)的是，正則表達(dá)式有解決這類情況的基本模式。我們看看本教程中會(huì)使用的一些模式：
- \w 匹配字母數(shù)字字符，即 a-z、A-Z 和 0-9，也會(huì)匹配下劃線 _ 和連接號(hào) –
- \d 匹配數(shù)字，即 0-9
- \s 匹配空白字符，包括制表符、換行符、回車(chē)符和空格符
- \S 匹配非空白字符
- . 匹配除換行符 \n 之外的任意字符
有了這些正則表達(dá)式模式，你就能在我們繼續(xù)解釋代碼時(shí)很快理解。
使用正則表達(dá)式模式
我們現(xiàn)在可以解釋上面 re.findall("From:.*", text) 一行中的 .* 了。首先來(lái)看
- for line in re.findall("From:.", fh):
- print(line)
通過(guò)在 From: 后面添加一個(gè) .，我們是要尋找 From: 之后另外的一個(gè)字符。因?yàn)?. 是查找除 \n 之外的任意字符，所以這會(huì)得到我們看不到的空格。我們可以多加一些點(diǎn)來(lái)驗(yàn)證這個(gè)情況
- for line in re.findall("From:...........", fh):
- print(line)
看起來(lái)加點(diǎn)就能讓我們得到這一行的其余內(nèi)容了。但這很單調(diào)乏味，而且我們不知道需要加多少個(gè)點(diǎn)。這就是星號(hào) * 發(fā)揮作用的地方。
* 匹配 0 個(gè)或更多個(gè)其左側(cè)的模式的實(shí)例。也就是說(shuō)它會(huì)查找重復(fù)的模式。當(dāng)我們查找重復(fù)模式時(shí)，我們說(shuō)我們的搜索是「貪婪匹配」。如果我們沒(méi)有查找重復(fù)模式，我們可以說(shuō)我們的搜索是「非貪婪匹配」或「懶惰匹配」。
讓我們使用 * 構(gòu)建一個(gè) . 的貪婪搜索
- for line in re.findall("From:.*", fh):
- print(line)
因?yàn)?* 匹配 0 個(gè)或多個(gè)其左側(cè)模式的實(shí)例且 . 在其左側(cè)，所以我們可以獲取 From: 字段中的所有字符，直到該行結(jié)束。這樣就用美麗而簡(jiǎn)潔的代碼輸出顯示了一整行。
我們甚至可以更進(jìn)一步只取出其中的名稱。
- match = re.findall("From:.*", fh)
- for line in match:
- print(re.findall("\".*\"", line))
這里，我們先使用之前的做法通過(guò) re.findall() 得到了包含 From:.* 模式的行的列表。接下來(lái)，我們遍歷這個(gè)列表。在這一次訓(xùn)練中，我們都再執(zhí)行一次 re.findall()。這一次，該函數(shù)先從匹配***個(gè)引號(hào)開(kāi)始。
注意我們?cè)?**個(gè)引號(hào)后使用了一個(gè)反斜杠。這個(gè)反斜杠是一個(gè)用于給其它特殊字符轉(zhuǎn)義的特殊字符。比如說(shuō)，當(dāng)我們想將引號(hào)用作字符串本身而不是特殊字符時(shí)，我們可以像 \" 這樣使用反斜杠對(duì)其轉(zhuǎn)義。如果我們不使用反斜杠轉(zhuǎn)義上述模式，它就會(huì)變成 "".*""，Python 解釋器就會(huì)將其看作是兩個(gè)空字符串之間的一個(gè)句號(hào)和一個(gè)星號(hào)。這會(huì)出錯(cuò)并使該腳本中斷。因此，我們這里必須使用反斜杠給引號(hào)轉(zhuǎn)義。
在***個(gè)引號(hào)匹配后，.* 會(huì)獲取這一行中下一個(gè)引號(hào)前的所有字符。當(dāng)然，該模式中的下一個(gè)引號(hào)也經(jīng)過(guò)了轉(zhuǎn)義。這讓我們可以得到引號(hào)之中的名稱。每個(gè)名稱都輸出顯示在方括號(hào)中，因?yàn)?re.findall 以列表形式返回匹配結(jié)果。
如果我們想得到電子郵箱地址呢?
- match = re.findall("From:.*", fh)
- for line in match:
- print(re.findall("\w\S*@.*\w", line))
看起來(lái)很簡(jiǎn)單，是不是?只是模式不一樣而已。讓我們?cè)敿?xì)看看。
這是我們匹配電子郵箱地址前半部分的方式：
- for line in match:
- print(re.findall("\w\S*@", line))
電子郵箱地址中總會(huì)包含一個(gè) @ 符號(hào)，所以我們從它開(kāi)始入手。電子郵箱地址中 @ 符號(hào)前面的部分可能包含字母數(shù)字字符，這意味著需要 \w。但是，由于某些電子郵箱地址包含句號(hào)或連接號(hào)，所以這還不夠。我們?cè)黾恿?\S 來(lái)查找非空白字符。但 \w\S 只能得到兩個(gè)字符，所以增加 * 來(lái)重復(fù)查找。所以 @ 符號(hào)之前部分的模式是 \w\S*@。接下來(lái)看 @ 符號(hào)之后的部分。
- for line in match:
- print(re.findall("@.*", line))
域名通常包含字母數(shù)字字符、句號(hào)，有時(shí)候還會(huì)有連接號(hào)。這很簡(jiǎn)單，一個(gè) . 就行。為了實(shí)現(xiàn)貪婪搜索，我們使用 * 來(lái)延展。這讓我們可以匹配直到該行結(jié)束的任意字符。
簡(jiǎn)單看看這些行，我們可以發(fā)現(xiàn)每個(gè)電子郵箱地址都被放在一對(duì)尖括號(hào) <> 之中。我們的模式 .* 會(huì)將右尖括號(hào) > 包含進(jìn)來(lái)。我們?cè)僬{(diào)整一下：
- for line in match:
- print(re.findall("@.*\w", line))
電子郵箱地址是以字母數(shù)字字符結(jié)尾的，所以我們用 \w 作為這一模式的結(jié)尾。因此，@ 符號(hào)之后的部分是 .*\w，也就是說(shuō)我們想要的模式是一組以字母數(shù)字字符結(jié)尾的任意類型的字符。這樣就排除了 >。因此，完整的電子郵箱地址模式就為 \w\S*@.*\w
看起來(lái)有些麻煩。實(shí)際上正則表達(dá)式確實(shí)需要花些時(shí)間才能熟練，但一旦你掌握了，在寫(xiě)分析字符串的代碼時(shí)就會(huì)快很多。接下來(lái)，我們會(huì)介紹一些常見(jiàn)的 re 函數(shù)，這些函數(shù)在重新組織這個(gè)語(yǔ)料庫(kù)時(shí)會(huì)很有用。
常見(jiàn)的正則表達(dá)式函數(shù)
re.findall() 毫無(wú)疑問(wèn)非常有用，re 模塊還提供了一些同樣方便的函數(shù)，其中包括：
- re.search()
- re.split()
- re.sub()
我們先逐一介紹一下這些函數(shù)，然后再將它們用來(lái)整理笨重難讀的語(yǔ)料庫(kù)。
1. re.search()
re.findall() 匹配的是一個(gè)模式在一個(gè)字符串中的所有實(shí)例然后以列表的形式返回它們，而 re.search() 匹配的是一個(gè)模式在一個(gè)字符串中的***個(gè)實(shí)例，然后以 re 匹配對(duì)象的形式返回它。
- match = re.search("From:.*", fh)
- print(type(match))
- print(type(match.group()))
- print(match)
- print(match.group())
與 re.findall() 類似，re.search() 也有兩個(gè)參數(shù)。***個(gè)參數(shù)是所要匹配的模式，第二個(gè)是要在其中查找的字符串。這里為了簡(jiǎn)潔我們已經(jīng)分配了 match 變量的結(jié)果。
因?yàn)?re.search() 返回的是一個(gè) re 匹配對(duì)象，所以我們不能直接通過(guò) print 展示其中的名稱和電子郵箱地址。我們必須首先為其應(yīng)用 group() 函數(shù)。我們已經(jīng)在上面的代碼中將它們輸出顯示了出來(lái)。如我們所見(jiàn)，group() 函數(shù)的作用是將匹配對(duì)象轉(zhuǎn)換成字符串。
我們還能看到 print(match) 會(huì)顯示字符串以及除字符串本身之外的屬性，而 print(match.group()) 只會(huì)顯示字符串。
2. re.split()
假設(shè)我們需要一種獲取電子郵箱地址域名的快速方式。我們可以用 3 個(gè)正則表達(dá)式操作來(lái)完成。如下：
- address = re.findall("From:.*", fh)
- for item in address:
- for line in re.findall("\w\S*@.*\w", item):
- username, domain_name = re.split("@", line)
- print("{}, {}".format(username, domain_name))
***行我們很熟悉。我們返回一個(gè)字符串列表并為其分配一個(gè)變量，其中每個(gè)字符串都包含了 From: 字段的內(nèi)容。接下來(lái)我們遍歷整個(gè)列表，尋找電子郵箱地址。與此同時(shí)，我們遍歷這些電子郵箱地址并使用 re 模塊的 split() 函數(shù)以 @ 符號(hào)為分割符將每個(gè)電子郵件一分為二。***，我們將其顯示出來(lái)。
3. re.sub()
re.sub() 是另一個(gè)很好用的 re 函數(shù)。顧名思義，它的功能是替換一個(gè)字符串的一部分。舉個(gè)例子：
- sender = re.search("From:.*", fh)
- address = sender.group()
- email = re.sub("From", "Email", address)
- print(address)
- print(email)
其中***行和第二行的任務(wù)我們之前已經(jīng)見(jiàn)過(guò)。第三行我們?cè)?address 上應(yīng)用 re.sub(); address 是電子郵件標(biāo)頭中的完整的 From: 字段。
re.sub() 有三個(gè)參數(shù)。***個(gè)是所要替換的子字符串，第二個(gè)是用來(lái)替換前者的字符串，第三個(gè)是主字符串本身。
pandas 的正則表達(dá)式
現(xiàn)在我們已經(jīng)有了正則表達(dá)式的基礎(chǔ)，我們可以試試一些更高級(jí)的功能。但是，我們需要將正則表達(dá)式與 pandas Python 數(shù)據(jù)分析庫(kù)結(jié)合起來(lái)。在將數(shù)據(jù)整理成整潔的表格(也稱為 dataframe)方面，pandas 非常有用，而且還能讓我們從不同的角度理解數(shù)據(jù)。與正則表達(dá)式那經(jīng)濟(jì)簡(jiǎn)練的代碼結(jié)合到一起，就好像是用快刀切黃油——簡(jiǎn)單利落。
如果你之前從未用過(guò) pandas，也不要擔(dān)心。我們會(huì)一步步地介紹代碼，這樣你絕不會(huì)迷失方向。正如我們?cè)谝灾刑岬降哪菢樱绻阆朐敿?xì)學(xué)習(xí)這個(gè)庫(kù)，請(qǐng)?jiān)L問(wèn)那個(gè)教程。
我們可以通過(guò) Anaconda 或 pip 獲取 pandas，詳情參閱安裝指南：
https://pandas.pydata.org/pandas-docs/stable/install.html
使用正則表達(dá)式和 pandas 整理電子郵件
我們的語(yǔ)料庫(kù)是包含了數(shù)千封電子郵件的單個(gè)文本文件。我們將使用正則表達(dá)式和 pandas 將每封電子郵件的各部分整理到合適的類別中，以便對(duì)該語(yǔ)料庫(kù)的讀取和分析更簡(jiǎn)單。
我們將會(huì)將每封電子郵件整理成以下類別：
- sender_name(發(fā)件人名稱)
- sender_address(發(fā)件人地址)
- recipient_address(收件人地址)
- recipient_name(收件人名稱)
- date_sent(發(fā)送時(shí)間)
- subject(主題)
- email_body(郵件正文)
其中每個(gè)類別都會(huì)成為我們的 pandas dataframe 或表格中的一列。這會(huì)很有用，因?yàn)檫@讓我們可以操作每一列本身。比如，這讓我們可以編寫(xiě)代碼來(lái)查找這些電子郵件來(lái)自哪些域名，而無(wú)需先編寫(xiě)代碼將電子郵箱地址與其它部分隔開(kāi)。本質(zhì)上講，將我們的數(shù)據(jù)集中的重要部分分門(mén)別類讓我們可以之后用簡(jiǎn)練得多的代碼獲取細(xì)粒度的信息。反過(guò)來(lái)，簡(jiǎn)潔的代碼也能減少我們的機(jī)器必須執(zhí)行的運(yùn)算的數(shù)量，這能加速我們的分析過(guò)程，尤其是當(dāng)操作大規(guī)模數(shù)據(jù)集時(shí)。
準(zhǔn)備腳本
我們上面已經(jīng)了解過(guò)了一個(gè)簡(jiǎn)單的腳本。接下來(lái)讓我們從頭開(kāi)始，了解如何將它們聚合到一起。
- import re
- import pandas as pd
- import email
- emails = []
- fh = open(r"test_emails.txt", "r").read()
首先在腳本最上面，我們按照標(biāo)準(zhǔn)慣例導(dǎo)入 re 和 pandas。我們也導(dǎo)入了 Python 的 email 包，電子郵件正文的處理尤其需要這個(gè)包。如果只使用正則表達(dá)式，那么電子郵件正文處理起來(lái)會(huì)相當(dāng)復(fù)雜，甚至可能還需要一篇單獨(dú)的教程才能說(shuō)請(qǐng)。所以我們使用開(kāi)發(fā)優(yōu)良的 email 包來(lái)節(jié)省時(shí)間，讓我們專注學(xué)習(xí)正則表達(dá)式。
接下來(lái)我們創(chuàng)建一個(gè)空列表 emails，用來(lái)存儲(chǔ)字典。每個(gè)字典都將包含每封電子郵件的細(xì)節(jié)。
我們經(jīng)常把代碼的結(jié)果顯示在屏幕上，以了解代碼正確或出錯(cuò)的位置。但是，因?yàn)閿?shù)據(jù)集中存在數(shù)千封電子郵件，所以這會(huì)在屏幕上打印出數(shù)千行，從而讓本教程臃腫不堪。我們肯定不想不斷滾動(dòng)數(shù)千行結(jié)果。因此，正如我們?cè)诒窘坛涕_(kāi)始時(shí)做的那樣，我們打開(kāi)并閱讀一個(gè)語(yǔ)料庫(kù)的縮短版。我們是通過(guò)人工的方式專為本教程準(zhǔn)備的。但你自己練習(xí)的時(shí)候可以使用實(shí)際的數(shù)據(jù)集。每當(dāng)你運(yùn)行 print() 函數(shù)時(shí)，你都能在幾秒之內(nèi)在屏幕上看到數(shù)千行結(jié)果。
現(xiàn)在，開(kāi)始使用正則表達(dá)式。
- contents = re.split(r"From r", fh)
- contents.pop(0)
我們使用 re 模塊的 split 函數(shù)來(lái)將 fh 中的整個(gè)文本塊分割成單獨(dú)的電子郵件構(gòu)成的列表，我們將其分配給變量 contents。這很重要，因?yàn)槲覀兿Ｍㄟ^(guò)一個(gè) for 循環(huán)遍歷這個(gè)列表，一封封地處理郵件。但我們?cè)趺粗廊绾瓮ㄟ^(guò)字符串 From r 來(lái)進(jìn)行分割?因?yàn)槲覀冊(cè)趯?xiě)這個(gè)腳本之前先查看了文件。我們不必仔細(xì)閱覽這里的數(shù)千封郵件。只需看看前面幾封郵件，了解一下其數(shù)據(jù)結(jié)構(gòu)即可?？梢钥吹?，每封電子之前都有字符串 From r。我們給這個(gè)文本文件截了個(gè)圖：
「From r」起頭的電子郵件
綠色區(qū)域是***封郵件，藍(lán)色區(qū)域是第二封郵件。可以看到，這兩封郵件都是以 From r 開(kāi)始的(紅框所示)。
本教程使用 Fraudulent Email Corpus 的原因之一是表明當(dāng)數(shù)據(jù)未經(jīng)整理、不熟悉且沒(méi)有說(shuō)明文檔時(shí)，只通過(guò)編寫(xiě)代碼不能整理好它。這還需要人眼。正如剛才我們做的那樣，我們必須閱讀這個(gè)語(yǔ)料庫(kù)，了解它的結(jié)構(gòu)。此外，這些數(shù)據(jù)可能還需要大量清理工作;這個(gè)語(yǔ)料庫(kù)也是如此。比如說(shuō)，盡管我們使用本教程即將構(gòu)建好的完整腳本算出這個(gè)數(shù)據(jù)集中有 3977 封郵件，但實(shí)際上還有更多。某些電子郵件不是以 From r 開(kāi)始的，所以就沒(méi)有被分開(kāi)。但我們還是這樣使用我們的數(shù)據(jù)集，否則本教程還會(huì)更長(zhǎng)。
還要注意，我們使用了 contents.pop(0) 來(lái)避開(kāi)列表中的***個(gè)元素。這是因?yàn)?From r 也在***封電子郵件之前。當(dāng)分割該字符串時(shí)，它會(huì)在索引 0 的位置產(chǎn)生一個(gè)空字符串。我們即將編寫(xiě)的腳本是為電子郵件設(shè)計(jì)的。如果用它來(lái)操作空字符串，可能會(huì)報(bào)錯(cuò)。避開(kāi)空字符串能讓我們避開(kāi)會(huì)造成腳本執(zhí)行中斷的錯(cuò)誤。
用 for 循環(huán)獲取每個(gè)名稱和地址
現(xiàn)在，我們處理 contents 列表中的電子郵件。
- for item in contents:
- emails_dict = {}
在上面的代碼中，我們使用了一個(gè) for 循環(huán)來(lái)遍歷 contents，以便我們依次處理每封郵件。我們創(chuàng)建了一個(gè)字典 emails_dict，其中有每封郵件的所有細(xì)節(jié)，比如發(fā)件人的地址和名稱。實(shí)際上，這就是我們首先要查找的項(xiàng)。
這是一個(gè)三步式的過(guò)程。首先從查找 From: 字段開(kāi)始。
- for item in contents: # First two lines again so that Jupyter runs the code.
- emails_dict = {}
- # Find sender's email address and name.
- # Step 1: find the whole line beginning with "From:".
- sender = re.search(r"From:.*", item)
第 1 步，使用 re.search() 函數(shù)查找整個(gè) From: 字段。. 代表除 \n 之外的任意字符，* 將其延展到這一行的末尾。然后我們將其分配給變量 sender
但是，數(shù)據(jù)并不總是簡(jiǎn)單直觀的，也可能有意外情況。比如，要是沒(méi)有 From: 字符呢?這個(gè)腳本會(huì)報(bào)錯(cuò)并且中斷。我們?cè)诘?2 步預(yù)先排除這種情況。
- # Step 2: find the email address and name.
- if sender is not None:
- s_email = re.search(r"\w\S*@.*\w", sender.group())
- s_name = re.search(r":.*<", sender.group())
- else:
- s_email = None
- s_name = None
為了避免因缺失 From: 字段而出錯(cuò)，我們使用 if 語(yǔ)句檢查 sender 是否不為 None。如果是 None，則為 s_email 和 s_name 分配 None 值，這樣這個(gè)腳本就不會(huì)意外中斷了。
盡管本教程中使用正則表達(dá)式(和下面的 pandas)時(shí)看起來(lái)相當(dāng)簡(jiǎn)單，但你的實(shí)際體驗(yàn)可能不會(huì)這么好。比如，我們看起來(lái)自然地使用了 if-else 語(yǔ)句來(lái)檢查數(shù)據(jù)是否存在。但實(shí)際上，我們知道這一點(diǎn)的原因是我們?cè)谶@個(gè)語(yǔ)料庫(kù)上嘗試了很多次這個(gè)腳本。編寫(xiě)代碼是一個(gè)迭代式的過(guò)程。需要指出，就算教程看起來(lái)是一次成型的，但實(shí)際操作起來(lái)涉及到很多實(shí)驗(yàn)過(guò)程。
在第 2 步中，我們使用了與之前類似的正則表達(dá)式模式 \w\S*@.*\w 來(lái)匹配電子郵箱地址。
我們使用了不同的策略來(lái)匹配名稱。每個(gè)名稱的左邊都有 From: 之中的冒號(hào) :，且右邊都有電子郵箱地址左邊的左尖括號(hào) <。因此，我們使用 :.*< 來(lái)查找姓名。我們馬上就要去掉每個(gè)結(jié)果中的 : 和 <。
現(xiàn)在讓我們顯示結(jié)果，看看代碼的效果。
- print("sender type: " + str(type(sender)))
- print("sender.group() type: " + str(type(sender.group())))
- print("sender: " + str(sender))
- print("sender.group(): " + str(sender.group()))
- print("\n")
注意，在每次應(yīng)用 re.search() 時(shí)，我們不使用 sender 作為要搜索的字符串。我們打印了 sender 和 sender.group() 的類型以便了解它們的不同?？雌饋?lái) sender 是一個(gè) re 匹配對(duì)象，所以不能用 re.search() 進(jìn)行搜索。但是，sender.group() 是一個(gè)字符串，正好適合 re.search() 處理。
讓我們看看 s_email 和 s_name 是怎樣的。
- print(s_email)
- print(s_name)
同樣是匹配對(duì)象。每當(dāng)我們對(duì)字符串應(yīng)用 re.search() 時(shí)，都會(huì)得到匹配對(duì)象。我們必須將其轉(zhuǎn)換成字符串對(duì)象。
在我們做這件事之前，要記得如果沒(méi)有 From: 字段，sender 的值是 None;因此 s_email 和 s_name 的值也是 None。因此，我們必須再次檢查這個(gè)情況，讓該腳本不會(huì)意外中斷。首先來(lái)看如何使用 s_email 來(lái)構(gòu)建代碼。
- # Step 3A: assign email address as string to a variable.
- if s_email is not None:
- sender_email = s_email.group()
- else:
- sender_email = None
- # Add email address to dictionary.
- emails_dict["sender_email"] = sender_email
在第 3A 步，我們使用一個(gè) if 語(yǔ)句來(lái)檢查 s_email 是否不是 None，否則它會(huì)報(bào)錯(cuò)并中斷腳本。
然后，我們將 s_email 匹配對(duì)象轉(zhuǎn)換成字符串并分配給變量 sender_email。我們將其添加到 emails_dict 字典，這讓我們之后可以非常輕松地將這些細(xì)節(jié)變成 pandas dataframe。
我們?cè)诘?3B 步為 s_name 做幾乎一樣的事情。
- # Step 3B: remove unwanted substrings, assign to variable.
- if s_name is not None:
- sender_name = re.sub("\s*<", "", re.sub(":\s*", "", s_name.group()))
- else:
- sender_name = None
- # Add sender's name to dictionary.
- emails_dict["sender_name"] = sender_name
正如我們之前的做法，我們首先檢查 s_name 是否不是 None。
然后，我們使用 re 模塊的 re.sub() 函數(shù)兩次，之后再將所得到的字符串分配給一個(gè)變量。在***次使用 re.sub() 時(shí)，我們移除冒號(hào)以及其和名稱之間的任何空格字符。我們使用空字符串 "" 替換 :\s* 即可實(shí)現(xiàn)。然后我們移除名稱另一邊的空格字符和尖括號(hào)，同樣用一個(gè)空字符串替換它。***，在將其分配給變量 sender_name 后，我們將其添加到字典。
檢查結(jié)果：
- print(sender_email)
- print(sender_name)
***。我們分離出了發(fā)件人的電子郵箱地址和名稱，我們也將它們添加進(jìn)了字典，后面會(huì)有用的。
現(xiàn)在，我們已經(jīng)找到了發(fā)件人的電子郵箱地址和名稱，我們?cè)偻ㄟ^(guò)同樣的步驟獲取收件人的電子郵箱地址和名稱，并加入字典。
首先，我們查找 To: 字段。
- rerecipient = re.search(r"To:.*", item)
接下來(lái)，我們預(yù)先設(shè)定好 recipient 為 None 的情況。
- if recipient is not None:
- r_email = re.search(r"\w\S*@.*\w", recipient.group())
- r_name = re.search(r":.*<", recipient.group())
- else:
- r_email = None
- r_name = None
如果 recipient 不為 None，我們就使用 re.search() 查找包含電子郵箱地址和收件人名稱的匹配對(duì)象。否則，我們就將 r_email 和 r_name 賦值為 None。
然后，我們將匹配對(duì)象變成字符串，并將它們加入字典。
- if r_email is not None:
- recipient_email = r_email.group()
- else:
- recipient_email = None
- emails_dict["recipient_email"] = recipient_email
- if r_name is not None:
- rerecipient_name = re.sub("\s*<", "", re.sub(":\s*", "", r_name.group()))
- else:
- recipient_name = None
- emails_dict["recipient_name"] = recipient_name
因?yàn)?From: 和 To: 字段的結(jié)構(gòu)是一樣的，所以我們可以為兩者使用同樣的代碼——只需針對(duì)性地稍微調(diào)整一下即可。
獲取電子郵件日期
現(xiàn)在獲取電子郵件的發(fā)送日期：
- for item in contents: # First two lines again so that Jupyter runs the code.
- emails_dict = {}
- date_field = re.search(r"Date:.*", item)
我們使用獲取 From: 和 To: 字段一樣的代碼來(lái)獲取 Date: 字段。而且和上面的操作一樣，我們要檢查賦值為 date_field 的 Date: 字段是否為 None。
- if date_field is not None:
- date = re.search(r"\d+\s\w+\s\d+", date_field.group())
- else:
- date = None
- print(date_field.group())
我們輸出顯示了 date_field.group()，以便我們更清楚地了解這個(gè)字符串的結(jié)構(gòu)。它包含了 DD MMM YYYY 格式的日期以及具體的時(shí)間。我們只需要日期。針對(duì)日期的代碼和針對(duì)名稱與電子郵箱地址的代碼差不多，但卻更加簡(jiǎn)單。也許這里最讓人迷惑的是正則表達(dá)式模式 \d+\s\w+\s\d+。
日期是以一個(gè)數(shù)字開(kāi)始的。因此我們使用 \d 表示它。但是，DD 部分的日期可能是一個(gè)數(shù)字，也可能是兩個(gè)數(shù)字。因此這里的 + 號(hào)就很重要了。在正則表達(dá)式中，+ 匹配 1 個(gè)或多個(gè)其左側(cè)模式的實(shí)例。因此 \d+ 可以匹配 DD 部分，不管是一個(gè)數(shù)字還是兩個(gè)數(shù)字。
在那之后，有一個(gè)空格。用 \s 代表，可以查找空白字符。月份由三個(gè)字母組成，因此用 \w+。然后是另一個(gè)空格 \s。年份由數(shù)字組成，所以再次使用 \d+。
完整的模式 \d+\s\w+\s\d+ 是有效的，因?yàn)樗莾蛇叾加锌瞻鬃址木_模式。
接下來(lái)，我們想之前一樣檢查 None 值。
- if date is not None:
- datedate_sent = date.group()
- date_star = date_star_test.group()
- else:
- date_sent = None
- emails_dict["date_sent"] = date_sent
如果 date 不是 None，我們就將其從匹配對(duì)象變成字符，并分配給變量 date_sent。然后插入字典。
在繼續(xù)前進(jìn)之前，我們應(yīng)該指出：+ 和 * 看起來(lái)相似但結(jié)果非常不同。我們以這里的日期字符串為例看看。
- date = re.search(r"\d+\s\w+\s\d+", date_field.group())
- # What happens when we use * instead?
- date_star_test = re.search(r"\d*\s\w*\s\d*", date_field.group())
- datedate_sent = date.group()
- date_star = date_star_test.group()
- print(date_sent)
- print(date_star)
如果我們使用 *，我們會(huì)匹配 0 或更多個(gè)實(shí)例;而 + 是匹配 1 或多個(gè)實(shí)例。我們顯示了兩種情況的結(jié)果。差距很大。如你所見(jiàn) + 得到了完整的日期，而 * 則得到了一個(gè)空格和數(shù)字 1.
接下來(lái)，獲取電子郵件的主題行。
獲取電子郵件主題
和之前一樣，我們使用同樣的代碼和代碼結(jié)構(gòu)來(lái)獲取我們所需的信息。
- for item in contents: # First two lines again so that Jupyter runs the code.
- emails_dict = {}
- subject_field = re.search(r"Subject: .*", item)
- if subject_field is not None:
- subject = re.sub(r"Subject: ", "", subject_field.group())
- else:
- subject = None
- emails_dict["subject"] = subject
我們?cè)絹?lái)越熟悉使用正則表達(dá)式了。這和之前的代碼基本一樣，只是我們使用空字符串替換了 "Subject: "，以便只得到主題本身。
獲取電子郵件正文
我們的字典要插入的***一項(xiàng)是電子郵件正文。
- full_email = email.message_from_string(item)
- body = full_email.get_payload()
- emails_dict["email_body"] = body
將郵件標(biāo)頭與正文分開(kāi)是一項(xiàng)很復(fù)雜的任務(wù)，尤其是當(dāng)很多標(biāo)頭都不一樣時(shí)。在原始的未整理的數(shù)據(jù)中，一致的情況很少見(jiàn)。幸運(yùn)的是，這項(xiàng)工作已經(jīng)被完成了。Python 的 email 包非常適合這項(xiàng)任務(wù)。我們之前已經(jīng)導(dǎo)入了這個(gè)包?，F(xiàn)在我們將 message_from_string() 應(yīng)用在 item 上，將整封電子郵件變成一個(gè) email 消息對(duì)象。消息對(duì)象包含一個(gè)標(biāo)頭和一個(gè) payload，分別對(duì)應(yīng)電子郵件的標(biāo)頭和正文。
接下來(lái)，我們?cè)谶@個(gè)消息對(duì)象上應(yīng)用 get_payload() 函數(shù)。這個(gè)函數(shù)可以分離出電子郵件的主體。我們將其分配給變量 body，然后插入到我們的 emails_dict 字典中的 "email_body" 下。
你可能會(huì)問(wèn)：為什么要使用 email 包，而不使用正則表達(dá)式?因?yàn)槟壳皝?lái)看，如果沒(méi)有大量數(shù)據(jù)清理工作，使用正則表達(dá)式還不能很好地做到這一點(diǎn)。這意味著需要另外一些代碼，還需要再寫(xiě)一個(gè)教程才能說(shuō)請(qǐng)。
但值得說(shuō)明一下我們做出這個(gè)決定的方式。但是，首先我們需要了解一下方括號(hào) [ ] 在正則表達(dá)式中的含義。
[ ] 匹配放置于其中的任意字符。比如如果我們想在一個(gè)字符串中查找 a、b 或 c，我們可以使用 [abc] 作為模式。我們前面討論的模式也適用。[\w\s] 是查找字母數(shù)字或空白字符。但 . 是例外，它在 [ ] 中就表示句號(hào)。
現(xiàn)在我們可以更好地理解我們使用 email 包的原因了。
看一看這個(gè)數(shù)據(jù)集，可以發(fā)現(xiàn)這個(gè)電子郵件標(biāo)頭終止于 "Status: 0" 或 "Status: R0";而正文在下一封電子郵件的 "From r" 字符串之前終止。因此我們可以使用 Status:\s*\w*\n*[\s\S]*From\sr* 來(lái)獲取電子郵件正文。[\s\S]* 可用于大量文本、數(shù)字和標(biāo)點(diǎn)符號(hào)構(gòu)成的字符串，因?yàn)樗饶芩阉骺瞻鬃址材芩阉鞣强瞻鬃址?/p>
不幸的是，有些郵件包含不止一個(gè) Status: 字符串，還有一些郵件不包含 From r。這意味著我們分割得到的電子郵件數(shù)量會(huì)多于或少于電子郵件列表字典的數(shù)量。就會(huì)與我們已經(jīng)得到的其它類別不匹配。這會(huì)在使用 pandas 時(shí)出現(xiàn)問(wèn)題。因此，我們選擇使用 email 包。
創(chuàng)建字典列表
***，將字典 emails_dict 附加到 emails 列表之后：
- emails.append(emails_dict)
你可能需要輸出顯示看看 emails 列表，看看效果。你也可以運(yùn)行 print(len(emails_dict)) 來(lái)了解列表中有多少字典，即電子郵件。正如我們之前提到的，完整的語(yǔ)料庫(kù)包含 3977 個(gè)。我們的小測(cè)試文件包含 7 個(gè)。以下是完整代碼：
- import re
- import pandas as pd
- import email
- emails = []
- fh = open(r"test_emails.txt", "r").read()
- contents = re.split(r"From r",fh)
- contents.pop(0)
- for item in contents:
- emails_dict = {}
- sender = re.search(r"From:.*", item)
- if sender is not None:
- s_email = re.search(r"\w\S*@.*\w", sender.group())
- s_name = re.search(r":.*<", sender.group())
- else:
- s_email = None
- s_name = None
- if s_email is not None:
- sender_email = s_email.group()
- else:
- sender_email = None
- emails_dict["sender_email"] = sender_email
- if s_name is not None:
- sender_name = re.sub("\s*<", "", re.sub(":\s*", "", s_name.group()))
- else:
- sender_name = None
- emails_dict["sender_name"] = sender_name
- rerecipient = re.search(r"To:.*", item)
- if recipient is not None:
- r_email = re.search(r"\w\S*@.*\w", recipient.group())
- r_name = re.search(r":.*<", recipient.group())
- else:
- r_email = None
- r_name = None
- if r_email is not None:
- recipient_email = r_email.group()
- else:
- recipient_email = None
- emails_dict["recipient_email"] = recipient_email
- if r_name is not None:
- rerecipient_name = re.sub("\s*<", "", re.sub(":\s*", "", r_name.group()))
- else:
- recipient_name = None
- emails_dict["recipient_name"] = recipient_name
- date_field = re.search(r"Date:.*", item)
- if date_field is not None:
- date = re.search(r"\d+\s\w+\s\d+", date_field.group())
- else:
- date = None
- if date is not None:
- datedate_sent = date.group()
- else:
- date_sent = None
- emails_dict["date_sent"] = date_sent
- subject_field = re.search(r"Subject: .*", item)
- if subject_field is not None:
- subject = re.sub(r"Subject: ", "", subject_field.group())
- else:
- subject = None
- emails_dict["subject"] = subject
- # "item" substituted with "email content here" so full email not displayed.
- full_email = email.message_from_string(item)
- body = full_email.get_payload()
- emails_dict["email_body"] = "email body here"
- emails.append(emails_dict)
- # Print number of dictionaries, and hence, emails, in the list.
- print("Number of emails: " + str(len(emails_dict)))
- print("\n")
- # Print first item in the emails list to see how it looks.
- for key, value in emails[0].items():
- print(str(key) + ": " + str(emails[0][key]))
我們已經(jīng)輸出顯示了 emails 列表中的***項(xiàng)，顯然這是帶有 key 和值配對(duì)的字典。因?yàn)槲覀兪褂昧?for 訓(xùn)練，所以每個(gè)字典都有相同的 key 和不同的值。
我們使用 email content here 替換了 item，這樣我們就無(wú)需輸出所有電子郵件來(lái)占領(lǐng)我們的屏幕了。如果你在操作實(shí)際數(shù)據(jù)集這樣顯示，你會(huì)看到整個(gè)電子郵件。
使用 pandas 操作數(shù)據(jù)
將字典放入列表后，我們就能使用 pandas 庫(kù)來(lái)輕松操作這些數(shù)據(jù)了。每個(gè) key 都會(huì)成為一個(gè)列標(biāo)題，每個(gè)值都是一列中的一行。
我們只需應(yīng)用這些代碼：
- import pandas as pd # Module imported above, imported again as reminder.
- emails_df = pd.DataFrame(emails)
只需一行代碼，我們就使用 pandas 的 DataFrame() 函數(shù)將 emails 字典列表變成了一個(gè) dataframe。我們也為其分配了一個(gè)變量。
完成了?，F(xiàn)在我們有了復(fù)雜精細(xì)的 pandas dataframe。這是一個(gè)簡(jiǎn)練整潔的表格，包含了我們從這些電子郵件中提取的所有信息。
讓我們看看前面幾行：
- pd.DataFrame.head(emails_df, n=3)
dataframe.head() 函數(shù)只會(huì)展示前面幾行，而不會(huì)展示整個(gè)數(shù)據(jù)集。它有一個(gè)參數(shù)。還有一個(gè)可選參數(shù)可以指定所要展示的行數(shù)。這里 n=3 表示我們想看 3 行。
我們也可以精確查找我們想要的東西。比如，我們可以查找所有來(lái)自特定域名的郵件。但是，讓我們學(xué)習(xí)另一個(gè)正則表達(dá)式模式以提升我們查找所需項(xiàng)的準(zhǔn)確性。
豎線符號(hào) | 會(huì)查找其兩邊的字符，比如 a|b 會(huì)查找 a 或 b。
| 看起來(lái)似乎和 [ ] 一樣，但實(shí)際并不一樣。假如我們要查找 crab 或 lobster 或 isopod，那么使用 crab|lobster|isopod 會(huì)比使用 [crablobsterisopod] 要合理得多。前者是查找其中每個(gè)詞，而后者是搜索其中每個(gè)字母。
現(xiàn)在我們使用 | 來(lái)查找來(lái)自一個(gè)域名或另一個(gè)域名的電子郵件。
- emails_df[emails_df["sender_email"].str.contains("maktoob|spinfinder")]
這是一行相當(dāng)長(zhǎng)的代碼。讓我們從內(nèi)部開(kāi)始解讀。
emails_df['sender_email'] 是選擇有 sender_email 標(biāo)簽的一列。接下來(lái)，str.contains(maktoob|spinfinder) 是指如果在該列中找到了 maktoob 或 spinfinder，則返回 Ture。***，外圍的 emails_df[] 返回一個(gè)行視圖，其中 sender_email 列包含了目標(biāo)子字符串。干的漂亮!
我們也可以查看每個(gè)單元格的電子郵件。要做到這一點(diǎn)，我們要做 4 步。第 1 步，查找 sender_email 列中包含 @maktoob 字符串的行的索引。注意我們使用正則表達(dá)式的方式。
- # Step 1: find the index where the "sender_email" column contains "@maktoob.com".
- index = emails_df[emails_df["sender_email"].str.contains(r"\w\S*@maktoob.com")].index.values
第 2 步，我們使用該索引查找電子郵箱地址，loc[] 方法返回一個(gè) Series 對(duì)象，其具有幾種不同的屬性。我們用以下方式顯示輸出其結(jié)果。
- # Step 2: use the index to find the value of the cell in the "sender_email" column.
- # The result is returned as pandas Series object
- address_Series = emails_df.loc[index]["sender_email"]
- print(address_Series)
- print(type(address_Series))
第 3 步，我們從這個(gè) Series 對(duì)象提取電子郵箱地址，就像我們從一個(gè)列表提取項(xiàng)一樣。你可以看到它現(xiàn)在的類型是類(class)。
- # Step 3: extract the email address, which is at index 0 in the Series object.
- address_string = address_Series[0]
- print(address_string)
- print(type(address_string))
第 4 步，提取電子郵件正文。
- # Step 4: find the value of the "email_body" column where the "sender email" column is address_string.
- print(emails_df[emails_df["sender_email"] == address_string]["email_body"].values)
在第 4 步中，emails_df['sender_email'] == "[email protected]" 是查找 sender_email 列中包含 [email protected] 的行。接下來(lái)，['email_body'].values 查找對(duì)應(yīng)行的 email_body 列。***，得到結(jié)果值。
可以看到，使用正則表達(dá)式的方式多種多樣，而且能很好地與 pandas 搭配使用。
其它資源
正則表達(dá)式自從生物學(xué)邁向工程領(lǐng)域之后，多年來(lái)發(fā)展迅速?，F(xiàn)在，正則表達(dá)式已經(jīng)在各種不同的編程語(yǔ)言中得到了應(yīng)用，其中某些變體已經(jīng)超越了其基本模式。
- 在本教程中，我們使用 Python 進(jìn)行了練習(xí)，如果你有進(jìn)一步探索的興趣，可以參閱這個(gè)帖子：https://stackoverflow.com/questions/4644847/list-of-all-regex-implementations。
- 維基百科也有一個(gè)比較不同正則表達(dá)式引擎的表格：https://en.m.wikipedia.org/wiki/Comparison_of_regular_expression_engines#Part_1
- 一篇教程肯定不能說(shuō)盡正則表達(dá)式的全部。完整參考可參閱 Python 的 re 模塊的文檔：https://docs.python.org/3/library/re.html。谷歌也有一個(gè)快速參考：https://developers.google.com/edu/python/regular-expressions
- 如果你需要數(shù)據(jù)集來(lái)做實(shí)驗(yàn)，Kaggle 和 StatsModels 很不錯(cuò)。
- 這里有個(gè)正則表達(dá)式快速參考表：https://github.com/dmikalova/sublime-cheat-sheets/blob/master/cheat-sheets/Regular%20Expressions.cheatsheet。這是為 Sublime 設(shè)計(jì)的，但對(duì)其它工具而言也很方便。
名稱欄目：數(shù)據(jù)科學(xué)入門(mén)必讀：如何使用正則表達(dá)式？
文章起源：http://fisionsoft.com.cn/article/ccoodhc.html
