建站
咨詢
售后
建站咨詢
新聞中心
Python字典處理索引統(tǒng)計(jì)？相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策，為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。
在淮陽(yáng)等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供網(wǎng)站制作、網(wǎng)站設(shè)計(jì) 網(wǎng)站設(shè)計(jì)制作按需搭建網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),成都品牌網(wǎng)站建設(shè),全網(wǎng)整合營(yíng)銷(xiāo)推廣,成都外貿(mào)網(wǎng)站制作,淮陽(yáng)網(wǎng)站建設(shè)費(fèi)用合理。
索引引擎的基本工作原理便是倒排索引, 即將一個(gè)文檔所包含的文字反過(guò)來(lái)映射至文檔; 這方面算法并沒(méi)有太多花樣可言, 為了增加效率, 索引數(shù)據(jù)盡可往內(nèi)存里面搬。
而基本思路舉個(gè)簡(jiǎn)單例子, 現(xiàn)在有以下文檔 (分詞已經(jīng)完成) 以及其包含的關(guān)鍵詞：
doc_a: [word_w, word_x, word_y] doc_b: [word_x, word_z] doc_c: [word_y]
將其變換為
word_w -> [doc_a] word_x -> [doc_a, doc_b] word_y -> [doc_a, doc_c] word_z -> [doc_b]
寫(xiě)成 Python 代碼, 便是
doc_a = {'id': 'a', 'words': ['word_w', 'word_x', 'word_y']}
doc_b = {'id': 'b', 'words': ['word_x', 'word_z']}
doc_c = {'id': 'c', 'words': ['word_y']}
docs = [doc_a, doc_b, doc_c]
indices = dict()
for doc in docs:
for word in doc['words']:
if word not in indices:
indices[word] = []
indices[word].append(doc['id'])
print indices不過(guò)這里有個(gè)小技巧, 就是對(duì)于判斷當(dāng)前詞是否已經(jīng)在索引字典里的分支
if word not in indices: indices[word] = []
可以被 dict 的 setdefault(key, default=None) 接口替換. 此接口的作用是, 如果 key 在字典里, 那么好說(shuō), 拿出對(duì)應(yīng)的值來(lái); 否則, 新建此 key , 且設(shè)置默認(rèn)對(duì)應(yīng)值為 default . 但從設(shè)計(jì)上來(lái)說(shuō), 我不明白為何 default 有個(gè)默認(rèn)值 None , 看起來(lái)并無(wú)多大意義, 如果確要使用此接口, 大體都會(huì)自帶默認(rèn)值吧, 如下
for doc in docs: for word in doc['words']: indices. setdefault(word, []) .append(doc['id'])
這樣就省掉分支了, 代碼看起來(lái)少很多.
不過(guò)在某些情況下, setdefault 用起來(lái)并不順手: 當(dāng) default 值構(gòu)造很復(fù)雜時(shí), 或產(chǎn)生 default 值有副作用時(shí), 以及一個(gè)之后會(huì)說(shuō)到的情況; 前兩種情況一言以蔽之, 就是 setdefault 不適用于 default 需要惰性求值的場(chǎng)景. 換言之, 為了兼顧這種需求, setdefault 可能會(huì)設(shè)計(jì)成
def setdefault(self, key, default_factory): if key not in self: self[key] = default_factory() return self[key]
倘若真如此, 那么上面的代碼應(yīng)改成
for doc in docs: for word in doc['words']: indices.setdefault(word, list ).append(doc['id'])
不過(guò)實(shí)際上有其它替代方案, 這個(gè)最后會(huì)提到.
如果說(shuō)上面只是一個(gè)能預(yù)見(jiàn)但實(shí)際上可能根本不會(huì)遇到的 API 缺陷, 那么下面這個(gè)就略打臉了.
考慮現(xiàn)在要進(jìn)行詞頻統(tǒng)計(jì), 即一個(gè)詞在文章中出現(xiàn)了多少次, 如果直接拿 dict 來(lái)寫(xiě), 大致是
def word_count(words): count = dict() for word in words: count.setdefault(word, 0) += 1 return count print word_count(['hiiragi', 'kagami', 'hiiragi', 'tukasa', 'yosimizu', 'kagami'])
當(dāng)你興致勃勃地跑起上面代碼時(shí), 代碼會(huì)以迅雷不及掩臉之勢(shì)把異常甩到你鼻尖上 --- 因?yàn)槌霈F(xiàn)在 += 操作符左邊的 count.setdefault(word, 0) 在 Python 中不是一個(gè)左值. 怎樣, 現(xiàn)在開(kāi)始念叨 C艸 類(lèi)型體系的好了吧.
因?yàn)?Python 把默認(rèn)的字面常量 {} 等價(jià)于 dict() 就認(rèn)為 dict 是銀彈的思想是要不得的; Python 里面各種數(shù)據(jù)結(jié)構(gòu)不少, 解決統(tǒng)計(jì)問(wèn)題, 理想的方案是 collections.defaultdict 這個(gè)類(lèi). 下面的代碼想必看一眼就明白
from collections import defaultdict
doc_a = {'id': 'a', 'words': ['word_w', 'word_x', 'word_y']}
doc_b = {'id': 'b', 'words': ['word_x', 'word_z']}
doc_c = {'id': 'c', 'words': ['word_y']}
docs = [doc_a, doc_b, doc_c]
indices = defaultdict(list)
for doc in docs:
for word in doc['words']:
indices[word].append(doc['id'])
print indices
def word_count(words):
count = defaultdict(int)
for word in words:
count[word] += 1
return count
print word_count(['hiiragi', 'kagami', 'hiiragi', 'tukasa', 'yosimizu', 'kagami'])完滿解決了之前遇到的那些破事.
此外 collections 里還有個(gè) Counter , 可以粗略認(rèn)為它是 defaultdict(int) 的擴(kuò)展.
看完上述內(nèi)容，你們掌握Python字典處理索引統(tǒng)計(jì)的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！
本文標(biāo)題：Python字典處理索引統(tǒng)計(jì)
鏈接地址：http://fisionsoft.com.cn/article/joogoi.html
