兽性总裁的爱奴,武道至尊帝临小说

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案

用Python爬了自己的微信好友，原來他們是這樣的人……

導(dǎo)讀：用了微信幾年了，微信號有也不少了，但是真正了解自己的好友嗎？好友最多的城市是哪個？好友男女比例是多少？好友簽名都是什么？今天我們來充分了解自己的微信好友。

01 準備工作

運行平臺：Windows

Python版本：Python3.6

IDE：Sublime Text

1. 庫介紹

只有登錄微信才能獲取到微信好友的信息，本文采用wxpy該第三方庫進行微信的登錄以及信息的獲取。

wxpy 在 itchat 的基礎(chǔ)上，通過大量接口優(yōu)化提升了模塊的易用性，并進行豐富的功能擴展。

wxpy一些常見的場景：

控制路由器、智能家居等具有開放接口的玩意兒
運行腳本時自動把日志發(fā)送到你的微信
加群主為好友，自動拉進群中
跨號或跨群轉(zhuǎn)發(fā)消息
自動陪人聊天
逗人玩

總而言之，可用來實現(xiàn)各種微信個人號的自動化操作。

2. wxpy庫安裝

wxpy 支持 Python 3.4-3.6，以及 2.7 版本

將下方命令中的 “pip” 替換為 “pip3” 或 “pip2”，可確保安裝到對應(yīng)的 Python 版本中

從 PYPI 官方源下載安裝 (在國內(nèi)可能比較慢或不穩(wěn)定)：

 
 
 
  
  
  pip install -U wxpy

從豆瓣 PYPI 鏡像源下載安裝 (推薦國內(nèi)用戶選用)：

 
 
 
  
  
  pip install -U wxpy -i "https://pypi.doubanio.com/simple/"

3. 登錄微信

wxpy中有一個機器人對象，機器人 Bot 對象可被理解為一個 Web 微信客戶端。Bot在初始化時便會執(zhí)行登陸操作，需要手機掃描登陸。

通過機器人對象 Bot 的 chats(), friends()，groups(), mps() 方法, 可分別獲取到當前機器人的所有聊天對象、好友、群聊，以及公眾號列表。

本文主要通過friends()獲取到所有好友信息，然后進行數(shù)據(jù)的處理。

 
 
 
  
  
  from wxpy import *  
  
  
  # 初始化機器人，掃碼登陸  
  
  
  bot = Bot()  
  
  
  # 獲取所有好友  
  
  
  my_friends = bot.friends()  
  
  
  print(type(my_friends))

以下為輸出消息：

 
 
 
  
  
  Getting uuid of QR code.  
  
  
  Downloading QR code.  
  
  
  Please scan the QR code to log in.  
  
  
  Please press confirm on your phone.  
  
  
  Loading the contact, this may take a little while.

wxpy.api.chats.chats.Chats對象是多個聊天對象的合集，可用于搜索或統(tǒng)計，可以搜索和統(tǒng)計的信息包括sex(性別)、province(省份)、city(城市)和signature(個性簽名)等。

02 微信好友男女比例

1. 數(shù)據(jù)統(tǒng)計

使用一個字典sex_dict來統(tǒng)計好友中男性和女性的數(shù)量。

 
 
 
  
  
  # 使用一個字典統(tǒng)計好友男性和女性的數(shù)量  
  
  
  sex_dict = {'male': 0, 'female': 0}  
  
  
  for friend in my_friends:  
  
  
      # 統(tǒng)計性別  
  
  
      if friend.sex == 1:  
  
  
          sex_dict['male'] += 1  
  
  
      elif friend.sex == 2:  
  
  
          sex_dict['female'] += 1  
  
  
   
  
  
  print(sex_dict)

以下為輸出結(jié)果：

 
 
 
  
  
  {'male': 255, 'female': 104}

2. 數(shù)據(jù)呈現(xiàn)

本文采用 ECharts餅圖進行數(shù)據(jù)的呈現(xiàn)，打開鏈接http://echarts.baidu.com/echarts2/doc/example/pie1.html，可以看到如下內(nèi)容：

▲echarts餅圖原始內(nèi)容

從圖中可以看到左側(cè)為數(shù)據(jù)，右側(cè)為呈現(xiàn)的數(shù)據(jù)圖，其他的形式的圖也是這種左右結(jié)構(gòu)。看一下左邊的數(shù)據(jù)：

 
 
 
  
  
  option = {  
  
  
      title : {  
  
  
          text: '某站點用戶訪問來源',  
  
  
          subtext: '純屬虛構(gòu)',  
  
  
          x:'center'  
  
  
      },  
  
  
      tooltip : {  
  
  
          trigger: 'item',  
  
  
          formatter: "{a} 
 : {c} (vbb75nf%)"  
  
  
      },  
  
  
      legend: {  
  
  
          orient : 'vertical',  
  
  
          x : 'left',  
  
  
          data:['直接訪問','郵件營銷','聯(lián)盟廣告','視頻廣告','搜索引擎']  
  
  
      },  
  
  
      toolbox: {  
  
  
          show : true,  
  
  
          feature : {  
  
  
              mark : {show: true},  
  
  
              dataView : {show: true, readOnly: false},  
  
  
              magicType : {  
  
  
                  show: true,  
  
  
                  type: ['pie', 'funnel'],  
  
  
                  option: {  
  
  
                      funnel: {  
  
  
                          x: '25%',  
  
  
                          width: '50%',  
  
  
                          funnelAlign: 'left',  
  
  
                          max: 1548  
  
  
                      }  
  
  
                  }  
  
  
              },  
  
  
              restore : {show: true},  
  
  
              saveAsImage : {show: true}  
  
  
          }  
  
  
      },  
  
  
      calculable : true,  
  
  
      series : [  
  
  
          {  
  
  
              name:'訪問來源',  
  
  
              type:'pie',  
  
  
              radius : '55%',  
  
  
              center: ['50%', '60%'],  
  
  
              data:[  
  
  
                  {value:335, name:'直接訪問'},  
  
  
                  {value:310, name:'郵件營銷'},  
  
  
                  {value:234, name:'聯(lián)盟廣告'},  
  
  
                  {value:135, name:'視頻廣告'},  
  
  
                  {value:1548, name:'搜索引擎'}  
  
  
              ]  
  
  
          }  
  
  
      ]  
  
  
  };

可以看到option =后面的大括號里是JSON格式的數(shù)據(jù)，接下來分析一下各項數(shù)據(jù)：

title：標題
text：標題內(nèi)容
subtext：子標題
x：標題位置
tooltip：提示，將鼠標放到餅狀圖上就可以看到提示
legend：圖例
orient：方向
x：圖例位置
data：圖例內(nèi)容
toolbox：工具箱，在餅狀圖右上方橫向排列的圖標
mark：輔助線開關(guān)
dataView：數(shù)據(jù)視圖，點擊可以查看餅狀圖數(shù)據(jù)
magicType：餅圖(pie)切換和漏斗圖(funnel)切換
restore：還原
saveAsImage：保存為圖片
calculable：暫時不知道它有什么用
series：主要數(shù)據(jù)
data：呈現(xiàn)的數(shù)據(jù)

其它類型的圖數(shù)據(jù)格式類似，后面不再詳細分析。只需要修改data、legend->data、series->data即可，修改后的數(shù)據(jù)為：

 
 
 
  
  
  option = {  
  
  
      title : {  
  
  
          text: '微信好友性別比例',  
  
  
          subtext: '真實數(shù)據(jù)',  
  
  
          x:'center'  
  
  
      },  
  
  
      tooltip : {  
  
  
          trigger: 'item',  
  
  
          formatter: "{a} 
 : {c} (vbb75nf%)"  
  
  
      },  
  
  
      legend: {  
  
  
          orient : 'vertical',  
  
  
          x : 'left',  
  
  
          data:['男性','女性']  
  
  
      },  
  
  
      toolbox: {  
  
  
          show : true,  
  
  
          feature : {  
  
  
              mark : {show: true},  
  
  
              dataView : {show: true, readOnly: false},  
  
  
              magicType : {  
  
  
                  show: true,  
  
  
                  type: ['pie', 'funnel'],  
  
  
                  option: {  
  
  
                      funnel: {  
  
  
                          x: '25%',  
  
  
                          width: '50%',  
  
  
                          funnelAlign: 'left',  
  
  
                          max: 1548  
  
  
                      }  
  
  
                  }  
  
  
              },  
  
  
              restore : {show: true},  
  
  
              saveAsImage : {show: true}  
  
  
          }  
  
  
      },  
  
  
      calculable : true,  
  
  
      series : [  
  
  
          {  
  
  
              name:'訪問來源',  
  
  
              type:'pie',  
  
  
              radius : '55%',  
  
  
              center: ['50%', '60%'],  
  
  
              data:[  
  
  
                  {value:255, name:'男性'},  
  
  
                  {value:104, name:'女性'}  
  
  
              ]  
  
  
          }  
  
  
      ]  
  
  
  };

數(shù)據(jù)修改完成后，點擊頁面中綠色的刷新按鈕，可以得到餅圖如下（可以根據(jù)自己的喜好修改主題）：

▲好友性別比例

將鼠標放到餅圖上可以看到詳細數(shù)據(jù)：

▲好友性別比例查看數(shù)據(jù)

03 微信好友全國分布圖

1. 數(shù)據(jù)統(tǒng)計

 
 
 
  
  
  # 使用一個字典統(tǒng)計各省好友數(shù)量  
  
  
  province_dict = {'北京': 0, '上海': 0, '天津': 0, '重慶': 0,  
  
  
      '河北': 0, '山西': 0, '吉林': 0, '遼寧': 0, '黑龍江': 0,  
  
  
      '陜西': 0, '甘肅': 0, '青海': 0, '山東': 0, '福建': 0,  
  
  
      '浙江': 0, '臺灣': 0, '河南': 0, '湖北': 0, '湖南': 0,  
  
  
      '江西': 0, '江蘇': 0, '安徽': 0, '廣東': 0, '海南': 0,  
  
  
      '四川': 0, '貴州': 0, '云南': 0,  
  
  
      '內(nèi)蒙古': 0, '新疆': 0, '寧夏': 0, '廣西': 0, '西藏': 0,  
  
  
      '香港': 0, '澳門': 0}  
  
  
   
  
  
  # 統(tǒng)計省份  
  
  
  for friend in my_friends:  
  
  
      if friend.province in province_dict.keys():  
  
  
          province_dict[friend.province] += 1  
  
  
   
  
  
  # 為了方便數(shù)據(jù)的呈現(xiàn)，生成JSON Array格式數(shù)據(jù)  
  
  
  data = []  
  
  
  for key, value in province_dict.items():  
  
  
      data.append({'name': key, 'value': value})  
  
  
   
  
  
  print(data)

以下為輸出結(jié)果：

 
 
 
  
  
  [{'name': '北京', 'value': 91}, {'name': '上海', 'value': 12}, {'name': '天津', 'value': 15}, {'name': '重慶', 'value': 1}, {'name': '河北', 'value': 53}, {'name': '山西', 'value': 2}, {'name': '吉林', 'value': 1}, {'name': '遼寧', 'value': 1}, {'name': '黑龍江', 'value': 2}, {'name': '陜西', 'value': 3}, {'name': '甘肅', 'value': 0}, {'name': '青海', 'value': 0}, {'name': '山東', 'value': 7}, {'name': '福建', 'value': 3}, {'name': '浙江', 'value': 4}, {'name': '臺灣', 'value': 0}, {'name': '河南', 'value': 1}, {'name': '湖北', 'value': 4}, {'name': '湖南', 'value': 4}, {'name': '江西', 'value': 4}, {'name': '江蘇', 'value': 9}, {'name': '安徽', 'value': 2}, {'name': '廣東', 'value': 63}, {'name': '海南', 'value': 0}, {'name': '四川', 'value': 2}, {'name': '貴州', 'value': 0}, {'name': '云南', 'value': 1}, {'name': '內(nèi)蒙古', 'value': 0}, {'name': '新疆', 'value': 2}, {'name': '寧夏', 'value': 0}, {'name': '廣西', 'value': 1}, {'name': '西藏', 'value': 0}, {'name': '香港', 'value': 0}, {'name': '澳門', 'value': 0}]

可以看出，好友最多的省份為北京。那么問題來了：為什么要把數(shù)據(jù)重組成這種格式？因為ECharts的地圖需要這種格式的數(shù)據(jù)。

2. 數(shù)據(jù)呈現(xiàn)

采用ECharts地圖來進行好友分布的數(shù)據(jù)呈現(xiàn)。打開該網(wǎng)址，將左側(cè)數(shù)據(jù)修改為：

 
 
 
  
  
  option = {  
  
  
      title : {  
  
  
          text: '微信好友全國分布圖',  
  
  
          subtext: '真實數(shù)據(jù)',  
  
  
          x:'center'  
  
  
      },  
  
  
      tooltip : {  
  
  
          trigger: 'item' 
  
  
       },  
  
  
      legend: {  
  
  
          orient: 'vertical',  
  
  
          x:'left',  
  
  
          data:['好友數(shù)量']  
  
  
      },  
  
  
      dataRange: {  
  
  
          min: 0,  
  
  
          max: 100,  
  
  
          x: 'left',  
  
  
          y: 'bottom',  
  
  
          text:['高','低'],          // 文本，默認為數(shù)值文本  
  
  
          calculable : true  
  
  
      },  
  
  
      toolbox: {  
  
  
          show: true,  
  
  
          orient : 'vertical',  
  
  
          x: 'right',  
  
  
          y: 'center',  
  
  
          feature : {  
  
  
              mark : {show: true},  
  
  
              dataView : {show: true, readOnly: false},  
  
  
              restore : {show: true},  
  
  
              saveAsImage : {show: true}  
  
  
          }  
  
  
      },  
  
  
      roamController: { 
  
  
          show: true,  
  
  
          x: 'right',  
  
  
          mapTypeControl: {  
  
  
              'china': true  
  
  
          }  
  
  
      }, 
  
  
   
  
  
      series : [  
  
  
          { 
  
  
   
  
  
              name: '好友數(shù)量',  
  
  
              type: 'map',  
  
  
              mapType: 'china',  
  
  
              roam: false,  
  
  
              itemStyle:{  
  
  
                  normal:{label:{show:true}},  
  
  
                  emphasis:{label:{show:true}}  
  
  
              },  
  
  
              data:[  
  
  
                {'name': '北京', 'value': 91},  
  
  
                {'name': '上海', 'value': 12},  
  
  
                {'name': '天津', 'value': 15},   
  
  
                {'name': '重慶', 'value': 1},   
  
  
                {'name': '河北', 'value': 53},  
  
  
                {'name': '山西', 'value': 2},   
  
  
                {'name': '吉林', 'value': 1},  
  
  
                {'name': '遼寧', 'value': 1},   
  
  
                {'name': '黑龍江', 'value': 2}, 
  
  
                {'name': '陜西', 'value': 3},  
  
  
                {'name': '甘肅', 'value': 0},  
  
  
                {'name': '青海', 'value': 0},   
  
  
                {'name': '山東', 'value': 7},  
  
  
                {'name': '福建', 'value': 3},   
  
  
                {'name': '浙江', 'value': 4},  
  
  
                {'name': '臺灣', 'value': 0},  
  
  
                {'name': '河南', 'value': 1},  
  
  
                {'name': '湖北', 'value': 4},   
  
  
                {'name': '湖南', 'value': 4},  
  
  
                {'name': '江西', 'value': 4},  
  
  
                {'name': '江蘇', 'value': 9},  
  
  
                {'name': '安徽', 'value': 2},  
  
  
                {'name': '廣東', 'value': 63},   
  
  
                {'name': '海南', 'value': 0},  
  
  
                {'name': '四川', 'value': 2},  
  
  
                {'name': '貴州', 'value': 0},   
  
  
                {'name': '云南', 'value': 1},  
  
  
                {'name': '內(nèi)蒙古', 'value': 0},  
  
  
                {'name': '新疆', 'value': 2},   
  
  
                {'name': '寧夏', 'value': 0},  
  
  
                {'name': '廣西', 'value': 1}, 
  
  
                {'name': '西藏', 'value': 0},  
  
  
                {'name': '香港', 'value': 0},  
  
  
                {'name': '澳門', 'value': 0}  
  
  
              ]  
  
  
          }  
  
  
      ]  
  
  
  };

注意兩點：

dataRange->max 根據(jù)統(tǒng)計數(shù)據(jù)適當調(diào)整
series->data 的數(shù)據(jù)格式

點擊刷新按鈕后，可以生成如下地圖：

▲好友全國分布圖

從圖中可以看出我的好友主要分布在北京、河北和廣東。

有趣的是，地圖左邊有一個滑塊，代表地圖數(shù)據(jù)的范圍，我們將上邊的滑塊拉到最下面可以看到?jīng)]有微信好友分布的省份：

▲沒有微信好友的省份

按照這個思路，我們可以在地圖上看到確切數(shù)量好友分布的省份，讀者可以動手試試。

04 好友簽名統(tǒng)計

1. 數(shù)據(jù)統(tǒng)計

 
 
 
  
  
  def write_txt_file(path, txt):  
  
  
      '''  
  
  
      寫入txt文本  
  
  
      '''  
  
  
      with open(path, 'a', encoding='gb18030', newline='') as f:  
  
  
          f.write(txt)      
  
  
   
  
  
  # 統(tǒng)計簽名  
  
  
  for friend in my_friends:  
  
  
      # 對數(shù)據(jù)進行清洗，將標點符號等對詞頻統(tǒng)計造成影響的因素剔除  
  
  
      pattern = re.compile(r'[一-龥]+')  
  
  
      filterdata = re.findall(pattern, friend.signature)  
  
  
      write_txt_file('signatures.txt', ''.join(filterdata))

上面代碼實現(xiàn)了對好友簽名進行清洗以及保存的功能，執(zhí)行完成之后會在當前目錄生成signatures.txt文件。

2. 數(shù)據(jù)呈現(xiàn)

數(shù)據(jù)呈現(xiàn)采用詞頻統(tǒng)計和詞云展示，通過詞頻可以了解到微信好友的生活態(tài)度。

詞頻統(tǒng)計用到了 jieba、numpy、pandas、scipy、wordcloud庫。如果電腦上沒有這幾個庫，執(zhí)行安裝指令：

pip install jieba
pip install pandas
pip install numpy
pip install scipy
pip install wordcloud

2.1 讀取txt文件

前面已經(jīng)將好友簽名保存到txt文件里了，現(xiàn)在我們將其讀出：

 
 
 
  
  
  def read_txt_file(path):  
  
  
      '''  
  
  
      讀取txt文本  
  
  
      '''  
  
  
      with open(path, 'r', encoding='gb18030', newline='') as f:  
  
  
          return f.read()

2.2 stop word

下面引入一個概念：stop word，在網(wǎng)站里面存在大量的常用詞比如：“在”、“里面”、“也”、“的”、“它”、“為”這些詞都是停止詞。這些詞因為使用頻率過高，幾乎每個網(wǎng)頁上都存在，所以搜索引擎開發(fā)人員都將這一類詞語全部忽略掉。如果我們的網(wǎng)站上存在大量這樣的詞語，那么相當于浪費了很多資源。

在百度搜索stopwords.txt進行下載，放到py文件同級目錄。

 
 
 
  
  
  content = read_txt_file(txt_filename)  
  
  
  segment = jieba.lcut(content)  
  
  
  words_df=pd.DataFrame({'segment':segment})  
  
  
   
  
  
  stopwords=pd.read_csv("stopwords.txt",index_col=False,quoting=3,sep=" ",names=['stopword'],encoding='utf-8')  
  
  
  words_df=words_df[~words_df.segment.isin(stopwords.stopword)]

2.3 詞頻統(tǒng)計

重頭戲來了，詞頻統(tǒng)計使用numpy：

 
 
 
  
  
  import numpy  
  
  
  words_stat = words_df.groupby(by=['segment'])['segment'].agg({"計數(shù)":numpy.size})  
  
  
      words_stat = words_stat.reset_index().sort_values(by=["計數(shù)"],ascending=False)

2.4 詞頻可視化：詞云

詞頻統(tǒng)計雖然出來了，可以看出排名，但是不***，接下來我們將它可視化。使用到wordcloud庫，詳細介紹見 github 。

 
 
 
  
  
  from scipy.misc import imread  
  
  
  from wordcloud import WordCloud, ImageColorGenerator  
  
  
   
  
  
   
  
  
  # 設(shè)置詞云屬性  
  
  
  color_mask = imread('background.jfif')  
  
  
  wordcloud = WordCloud(font_path="simhei.ttf",   # 設(shè)置字體可以顯示中文  
  
  
                  background_color="white",       # 背景顏色  
  
  
                  max_words=100,                  # 詞云顯示的***詞數(shù)  
  
  
                  mask=color_mask,                # 設(shè)置背景圖片  
  
  
                  max_font_size=100,              # 字體***值  
  
  
                  random_state=42,  
  
  
                  width=1000, height=860, margin=2,# 設(shè)置圖片默認的大小,但是如果使用背景圖片的話,                                                   # 那么保存的圖片大小將會按照其大小保存,margin為詞語邊緣距離 
  
  
                  )  
  
  
   
  
  
   
  
  
  # 生成詞云, 可以用generate輸入全部文本,也可以我們計算好詞頻后使用generate_from_frequencies函數(shù)  
  
  
  word_frequence = {x[0]:x[1]for x in words_stat.head(100).values}  
  
  
  print(word_frequence)  
  
  
  word_frequence_dict = {}  
  
  
  for key in word_frequence:  
  
  
      word_frequence_dict[key] = word_frequence[key]  
  
  
   
  
  
  wordcloud.generate_from_frequencies(word_frequence_dict)  
  
  
  # 從背景圖片生成顏色值    
  
  
  image_colors = ImageColorGenerator(color_mask) 
  
  
  # 重新上色  
  
  
  wordcloud.recolor(color_func=image_colors)  
  
  
  # 保存圖片  
  
  
  wordcloud.to_file('output.png')  
  
  
  plt.imshow(wordcloud)  
  
  
  plt.axis("off")  
  
  
  plt.show()

運行效果圖如下（左圖為背景圖，右圖為生成詞云圖片）：

▲背景圖和詞云圖對比

從詞云圖可以分析好友特點：

做--------------------行動派
人生、生活--------熱愛生活
快樂-----------------樂觀
選擇-----------------決斷
專業(yè)-----------------專業(yè)
愛--------------------愛

05 總結(jié)

至此，微信好友的分析工作已經(jīng)完成，wxpy的功能還有很多，比如聊天、查看公眾號信息等，有意的讀者請自行查閱官方文檔。

06 完整代碼

上面的代碼比較松散，下面展示的完整代碼我將各功能模塊封裝成函數(shù)：

 
 
 
  
  
  #-*- coding: utf-8 -*-  
  
  
  import re  
  
  
  from wxpy import *  
  
  
  import jieba  
  
  
  import numpy  
  
  
  import pandas as pd  
  
  
  import matplotlib.pyplot as plt  
  
  
  from scipy.misc import imread  
  
  
  from wordcloud import WordCloud, ImageColorGenerator  
  
  
   
  
  
  def write_txt_file(path, txt):  
  
  
      '''  
  
  
      寫入txt文本  
  
  
      '''  
  
  
      with open(path, 'a', encoding='gb18030', newline='') as f:  
  
  
          f.write(txt) 
  
  
   
  
  
  def read_txt_file(path):  
  
  
      '''  
  
  
      讀取txt文本  
  
  
      '''  
  
  
      with open(path, 'r', encoding='gb18030', newline='') as f:  
  
  
          return f.read()  
  
  
   
  
  
  def login():  
  
  
      # 初始化機器人，掃碼登陸  
  
  
      bot = Bot()   
  
  
   
  
  
                                                  

                                                網(wǎng)頁標題：用Python爬了自己的微信好友，原來他們是這樣的人……                                                

                                                文章轉(zhuǎn)載：http://fisionsoft.com.cn/article/cojpddh.html

新聞中心

其他資訊