建站
咨詢
售后
建站咨詢
新聞中心
有些朋友在工作中會(huì)有這樣的困惑：明明我從早忙到晚，為什么得到的評(píng)價(jià)還不高?
創(chuàng)新互聯(lián)建站基于成都重慶香港及美國(guó)等地區(qū)分布式IDC機(jī)房數(shù)據(jù)中心構(gòu)建的電信大帶寬，聯(lián)通大帶寬，移動(dòng)大帶寬，多線BGP大帶寬租用,是為眾多客戶提供專(zhuān)業(yè)成都西云數(shù)據(jù)中心報(bào)價(jià)，主機(jī)托管價(jià)格性價(jià)比高，為金融證券行業(yè)服務(wù)器托管，ai人工智能服務(wù)器托管提供bgp線路100M獨(dú)享，G口帶寬及機(jī)柜租用的專(zhuān)業(yè)成都idc公司。
要知道，企業(yè)對(duì)一個(gè)員工的評(píng)價(jià)是出于“產(chǎn)出”而非“付出”。所以，如果把大量時(shí)間花在機(jī)械重復(fù)的工作上，不但工作效率不高，對(duì)個(gè)人發(fā)展來(lái)說(shuō)也無(wú)甚幫助。
而這些工作，如果對(duì)于會(huì)點(diǎn)編程的人來(lái)說(shuō)，往往通過(guò)幾行代碼就可以快速搞定了。
于是，我去了解了一下身邊不同崗位(HR、產(chǎn)品、運(yùn)營(yíng)、市場(chǎng)、數(shù)據(jù)分析師等)每天需要面對(duì)的重復(fù)性勞動(dòng)(肯定會(huì)有不全，歡迎補(bǔ)充~)，總結(jié)了一些在工作中非常常見(jiàn)的例子，并且將源碼整理好供參考。希望這些程序可以讓你的工作更高效!(升職加薪了別忘了回來(lái)發(fā)紅包哦~)
那么如何將這些統(tǒng)統(tǒng)實(shí)現(xiàn)呢?
我將這些分為以下幾類(lèi)，大家可以自行評(píng)估，各取所需：
系統(tǒng)錄入自動(dòng)化
由于你經(jīng)常需要不斷的將一些信息錄入系統(tǒng)，每一次錄入的過(guò)程中你可能需要不斷的點(diǎn)擊一些按鈕，面對(duì)這種情況，完全可以寫(xiě)一個(gè)自動(dòng)腳本，每次代替你來(lái)執(zhí)行這些點(diǎn)擊的行為。
這里我們需要用到splinter：
- pip install splinter
這里寫(xiě)了一個(gè)自動(dòng)登錄郵箱的腳本，可以實(shí)現(xiàn)文本輸入和網(wǎng)頁(yè)點(diǎn)擊：
- #coding=utf-8
- import time
- from splinter import Browser
- def splinter(url):
- browser = Browser()
- #login 126 email websize
- browser.visit(url)
- #wait web element loading
- time.sleep(5)
- #fill in account and password
- browser.find_by_id('idInput').fill('xxxxxx')
- browser.find_by_id('pwdInput').fill('xxxxx')
- #click the button of login
- browser.find_by_id('loginBtn').click()
- time.sleep(8)
- #close the window of brower
- browser.quit()
- if __name__ == '__main__':
- websize = 'https://mail.163.com/'
- splinter(websize)
同理可以寫(xiě)一個(gè)簡(jiǎn)單的游戲掛機(jī)腳本，游戲掛機(jī)腳本，無(wú)非就是自動(dòng)移動(dòng)鼠標(biāo)，自動(dòng)點(diǎn)擊，進(jìn)行重復(fù)操作，所以，第一步就是如何控制鼠標(biāo)。
- import win32api
- import time
- def move_click(x, y, t=0): # 移動(dòng)鼠標(biāo)并點(diǎn)擊左鍵
- win32api.SetCursorPos((x, y)) # 設(shè)置鼠標(biāo)位置(x, y)
- win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN |
- win32con.MOUSEEVENTF_LEFTUP, x, y, 0, 0) # 點(diǎn)擊鼠標(biāo)左鍵
- if t == 0:
- time.sleep(random.random()*2+1) # sleep一下
- else:
- time.sleep(t)
- return 0
- # 測(cè)試
- move_click(30, 30)
- def resolution(): # 獲取屏幕分辨率
- return win32api.GetSystemMetrics(0), win32api.GetSystemMetrics(1)
值得注意的是，一定要在管理員權(quán)限下的cmd中運(yùn)行，否則點(diǎn)擊無(wú)效。
這個(gè)時(shí)候，你已經(jīng)可以寫(xiě)個(gè)循環(huán)，不停地點(diǎn)擊屏幕上不同的幾個(gè)點(diǎn)，最基礎(chǔ)的掛機(jī)腳本就實(shí)現(xiàn)了。
Excel自動(dòng)化處理
Excel合并
在實(shí)際應(yīng)用中可能會(huì)有不同月份的數(shù)據(jù)或者不同周的報(bào)告等等的Excel數(shù)據(jù)，都是單個(gè)獨(dú)立的文件，如果想要整體使用的話就需要合并一下，那么如何利用python把指定目錄下的所有Excel數(shù)據(jù)合并成一個(gè)文件呢?
思路：利用python xlrd包讀取excle文件，然后將文件內(nèi)容存入一個(gè)列表中，再利用xlsxwriter將內(nèi)容寫(xiě)入到一個(gè)新的excel文件中。
- # -*- coding: utf-8 -*-
- #將多個(gè)Excel文件合并成一個(gè)
- import xlrd
- import xlsxwriter
- #獲取excel中所有的sheet表
- def getsheet(fh):
- return fh.sheets()
- #獲取sheet表的行數(shù)
- def getnrows(fh,sheet):
- table=fh.sheets()[sheet]
- return table.nrows
- #讀取文件內(nèi)容并返回行內(nèi)容
- def getFilect(file,shnum):
- fh=open_xls(file)
- table=fh.sheets()[shnum]
- num=table.nrows
- for row in range(num):
- rdata=table.row_values(row)
- datavalue.append(rdata)
- return datavalue
或者直接用concat+一個(gè)循環(huán)來(lái)實(shí)現(xiàn)：
- for i in var_list:
- df_0 = data[['var_1','var_2','var_3','var_4',i]][data[i]=='信息']
- df_0['month'] = date_replace(i)
- df_0 = df_0[['var_1','var_2','var_3','var_4','var_5']]
- li.append(df_0)
- writer = pd.ExcelWriter(r'C:\Users\mapping.xlsx')
- df = pd.concat(li)
- df.to_excel(writer,'Sheet1',index=False,header = None)
- df
Excel中添加數(shù)據(jù)圖表整理好excel文件后下一步需要做的是處理文件里的數(shù)據(jù)，根據(jù)數(shù)據(jù)來(lái)生成一些自己需要的圖表：
- import xlsxwriter
- #設(shè)置一個(gè)例子
- data = [20, 45, 26, 18, 45]
- #創(chuàng)建表格
- workbook = xlsxwriter.Workbook("temp.xlsx")
- worksheet = workbook.add_worksheet("data")
- #添加數(shù)據(jù)
- worksheet.write_column('A1', data)
- #創(chuàng)建圖表
- chart = workbook.add_chart({'type': 'line'})
- #圖表添加數(shù)據(jù)
- chart.add_series({
- 'values': '=data!$A1:$A6',
- 'name': '圖表名稱(chēng)',
- 'marker': {
- 'type': 'circle',
- 'size': 8,
- 'border': {'color': 'black'},
- 'fill': {'color': 'red'}
- } ,
- 'data_labels': {'values': True},
- 'trendline': {
- 'type': 'polynomial',
- 'order': 2,
- 'name': '趨勢(shì)線',
- 'forward': 0.5,
- 'backward': 0.5,
- 'display_equation':True,
- 'line': {'color': 'red', 'width':1, 'dash_type': 'long_dash'}
- }
- })
- worksheet.insert_chart('c1', chart)
- workbook.close()
實(shí)現(xiàn)效果：
word關(guān)鍵信息提取
假設(shè)你收到1萬(wàn)份簡(jiǎn)歷，你想先根據(jù)學(xué)校做一些篩選，這時(shí)候利用python將大量的簡(jiǎn)歷進(jìn)行信息匯總，只提取關(guān)鍵信息用excel查看起來(lái)更加方便。
docx文件自己本身是壓縮文件，打開(kāi)壓縮包之后竟然發(fā)現(xiàn)里面有個(gè)專(zhuān)門(mén)存儲(chǔ)word里面文本的文件。 那么步驟就變得簡(jiǎn)單了：1. 打開(kāi)docx的壓縮包2. 獲取word里面的正文信息3. 利用正則表達(dá)式匹配出我們想要的信息4. 將信息存儲(chǔ)到txt中(txt可以用excel打開(kāi))5. 批量調(diào)用上述過(guò)程，完成一萬(wàn)份簡(jiǎn)歷的提取工作利用正則匹配獲取關(guān)鍵信息：
- import re
- def get_field_value(text):
- value_list = []
- m = re.findall(r"姓 名(.*?)性 別", table)
- value_list.append(m)
- m = re.findall(r"性 別(.*?)學(xué) 歷", table)
- value_list.append(m)
- m = re.findall(r"民 族(.*?)健康狀況", table)
- value_list.append(m)
- '''
- 此處省略其他字段匹配
- '''
- return value_list
自動(dòng)化運(yùn)營(yíng)監(jiān)控
在平時(shí)的工作中，一定會(huì)有對(duì)運(yùn)營(yíng)情況的監(jiān)控，假設(shè)你管理一家店鋪，那么一些關(guān)鍵指標(biāo)肯定是你需要每天查看到的，比如店鋪訪問(wèn)數(shù)，商品瀏覽數(shù)，下單數(shù)等等，這個(gè)時(shí)候不用每天重復(fù)地去統(tǒng)計(jì)這些數(shù)據(jù)，這需要寫(xiě)一個(gè)自動(dòng)化程序，每天將數(shù)據(jù)保存在固定的文件夾下就可以實(shí)現(xiàn)報(bào)表的實(shí)時(shí)監(jiān)控。
如果你的數(shù)據(jù)來(lái)源是線下文件：
- 利用python操作線下文件將其載入數(shù)據(jù)庫(kù)
- 通過(guò)數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)進(jìn)行處理
- 利用python輸出結(jié)果
- from impala.dbapi import connect
- from impala.util import as_pandas
- import datetime
- conn = connect(host='host',port=21050,auth_mechanism='PLAIN',user='user',password='password')
- #host：數(shù)據(jù)庫(kù)域名
- #user：數(shù)據(jù)庫(kù)用戶名
- #password：數(shù)據(jù)庫(kù)密碼
- df_data = pd.read_excel('temp.xlsx')
- rows =[]
- for index, row in df_data.iterrows():
- rows.append('('+'"'+str(row['case_id']).replace('nan','null')+'"'+','+'"'+str(row['birth_date'])+'"'+')'+',')
- a= '''
- INSERT into table
- (case_id, birth_date)
- values '''
- for i in rows:
- a += i
- a = a[:-1]
- cursor1 = conn.cursor()
- cursor1.execute(a)
- cursor1.close()
- conn.close()
- print('成功導(dǎo)入數(shù)據(jù)至數(shù)據(jù)庫(kù)...')
- del a
- del rows
如果你的數(shù)據(jù)來(lái)源是線上文件(存在數(shù)據(jù)庫(kù))
- 直接利用python鏈接數(shù)據(jù)庫(kù)進(jìn)行一些列的操作
- 導(dǎo)出你所需要的結(jié)果
- import sql #sql是封裝的sql文件
- sql_end = sql.sql_end
- cursor1 = conn.cursor()
- for i in sql_end.split(';'):
- print(i)
- cursor1.execute(i)
- cursor1.close()
- conn.close()
- print('程序運(yùn)行結(jié)束，請(qǐng)執(zhí)行下一步。')
自動(dòng)發(fā)送郵件
使用Python實(shí)現(xiàn)自動(dòng)化郵件發(fā)送，可以讓你擺脫繁瑣的重復(fù)性業(yè)務(wù)，節(jié)省非常多的時(shí)間。數(shù)據(jù)分析師經(jīng)常會(huì)遇到一些取數(shù)需求，有些數(shù)據(jù)需求是每天都需要的，有些數(shù)據(jù)需求是每周一次的。對(duì)于這些周期性的數(shù)據(jù)需求，每次都重復(fù)性地手動(dòng)導(dǎo)出這些數(shù)據(jù)，并回傳給需求方，是很繁瑣且浪費(fèi)時(shí)間的。所以完全可以設(shè)置自動(dòng)郵件來(lái)解決。"Talk is cheap, show you the code"常見(jiàn)的郵件肯定有三部分：1、正文2、圖片3、附件OK導(dǎo)入我們需要用到的包
- from email.mime.text import MIMEText
- from email.mime.multipart import MIMEMultipart
- from email.mime.image import MIMEImage
- import smtplib
- msg = MIMEMultipart()
在郵件中插入正文：
- ##在郵件中插入文本信息
- df_text='''
Hi all ，
這是一個(gè)測(cè)試郵件，詳情請(qǐng)參考附件
情況如下圖：
- '''
- msgtext = MIMEText(df_text, 'html', 'utf-8')
- msg.attach(msgtext)
如果你需要插入圖片，利用同樣的方法，在郵件中插入圖片：
- ##在郵件中插入圖片信息
- image = open('temp.jpg','rb')
- msgimage = MIMEImage(image.read())
- msg.attach(msgimage)
在郵件中插入附件：
- ##在郵件添加附件
- msgfile = MIMEText(open('temp.xlsx', 'rb').read(), 'base64', 'utf-8')
- msgfile["Content-Disposition"] = 'attachment; filename="temp.xlsx"'
- msg.attach(msgfile)
剩下的就是設(shè)置一些郵件參數(shù)來(lái)發(fā)送郵件：
- #設(shè)置郵件信息常量
- email_host= '' # 服務(wù)器地址
- sender = '' # 發(fā)件人
- password ='' # 密碼，如果是授權(quán)碼就填授權(quán)碼
- receiver = '' # 收件人
發(fā)送郵件：
- try:
- smtp = smtplib.SMTP(host=email_host)
- smtp.connect(email_host)
- smtp.starttls()
- smtp.login(sender, password)
- smtp.sendmail(sender, receiver.split(',') , msg.as_string())
- smtp.quit()
- print('發(fā)送成功')
- except Exception:
- print('發(fā)送失敗')
然后將你的任務(wù)設(shè)置定時(shí)執(zhí)行就可以輕松實(shí)現(xiàn)啦
實(shí)現(xiàn)效果：
平時(shí)的工作中，真的有太多可以去自動(dòng)化的任務(wù)，由于經(jīng)驗(yàn)受限這里不能一一舉例說(shuō)明，只能盡量分享一些我遇到過(guò)或者聽(tīng)說(shuō)過(guò)的例子。希望大家都越來(lái)越高效，邊偷懶邊完成工作~
網(wǎng)頁(yè)名稱(chēng)：如何用Python在工作中“偷懶”？
標(biāo)題URL：http://fisionsoft.com.cn/article/cogcddo.html
