建站
咨詢
售后
建站咨詢
新聞中心
本篇文章給大家?guī)砹岁P于python的相關知識，其中主要介紹了requests模塊的相關問題，Requests模塊是一個用于網絡請求的模塊，主要用來模擬瀏覽器發(fā)請求，希望對大家有幫助。
推薦學習：python學習教程
Requests模塊是一個用于網絡請求的模塊，主要用來模擬瀏覽器發(fā)請求。其實類似的模塊有很多，比如urllib，urllib2，httplib，httplib2，他們基本都提供相似的功能。但是這些模塊都復雜而且差不多過時了，requests模塊簡單強大高效，使得其在眾多網絡請求模塊中脫引而出。
環(huán)境安裝：pip install requests
使用流程：
- 指定url
- 基于requests模塊發(fā)送請求
- 獲取響應對象中的數據值
- 持久化存儲（不是必須的）
案例：爬取百度首頁的數據
#1. 導包
import requests
#2. 指定url
url = "https://www.baidu.com"
#3. 使用GET方法發(fā)送請求，該方法會返回一個響應對象
response = requests.get(url=url)
#4. 獲取響應數據
print(response.status_code) # 打印狀態(tài)碼
print(response.url) # 打印請求url
print(response.headers) # 打印響應頭頭信息
print(response.text) #以文本形式打印網頁源碼
#保存數據
response.encoding = 'utf-8' #指定編碼格式，不然打開亂碼
text = response.text
with open('./2.html','w',encoding='utf-8') as f:
f.write(text)
解決requests請求的數據中文亂碼問題——》requests請求返回內容 中文亂碼問題
requests請求方法
上面的案例requests發(fā)送了一個GET請求方法，除此之外還有其他的請求方法。最常用的就是GET和POST方法。
且在指定方法發(fā)送請求的時候，有時候還需要在請求方法括號中requests.get(url=url, xx = xx)指定一些參數，如下。先了解一下
|
方法 |
參數名字 |
|
HTTP頭部 |
headers |
|
GET參數 |
params |
|
POST參數 |
data |
|
文件 |
files |
|
Cookies |
cookies |
|
重定向處理 |
allow_ redirects = False/True |
|
超時 |
timeout |
|
證書驗證 |
verify = False/True |
|
工作流(延遲下載) |
stream=False/ True |
|
事件掛鉤 |
hooks=dict(response=) |
|
身份驗證 |
auth= |
|
代理 |
proxies= |
requests響應對象屬性
在上面爬取百度首頁時，response = requests.get(url=url)其返回的是一個響應對象，而如果我們想要獲取具體的數據比如響應碼或者網頁源碼時，就需要通過指定響應對象的屬性進行獲取。如response.status_code獲取響應碼
網站標題：實例詳解python之requests模塊
文章轉載：http://fisionsoft.com.cn/article/dhdjpgo.html
