Python爬蟲(chóng)指南之XPath實(shí)例解析

專(zhuān)注于為中小企業(yè)提供成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)恩施土家免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了成百上千企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過(guò)網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

什么是XPath?

XPath(XML Path Language)是一種在XML文檔中查找信息的語(yǔ)言，它可以用來(lái)在XML文檔中對(duì)元素和屬性進(jìn)行遍歷，XPath 是一種非常強(qiáng)大的工具，可以用于在 XML 文檔中查找信息，包括但不限于：選取節(jié)點(diǎn)、選取屬性、選取符合條件的節(jié)點(diǎn)等。

XPath的基本語(yǔ)法

XPath 的基本語(yǔ)法包括以下幾部分：

1、節(jié)點(diǎn)選擇：通過(guò)節(jié)點(diǎn)名稱(chēng)來(lái)選取節(jié)點(diǎn)。

2、謂語(yǔ)：用于描述節(jié)點(diǎn)之間的關(guān)系，如“/”、“//”、“.”、“..”等。

3、謂語(yǔ)參數(shù)：表示節(jié)點(diǎn)的屬性或文本內(nèi)容。

4、軸：用于指定節(jié)點(diǎn)的路徑關(guān)系，如“ancestor”、“child”、“descendant”、“following”、“preceding”等。

5、謂語(yǔ)運(yùn)算符：用于對(duì)節(jié)點(diǎn)進(jìn)行篩選，如“[position()]”、“[last()]”、“[1]”等。

XPath的實(shí)際應(yīng)用

下面我們通過(guò)一個(gè)實(shí)際的例子來(lái)演示如何使用 XPath 進(jìn)行網(wǎng)頁(yè)抓取，假設(shè)我們有如下的 HTML 代碼：

  
    
  
  
    

      
歡迎來(lái)到示例網(wǎng)頁(yè)
      

        
示例網(wǎng)站1
        
示例網(wǎng)站2
        
示例網(wǎng)站3
      
    
  

我們想要獲取所有的鏈接，可以使用如下的 XPath 表達(dá)式：

//a/@href

這個(gè)表達(dá)式的意思是：選取所有 標(biāo)簽下的 href 屬性，運(yùn)行上述代碼，我們可以得到如下的結(jié)果：

['https://www.example1.com', 'https://www.example2.com', 'https://www.example3.com']

from lxml import etree
html = '''
這是一個(gè)段落。
'''
root = etree.fromstring(html)
if root.find('p') is not None:
    print("段落存在")
else:
    print("段落不存在")

from lxml import etree
html = '''
這是一個(gè)段落。
這是一個(gè)跨度。
'''
root = etree.fromstring(html)
children = root.find('parent').findall('*')
for child in children:
    print(etree.tostring(child, encoding='utf-8').decode('utf-8'))

from lxml import etree
html = '''
這是一個(gè)段落。
這是一個(gè)跨度。
'''
root = etree.fromstring(html)
element = root.find('parent/p')
for ancestor in element.iterancestors():
    print(etree.tostring(ancestor, encoding='utf-8').decode('utf-8'))