[Python知识库]Python爬虫从入门到精通:（10）数据解析_什么时候最好使用bs4？xpath如何更加具有通用性？_Python涛哥

什么时候最好使用bs4

如果需求是要求解析出携带html标签的局部数据，例如<li> <p> <div>

这样带有标签符号的html文本，那就使用bs4解析。

使用bs4, bs4在实现标签定位的时候返回的直接就是定位到标签对应的字符串数据

xpath如何更加具有通用性？

xpath表达式中使用管道符分割的作用，可以表示管道符左右两侧的子xpath表达式同时生效或者一个生效

例子：将https://www.aqistudy.cn/historydata/ 所有的 城市名称解析出来

from lxml import etree
import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36'
}

url = 'https://www.aqistudy.cn/historydata/'

page_text = requests.get(url=url, headers=headers)
tree = etree.HTML(page_text.text)

正常解析写法：

# 热门城市
hot_cities = tree.xpath('//div[@class="bottom"]/ul/li/a/text()')

# 全部城市
all_cities = tree.xpath('//div[@class="bottom"]/ul/div[2]/li/a/text()')

管道符解析写法:

# 热门+全部城市
cities=tree.xpath('//div[@class="bottom"]/ul/li/a/text() | //div[@class="bottom"]/ul/div[2]/li/a/text()')