目录
问题:
解决方案:?
LXML的使用:
XPath的使用:
XPath的补充使用:
问题:
?这里是出问题的代码,看一看一样不?
问题代码
from lxml import etree
解决方案:?
解决后代码
from lxml import html
//然后在使用时将etree换为html.etree
LXML的使用:
?说一下具体实例即怎么用
关于lxml:
lxml 是 一个 HTML/XML 的解析器,主要的功能是解析和提取 HTML/XML 数据。lxml 和正则一样,也是用 C 实现的,是一款高性能的 Python HTML/XML 解析器。
XPath的使用:
XPath 是一门在 XML 文档中查找信息的语言,虽然是被设计用来搜寻 XML 文档的,但是它也能应用于 HTML 文档,并且大部分浏览器也支持通过 XPath 来查询节点。在 Python 爬虫开发中,经常使用 XPath 查找提取网页中的信息,因此 XPath 非常重要。
XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是沿着路径(path)或者步(steps)来选取的。接下来介绍如何选取节点,首先了解一下常用的路径表达式,来进行节点的选取,如下表所示:
表达式 | 描述 |
---|
nodename | 选取此节点的所有子节点 | / | 从根节点选取 | // | 选择任意位置的某个节点 | . | 选取当前节点 | .. | 选取当前节点的父节点 | @ | 选取属性 |
使用实例
from lxml import html#解析网页使用=》路径表达式
import requests
url = "https://www.bitpush.news/covid19/"
# 设置请求头信息
headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"
}
# 使用reqeusts模快发起 GET 请求
response = requests.get(url, headers=headers)
# 获取请求的返回结果
html1 = response.text
parse = html.etree.HTMLParser(encoding='utf-8') # 添加编码
# 解析 requests 返回的响应结果
doc = html.etree.HTML(html1)
# 国家
country = doc.xpath('//div[@class="table_container"]//tbody/tr/td/span/text()')
# 确诊人数
person = doc.xpath('//div[@class="table_container"]//tbody/tr/td[2]/text()')
# 由于确诊人数中有逗号,我们使用列表推导式删除
person = [x.replace(",", "") for x in person]
# 死亡人数
death = doc.xpath('//div[@class="table_container"]//tbody/tr/td[3]/text()')
# 同样使用列表推导式删除逗号
death = [x.replace(",", "") for x in death]
message = list(zip(country, person, death))
print(message)
XPath的补充使用:
补充:
XPath路径表达式 | 含义 |
---|
/bookstore/book[1] | 选取属于 bookstore 子元素的第一个 book 元素 | /bookstore/book[last()] | 选取属于 bookstore 子元素的最后一个 book 元素 | /bookstore/book[last()-1] | 选取属于 bookstore 子元素的倒数第二个 book 元素 | /bookstore/book[position()<3] | 选取最前面的两个属于 bookstore 元素的子元素的 book 元素 | //title[@lang] | 选取所有拥有名为 lang 的属性的 title 元素 | //title[@lang='eng'] | 选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性 | //title[@lang='eng' and @class="good"] | 选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性和值为good的class属性 | /bookstore/book[price>35.00] | 选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00 | /bookstore/book[price>35.00]/title | 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00 |
XPath 在进行节点选取的时候可以使用通配符* 匹配未知的元素,同时使用操作符| 一次选取多条路径,使用示例如下表所示。
XPath路径表达式 | 含义 |
---|
/bookstore/* | 选取 bookstore 元素的所有子元素 | //* | 选取文档中的所有元素 | //title[@* ] | 选取所有带有属性的 title 元素 | //book/title 丨 //book/price | 选取 book 元素的所有 title 和 price 元素 | //title 丨 //price | 选取文档中的所有 title 和 price 元素 | /bookstore/book/title 丨 //price | 选取属于 bookstore 元素的 book 元素的所有 title 元素,以及文档中所有的 price 元素 |
|