[Python知识库]使用xpath进行简单的爬虫练习

xpath 解析原理

# 1. 实例化一个 etree 的对象，且需要将被解析的页面源码数据加载到该对象中
# 2. 调用etree对象中的xpath方法，结合xpath的表达式，实现标签的定位和内容的捕获

环境安装

# pip install lxml

如何实例化一个 etree 对象

# 1. 将本地的html文档中的源码数据加载到 etree 对象中
    # etree.parse(filepath)
# 2. 可以从互联网上获取的源码数据，加载到该对象中
    # etree.HTML('page_text')
# xpath('xpath表达式):
    # / : 表示从根节点定位
    # // 表示多个层级
    # // 属性定位： //div[@class='share-body']
    # // 索引定位 //div[@class='share-body']/p[3] 索引是从1开始的
    # 取文本：
        # /text() 获取标签中直系的文本内容 
        # //text() 标签中非直系的文本内容（所有的文本内容）
    # 取属性：
        # /@attrname /img/@src
        # /@attrname /img/@alt

import requests
from lxml import etree
import os

cur_path = os.path.dirname(os.path.abspath(__name__))
img_dir = os.path.join(cur_path, 'images')
os.makedirs(img_dir, exist_ok=True)

def main():
    url = 'https://pic.netbian.com/4kmeinv/'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
    }
    
    t = requests.get(url=url, headers=headers).text
    tree = etree.HTML(t)
    # 解析 src 及 alt 的属性值
    li_list = tree.xpath('//div[@class="slist"]/ul/li')
    for li in li_list:
        img_src = 'https://pic.netbian.com' + li.xpath('.//img/@src')[0]
        img_name = li.xpath('.//img/@alt')[0] + '.jpg'
        # 一般爬虫中处理中文乱码的问题
        img_name = img_name.encode('iso-8859-1').decode('gbk')

        print(img_src)
        print(img_name)
        
        # 请求图片
        img_data = requests.get(url=img_src, headers=headers).content
        img_path = os.path.join(img_dir, img_name)
        with open(img_path, 'wb') as fp:
            fp.write(img_data)
            print(img_name, '下载成功！！！')


if __name__ == '__main__':
    main()