IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> Python知识库 -> Python爬虫之xpath解析爬取4kMM图片 -> 正文阅读

[Python知识库]Python爬虫之xpath解析爬取4kMM图片

先看看我爬的👇👇👇这里我只爬了2022张,祝大家新年快乐!

接下来我们进行操作,非常简单,讲解的非常详细,如果有帮助还请留下脚印~~

首先第一步当然是导包啦,os呢,是为了建个文件夹,方便存储爬取的图片。

# 导包
import requests
from lxml import etree
import os

然后然后,壁纸们我来了,点这去看看壁纸

这里我爬取的是彼岸图网中的4k图片。写上url、headers,然后对页面发起一个get请求,获取页面数据。

url = 'https://pic.netbian.com/4kmeinv/index.html'
headers = {
    'User-Agent': '请换上你自己的'
}

respones = requests.get(url=url, headers=headers)
page_text = respones.text

然后我们开始对页面进行解析,依旧是使用浏览器的开发者工具,定位标签,寻找图片所在的地址。来看看页面结构:(原本那张图不过审~)

div→ul 下全是li标签,每张图片都是在li标签里面,然后li标签下有a标签,而a标签下的img就有我们需要获取的src的属性值(图片链接)和alt属性值(图片名字)。接下来我们看看代码:

# 解析src的属性值 和 alt属性值
tree = etree.HTML(page_text)
li_list = tree.xpath('//div[@class="slist"]/ul/li')  # 定位到li标签
for li in li_list:
    img_src = 'https://pic.netbian.com' + li.xpath('./a/img/@src')[0]  # 获取图片链接
    img_name = li.xpath('./a/img/@alt')[0] + '.jpg'  # 获取图片名字,以jpg为后缀,后面为图片文件命名

关于选取节点,这里列一个表格方便大家学习:(表格来源w3c)

表达式描述
nodename选取此节点的所有子节点。
/从根节点选取。
//从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。
.选取当前节点。
..选取当前节点的父节点。
@选取属性。

注意:这里src中的链接是不完整的,需要我们进行拼接,这样才能够访问到图片。

现在我们已经获取到了图片的链接和名字,有链接就可以继续对图片发起请求继而进行持久化存储。这里我写两行命令创建一个文件夹方便存储爬取的图片,代码如下:

# 创建文件夹
if not os.path.exists('./picLibs'):
    os.mkdir('./picLibs')

# 请求图片进行持久化存储
img_data = requests.get(url=img_src, headers=headers).content

img_path = 'picLibs/' + img_name
with open(img_path, 'wb') as fp:
    fp.write(img_data)
    print(img_name, '下载成功')

写到这就差不多完成了,但是呢,你可能会遇到一个问题,那就是你可能会遇到乱码!

别管为什么,这里给一行通用代码:

# 通用处理中文乱码的解决方案
img_name = img_name.encode('iso-8859-1').decode('gbk')

还有还有,一页的图片都可以爬取了(我数了下,一页有20张),那我那2022张怎么来的,放心,图片是没有重复的。这很简单,分页爬取就行了,可以加一个for循环。在这里我就不展开讲解了,如果有需要的小伙伴可以留言,我有空可以补上。

最后最后看这里👇👇👇

  Python知识库 最新文章
Python中String模块
【Python】 14-CVS文件操作
python的panda库读写文件
使用Nordic的nrf52840实现蓝牙DFU过程
【Python学习记录】numpy数组用法整理
Python学习笔记
python字符串和列表
python如何从txt文件中解析出有效的数据
Python编程从入门到实践自学/3.1-3.2
python变量
上一篇文章      下一篇文章      查看所有文章
加:2022-02-01 20:33:48  更:2022-02-01 20:35:28 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/16 1:15:37-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码