先看看我爬的👇👇👇这里我只爬了2022张,祝大家新年快乐!
接下来我们进行操作,非常简单,讲解的非常详细,如果有帮助还请留下脚印~~
首先第一步当然是导包啦,os呢,是为了建个文件夹,方便存储爬取的图片。
# 导包
import requests
from lxml import etree
import os
然后然后,壁纸们我来了,点这去看看壁纸
这里我爬取的是彼岸图网中的4k图片。写上url、headers,然后对页面发起一个get请求,获取页面数据。
url = 'https://pic.netbian.com/4kmeinv/index.html'
headers = {
'User-Agent': '请换上你自己的'
}
respones = requests.get(url=url, headers=headers)
page_text = respones.text
然后我们开始对页面进行解析,依旧是使用浏览器的开发者工具,定位标签,寻找图片所在的地址。来看看页面结构:(原本那张图不过审~)
div→ul 下全是li标签,每张图片都是在li标签里面,然后li标签下有a标签,而a标签下的img就有我们需要获取的src的属性值(图片链接)和alt属性值(图片名字)。接下来我们看看代码:
# 解析src的属性值 和 alt属性值
tree = etree.HTML(page_text)
li_list = tree.xpath('//div[@class="slist"]/ul/li') # 定位到li标签
for li in li_list:
img_src = 'https://pic.netbian.com' + li.xpath('./a/img/@src')[0] # 获取图片链接
img_name = li.xpath('./a/img/@alt')[0] + '.jpg' # 获取图片名字,以jpg为后缀,后面为图片文件命名
关于选取节点,这里列一个表格方便大家学习:(表格来源w3c)
表达式 | 描述 | nodename | 选取此节点的所有子节点。 | / | 从根节点选取。 | // | 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。 | . | 选取当前节点。 | .. | 选取当前节点的父节点。 | @ | 选取属性。 |
注意:这里src中的链接是不完整的,需要我们进行拼接,这样才能够访问到图片。
现在我们已经获取到了图片的链接和名字,有链接就可以继续对图片发起请求继而进行持久化存储。这里我写两行命令创建一个文件夹方便存储爬取的图片,代码如下:
# 创建文件夹
if not os.path.exists('./picLibs'):
os.mkdir('./picLibs')
# 请求图片进行持久化存储
img_data = requests.get(url=img_src, headers=headers).content
img_path = 'picLibs/' + img_name
with open(img_path, 'wb') as fp:
fp.write(img_data)
print(img_name, '下载成功')
写到这就差不多完成了,但是呢,你可能会遇到一个问题,那就是你可能会遇到乱码!
别管为什么,这里给一行通用代码:
# 通用处理中文乱码的解决方案
img_name = img_name.encode('iso-8859-1').decode('gbk')
还有还有,一页的图片都可以爬取了(我数了下,一页有20张),那我那2022张怎么来的,放心,图片是没有重复的。这很简单,分页爬取就行了,可以加一个for循环。在这里我就不展开讲解了,如果有需要的小伙伴可以留言,我有空可以补上。
最后最后看这里👇👇👇
|