准备:
环境安装:
本文使用python,pycharm软件进行
首先在pycharm里面确保模块已经安装,本次需要使用的模块是requests模块和lxml模块
????????
?
在pycharm里面点击左下角的Terminal,在里面分别输入pip install requests,pip install lxml即可
至此环境搭建完毕!!!接下来直接上代码
import requests
import os
from lxml import etree
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'
}
# 爬取多页
dirName = "GirlsLib"
if not os.path.exists(dirName):
os.mkdir(dirName)
# 定义一个通用的url模板:不可变
url = 'https://pic.netbian.com/4kmeinv/index_%d.html'
for page in range(1,6):
if page == 1:
new_url = 'https://pic.netbian.com/4kmeinv/'
else:
new_url = format(url%page)
response = requests.get(url=new_url,headers=headers)
response.encoding = 'gbk'
page_text = response.text
# 图片名称+图片数据
tree = etree.HTML(page_text)
# 存储的是定位到的指定的li标签
li_list = tree.xpath('//div[@class="slist"]/ul/li')
for li in li_list:
# print(type(li)) # li的数据类型和tree的数据类型一样 li也可以调用xpath方法
title = li.xpath('./a/img/@alt')[0] +'.jpg' # 进行局部数据解析
img_src = 'https://pic.netbian.com' + li.xpath('./a/img/@src')[0]
# print(title,img_src)
img_data = requests.get(url=img_src,headers=headers).content
imgpath = dirName + '/' + title
with open(imgpath,'wb')as fp:
fp.write(img_data)
print(title,'保存成功!!!')
根据你pycharm存放的路劲在自己的计算机找到存储的地方,找到GirlsLib即可,效果如下只是爬取其中美女那一部分的前六页,有兴趣可以对代码进行改写爬取另外的分类图片,爬多少页都可以自己制定,就是这么简单!!!赶快学起来,再也不用一个个点着下载了!!!
效果:
后续更多内容请多关注~~~~
?
|