[Python知识库]爬取虎牙小姐姐照片

概述

最近几年由于网络直播的兴起，直播行业也是越来越火，一些老宅男也是比较喜欢看小姐姐，然而许多人却会碰到直播界面图片不会保存的问题，那么接下来我将用十几行代码告诉你如何拿到大量美女图片，拿去做手机壁纸。

开发工具

python 3.5以上 或者pycharm

相关模块

requests模块(爬虫模块) —pip install requests
re（正则表达式模块，用于字符串匹配）
os (操作系统功能模块)

步骤

进入虎牙官网，点击分类中的颜值，就进入当前目标区了

右键检查在元素中即可定位到图片连接，即是我们的目标，这里我们可以看到
src属性所包含的图片链接的问号后有参数，在程序中处理掉即可拿到高清大图

代码

import requests
import re
import os
#在当前目录建一个名为虎牙美女图片的文件夹
if not os.path.exists('./虎牙美女图片'):
    os.mkdir('./虎牙美女图片')
url = 'https://www.huya.com/g/2168'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36 Edg/88.0.705.74'
}
page_text = requests.get(url=url,headers=headers).text
#匹配出图片链接
ex = '<img class="pic" data-original="(.*?)" src=".*?</div>'
img_list = re.findall(ex,page_text,re.S)
#print(img_list)
for one in img_list:
    #去掉？后的参数，将图片转换为大图
    new_url = one.split('?')[0]
    img_data = requests.get(url=new_url,headers=headers).content
    img_name = new_url.split('_')[-1]
    #print(img_name)
    img_path = './虎牙美女图片/'+img_name
    with open(img_path,'wb') as fp:
        fp.write(img_data)
        print(img_name,'下载完成！')

结语

在这篇文章中采用的是从网页源代码中获取图片链接，并且未做分页处理
要想分页获取更多图片，在这里小编提供两种方法，感兴趣的可以自己去试试：
法一：利用selenium模块，获取当前网页源代码，提取图片链接，然后执行点击下一页，继续提取图片链接，直到下一页不能点击。
法二：继续用requests模块，我们发现点击下一页产生的数据是由ajax产生的，网页url并未变化，通过在network的xhr中抓包，我们在其中的一条数据中可以找到点击下一页而产生的图片链接，并且请求的字符串参数中有num参数控制页数，通过这个可以写一个控制下载页数的爬虫。
好了，方法都已经告诉你们了，欢迎尝试与挑战！！！有不会的可以在评论区或者私信问我，小编会一一解答。
最后，喜欢不妨三连哦~~~