IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> Python知识库 -> 爬虫 -- 爬取王者荣耀所有英雄皮肤图片(多线程) -> 正文阅读

[Python知识库]爬虫 -- 爬取王者荣耀所有英雄皮肤图片(多线程)

代码

# -*- coding: utf-8 -*-
# @Author   : zbz

import re
import json
import os
from concurrent.futures import ThreadPoolExecutor

import requests


class WZRY:
    folder = "英雄皮肤"
    pool = ThreadPoolExecutor(max_workers=20)
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36",
        "referer": "https://pvp.qq.com/"
    }

    def __init__(self):
        if not os.path.exists(self.folder):
            os.mkdir(self.folder)

    def parse(self, url):
        try:
            resp = requests.get(url, headers=self.headers)
            assert resp.status_code == 200
            return resp
        except:
            return None

    def process_hero(self, hero_id, hero_name):
        hero_dir = f"{self.folder}/{hero_name}"
        if not os.path.exists(hero_dir):
            os.mkdir(hero_dir)
        for num in range(1, 16):
            img_path = f"{hero_dir}/{hero_name}-{num}.png"
            img_url = f"https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{hero_id}/{hero_id}-bigskin-{num}.jpg"
            self.pool.submit(self.save_img, img_path, img_url)

    def save_img(self, img_path, img_url):
        resp = self.parse(img_url)
        if resp is None:
            return
        if os.path.exists(img_path):
            print(f"已下载过 ==> {img_path}")
            return
        with open(img_path, "wb") as f:
            f.write(resp.content)
        print(f"成功下载 ==> {img_path}")

    def run(self):
        url = "https://game.gtimg.cn/images/yxzj/web201706/js/heroid.js"
        html = self.parse(url).text
        rule = re.compile('var module_exports = ({.*?})', re.S)
        result = rule.findall(html)[0]
        hero_infos = re.sub("'", '"', result)
        infos = json.loads(hero_infos)
        for hero_id, hero_name in infos.items():
            self.process_hero(hero_id, hero_name)


if __name__ == '__main__':
    WZRY().run()

结果

在这里插入图片描述

  Python知识库 最新文章
Python中String模块
【Python】 14-CVS文件操作
python的panda库读写文件
使用Nordic的nrf52840实现蓝牙DFU过程
【Python学习记录】numpy数组用法整理
Python学习笔记
python字符串和列表
python如何从txt文件中解析出有效的数据
Python编程从入门到实践自学/3.1-3.2
python变量
上一篇文章      下一篇文章      查看所有文章
加:2022-02-22 20:32:43  更:2022-02-22 20:34:40 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/16 0:31:57-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码