开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> Python知识库 -> 什么？漫画居然能免费看全本了，这还不学起来一起做省钱小能手 -> 正文阅读

[Python知识库]什么？漫画居然能免费看全本了，这还不学起来一起做省钱小能手

前言

嗨喽，大家好呐，这里是魔王呀~

相信很多人都看过漫画叭，今天我们来看一下这个网站

这个网站，如果你是新用户会给你送15天的vip

在这里插入图片描述

我们领了它，可以把我们想看的漫画通通爬下来，慢慢看~

话不多说，我们直接开始撸代码

本篇代码提供者: 青灯教育-自游老师

环境使用:

Python 3.8
Pycharm

版本尽量保持一致哦~

模块使用:

requests >>> pip install requests
parsel >>> pip install parsel

如果安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
在pycharm中点击Terminal(终端) 输入安装命令

安装失败原因:

失败一: pip 不是内部命令

解决方法: 设置环境变量

失败二: 出现大量报红 (read time out)

解决方法: 因为是网络链接超时, 需要切换镜像源

例如：pip3 install -i https://pypi.doubanio.com/simple/ 模块名

失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入

解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好

或者你pycharm里面python解释器没有设置好

如何配置pycharm里面的python解释器?

选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
点击齿轮, 选择add
添加python安装路径

pycharm如何安装插件?

选择file(文件) >>> setting(设置) >>> Plugins(插件)
点击 Marketplace 输入想要安装的插件名字比如:翻译插件输入 translation / 汉化插件输入 Chinese
选择相应的插件点击 install(安装) 即可
安装成功之后是会弹出重启pycharm的选项点击确定, 重启即可生效

基本思路流程<通用>:

一. 数据来源分析

明确需求
通过开发者工具进行抓包分析, 分析manhua数据内容来于那里

一张manhua图片<url地址> ----> 获取本章节所有manhua内容来自于哪里

二. 代码实现步骤过程

发送请求, 对于刚刚分析得到图片数据包url地址发送请求
获取数据, 获取服务器返回响应数据response
解析数据, 提取所有manhau图片url地址
保存数据, 把manhua内容保存到本地文件夹

采集一本漫画内容

采集多章manhua内容 —> 去找寻多个manhau数据包url地址 —> 分析请求url地址参数变化 —> 章节ID变化

只需要获取所有manhua章节ID就可以了 —> 都目录页面列表页面去分析找寻

发送请求, 对于manhau目录页面发送请求
获取数据, 获取服务器返回响应数据response
解析数据, 提取所有manhua章节ID以及manhua标题

代码

因审核机制原因，我把网址里的一些东西删掉了，小可耐们可以自己添加一下哈，很容易的

还有两个字，我用拼音代替了，你们可以改回文字哦 ~

如果有不太会改或者有点点小懒惰的小可耐也可以私信我，我发你呐~ 💖

（或查看并点击网页主页（文章）左侧的流动文字免费获取哦~（可能需要往下划一下呐））

导入模块

# 导入数据请求模块
import requests
# 导入格式化输出模块
import pprint
# 导入数据解析模块
import parsel
# 导入文件操作模块
import os

确定网址

link = ''

加入伪装

# headers请求头伪装
headers = {
    # user-agent: 用户代理 表示浏览器基本身份标识
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36',
}

发送请求

response_1 = requests.get(url=link, headers=headers)

获取数据

# print(response_1.text)
# 解析数据 获取数据是什么样的, 选择最适合的解析方法
selector = parsel.Selector(response_1.text)
lis = selector.css('.chapter__list-box .j-chapter-item')

获取名字

name = selector.css('.de-info__box .comic-title::text').get()

自动创建文件

filename = f'{name}\\'
if not os.path.exists(filename):
    os.mkdir(filename)

for li in list(reversed(lis)):
    chapter_id = li.css('a::attr(data-chapterid)').get()
    chapter_title = li.css('a::text').getall()[-1].strip()
    print(chapter_id, chapter_title)

发送请求, 模拟浏览器对于url地址发送请求

问号后面的内容, 都是属于这个url的请求参数, 可以单独用字典去接受

用python代码模拟浏览器, 是需要使用headers请求头 —> 可以在开发者工具里面进行复制粘贴

user-agent: 用户代理表示浏览器基本身份标识

如何快速批量替换:

选中替换的内容 ctrl + R 输入正则表达式命令, 点击全部替换

 (.*?): (.*)
 '$1': '$2',

请求url地址

—> 复制粘贴的

    # https://comic..com/chapter/content/v1/?chapter_id=996914&comic_id=211471&format=1&quality=1&sign=c2f14c1bdb0505254416907f504b4e03&type=1&uid=55123713
    url = ''

请求参数

—> 复制粘贴的

    data = {
        'chapter_id': chapter_id,
        'comic_id': '211471',
        'format': '1',
        'quality': '1',
        'sign': 'c2f14c1bdb0505254416907f504b4e03',
        'type': '1',
        'uid': '55123713',
    }

请求头

用来伪装python代码的 —> 复制粘贴的

    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
    }

发送请求

    response = requests.get(url=url, params=data, headers=headers)
    # <Response [200]>  响应对象, 200状态码 表示请求成功
    print(response)
    # 获取数据, 获取服务器返回响应数据
```python
    # response.text 获取文本数据<数据类型: 字符串>  response.json() 获取json字典数据<数据类型: 字典>
    print(response.json())

解析数据

— > 获取数据是什么样的, 选择最适合的解析方法字典取值, 根据键值对提取数据内容

根据冒号左边的内容[键], 提取冒号右边的内容[值] —> 键值对取值键值对与键值对之间用逗号隔开的

    image_list = response.json()['data']['page']  # 列表里面

    num = 1
    for image in image_list:  # 就可以把列表<装东西盒子>里面元素, 一个一个提取出来
        img_url =image['image']
        print(img_url)

保存数据

—> 同样是需要对图片url地址发送请求, 并且获取它数据内容 response.content 获取二进制数据

        img_content = requests.get(url=img_url, headers=headers).content
        # 保存数据, 保存图片 shipin 音频 特定格式文件<zip ppt..> 获取二进制数据内容
        # mode模式保存方式 wb w写入 b二进制  wb以二进制方式进行写入
        with open(filename + chapter_title + str(num) + '.jpg', mode='wb') as f:
            f.write(img_content)
        num += 1