[Python知识库] 【python】带你采集hy小姐姐跳舞~

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> Python知识库 -> 【python】带你采集hy小姐姐跳舞~ -> 正文阅读

[Python知识库]【python】带你采集hy小姐姐跳舞~

前言

嗨喽，大家好呀~这里是爱看美女的茜茜呐

又到了学Python时刻~

这里写目录标题

环境使用:

Python 3.8 解释器
Pycharm 编辑器

模块使用:

requests >>> 数据请求第三方模块 pip install requests <工具>
re <正则表达式模块>

如果安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
在pycharm中点击Terminal(终端) 输入安装命令

基本思路流程: <通用模板>

一. 数据来源分析

分析视频内容数据在什么地方

开发者工具抓包分析 <重要> 做爬虫必备的工具

F12 或者鼠标右键点击检查刷新网页
通过开发者工具搜索 m3u8 找到 getMomentContent <视频标题以及视频播放链接>

二. 代码实现步骤过程 <基本四大步骤>

发送请求, 对于刚刚分析得到url地址发送请求 <模拟浏览器发送请求>
获取数据, 获取服务器返回响应数据 —> 开发者工具当中所看到 response
解析数据, 提取我们想要视频标题, 以及视频播放链接
保存数据, 把视频保存到本地

代码

#导入数据请求模块 --> 第三方模块 <手机第三方APP> 需要在cmd里面或者pycharm终端里面 pip install requests
import requests
# 导入正则模块 --> 内置模块 需要安装
import re

for page in range(2, 501):
    print(f'正在采集第{page}页数据内容')

    # headers伪装 --> 开发者工具里面可以直接复制
    headers = {
        # user-agent 用户代理 表示浏览器基本身份标识
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
    }

    # 发送请求
    html_data = requests.get(url=link, headers=headers).text

解析数据提取视频ID

匹配数据 --> re.findall(‘匹配的数据<什么数据>’, ‘数据源<什么地方>’)

从 html_data 里面去匹配 <li data-vid="(\d+)"> 这段数据内容, 其中 ID数字是我们要的数据

\d+ 匹配多个数字

  <li data-vid="(\d+)">

    video_id_list = re.findall('<li data-vid="(\d+)">', html_data)
    # for循环遍历
    for video_id in video_id_list:

发送请求

对于刚刚分析得到url地址发送请求 <模拟浏览器发送请求>

headers --> 请求头伪装

对于反爬不严重的网站, 不加headers伪装, 一样可以得到数据
建议添加headers伪装
采集多个视频内容

分析请求参数变化

链接问号后面的内容属于查询参数

获取所有视频ID 获取所有视频内容了

获取数据

获取服务器返回响应数据 —> 开发者工具当中所看到 response

<Response [200]> 表示请求成功

print(response)

response.text 获取响应文本数据 --> 字符串数据类型
response.json() 获取响应json字典数据 --> 字典数据类型

<一定要是完整json数据格式>

解析数据

提取我们想要视频标题, 以及视频播放链接

返回得到数据 --> 字典数据类型

字典取值方式 --> 键值对取值: 根据冒号左边的内容[键], 提取冒号右边的内容[值]

        # 提取标题
        title = response.json()['data']['moment']['title']
        # 提取播放链接
        video_url = response.json()['data']['moment']['videoInfo']['definitions'][0]['url']
        # 4. 保存数据 --> 发送请求 + 获取数据 二进制数据内容
        video_content = requests.get(url=video_url, headers=headers).content
        # 保存数据 video 手动创建文件夹 'video\\' + title + '.mp4' 保存文件路径以及文件名  mode='wb' 保存方式 二进制保存
        with open('video\\' + title + '.mp4', mode='wb') as f:
            # 写入数据
            f.write(video_content)
        print(title)
        print(video_url)