[Python知识库]Python带你把喜欢的视频保存~采集无水印视频

前言

嗨喽！大家好呀，这里是魔王~

环境介绍：

• python 3.8 解释器
• pycharm 2021专业版 >>> 激活码 编辑器
• 谷歌浏览器
• 谷歌驱动
• selenium >>> 驱动 >>> 浏览器

模块使用]：

采集一个视频

• requests >>> pip install requests
• re

采集多个视频

• selenium >>> pip install selenium==3.141.0 (3.141.0) 指定模块版本去安装 使用这个模块安装浏览器驱动
• time

模块安装问题:

如果安装python第三方模块:

    1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
    2. 在pycharm中点击Terminal(终端) 输入安装命令

如何配置pycharm里面的python解释器?

1. 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
2. 点击齿轮, 选择add
3. 添加python安装路径

pycharm如何安装插件?

1. 选择file(文件) >>> setting(设置) >>> Plugins(插件)
2. 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
3. 选择相应的插件点击 install(安装) 即可
4. 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效

爬虫实现思路流程: (****)

一. 数据来源分析

1. 确定爬取的内容是什么?

2. 通过开发者工具进行抓包分析 F12 或者 鼠标右键点击插件选择network
   I. 通过分析已经找到播放地址
   II. 去分析, 播放地址可以从什么获取
   对于视频播放url地址 进行一次转码 *** >>> 等会提取的时候 需要进行解码

二. 代码实现步骤过程

1. 发送请求, 用python代码模拟浏览器去发送请求
2. 获取数据, 获取服务器返回响应数据
3. 解析数据, 提取视频url地址 以及 视频标题
4. 保存数据, 保存数据到本地

开始我们的代码

导入模块

# 导入数据请求模块
import requests  # pip install requests  win + R 输入cmd
# 导入正则
import re  # 内置模块 不需要大家去安装
import time  # 时间模块
from selenium import webdriver  # pip install selenium==3.141.0

代码

def drop_down():
    """执行页面滚动的操作"""  # javascript
    for x in range(1, 30, 4):  # 1 3 5 7 9  在你不断的下拉过程中, 页面高度也会变的
        time.sleep(1)
        j = x / 9  # 1/9  3/9  5/9  9/9
        # document.documentElement.scrollTop  指定滚动条的位置
        # document.documentElement.scrollHeight 获取浏览器页面的最大高度
        js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
        driver.execute_script(js)


# 人怎么去操作浏览器的, 就怎么写代码...
# 1. 打开一个浏览器或者下载一个浏览器吧 创建浏览器对象(实例化一个浏览器对象)
driver = webdriver.Chrome()
# 2. 输入一个网址 请求网址
driver.get('你要爬取得作者主页链接')
driver.implicitly_wait(10)
# 3. 提取所有li标签 返回列表
# drop_down()
lis = driver.find_elements_by_css_selector('.ECMy_Zdt')
for li in lis:
    html_url = li.find_element_by_css_selector('a').get_attribute('href')
    print(html_url)
    #  1. 发送请求, 用python代码模拟浏览器去发送请求
    # url = '你爬取得单个视频得链接'
    # headers 作用 伪装python代码 伪装成浏览器 user-agent: 用户代理 浏览器基本身份标识  cookie 用于检测用户信息, 是否有登陆账号
    headers = {
        'cookie': '自己去复制一下',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36'
    }
    response = requests.get(url=html_url, headers=headers)  # <Response [200]> 表示的是响应对象 200状态码 请求成功
    # 2. 获取数据
    # print(response.text)  # 获取html字符串数据  服务器返回response响应文本数据
    # 3. 解析数据
    # findall 找到所有, 从什么哪里去找什么数据  正则匹配出来数据返回都是列表数据 [] 列表 [0] 取第一个元素
    title = re.findall('<title data-react-helmet="true">(.*?) - 抖音</title>', response.text)[0]
    video_url = re.findall('src(.*?)vr%3D%2', response.text)[0]
    # print(video_url)
    video_url = requests.utils.unquote(video_url).replace('":"', 'https:')  # 解码 并且使用replace字符串替换
    # print(title)
    # print(video_url)
    # 4. 保存数据 视频数据内容
    video_content = requests.get(url=video_url, headers=headers).content  # 对于视频播放地址发送请求,获取二进制数据内容
    with open('video\\' + title + '.mp4', mode='wb') as f:
        f.write(video_content)
    print(title, '保存完成')

视频地址

教程视频，点击可看~

尾语

好了，我的这篇文章写到这里就结束啦！

有更多建议或问题可以评论区或私信我哦！一起加油努力叭(? ?_?)?

喜欢就关注一下博主，或点赞收藏评论一下我的文章叭！！！

《新程序员》：云原生和全面数字化实践

50位技术专家共同创作，文字、视频、音频交互阅读