前言
嗨嗨,大家下午好 ~
我又来给你们送福利了嘿嘿
今天教你们如何用python实现批量采集美女视频 ~
小声说:这次还有视频教程!
环境使用
- Python 3.8
- Pycharm
- 谷歌浏览器
- 谷歌驱动
安装教程可以私信找我获取 ~
模块使用:
- requests >>> pip install requests
- re
- json 用来转换数据类型 序列化和反序列化模块
- selenium >>> pip install selenium==3.141.0 <需要浏览器和浏览器驱动>
如果安装python第三方模块:
- win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests)
回车 - 在pycharm中点击Terminal(终端) 输入安装命令
按照常规基本思路流程: <模板, 可以套用>
批量采集shipin —> 由浅到深 采集一个shipin 采集多个
一. 数据来源分析 <shipin内容>
通过开发者工具抓包分析, shipin url地址来自于哪里, shipin标题在什么地方
- F12打开开发者工具, 或者 鼠标右键点击检查选择network <在网页 在浏览器上面进行操作>
- 点击刷新 网页, 让本网页相关数据内容, 重新加载一遍 <相对应 相关数据包 数据内容 就展示出来>
- 找shipin链接在哪里 ----> 常规找shipinurl地址 是 media 里面
- 找shipin url 来源, 出处 —> 通过在开发者工具关键字搜索 可以找到我们想要的数据在哪里, 只是说 找到数据是进行编码,到时候写代码的时候 进行解码就Ok了
二. 代码实现步骤
- 发送请求, 模拟浏览器对于 网址 发送请求
- 获取数据, 获取response响应数据
- 解析数据, 提取我们想要shipin url地址 和 shipin标题
- 保存数据, 把shipin内容保存到本地
代码
需要源码、教程,或者是自己有关python不懂的问题,都可以来这里哦 https://jq.qq.com/?_wv=1027&k=7Vp8wLlH
"""
selenium ---> 使用驱动 ---> 控制浏览器
模拟人的行为去操作浏览器
"""
driver = webdriver.Chrome()
driver.get('https://www..com/user/MS4wLjABAAAA0ihE2gYz13hwfPpxiZz50L7QM761qG-m28wj-oyWJTMqEJh5TR92GIJI7r-FW-8n')
driver.implicitly_wait(10)
def drop_down():
"""执行页面滚动的操作"""
for x in range(1, 10, 2):
time.sleep(1)
j = x / 9
js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
driver.execute_script(js)
视频教程
好啦,今天的分享到这里就结束了 ~ 对文章有问题的,或者有其他关于python的问题,可以在评论区留言或者私信我哦 觉得我分享的文章不错的话,可以关注一下我,或者给文章点赞(/≧▽≦)/
|