| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> Python知识库 -> PYcharm使用python爬取图片学习笔记 -> 正文阅读 |
|
[Python知识库]PYcharm使用python爬取图片学习笔记 |
(1)导入所需包 (2)#构建访问请求头(使用了自身浏览器的真实访问头) 在浏览器搜索任意内容>打开开发者工具>网络>点击名称列表任意一项>在标头框下划动找到 本浏览器user-agent为 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.33
(3)请求获得网站源码,本次的学习网站为https://www.vmgirls.com/archives/(此网站为个人搭建,应该是静态网站,爬取较简单,浏览器搜索栏获取网址)选用文章归档界面是因为列表每一项点进去都是一个全是图片的页面,便于图片网址获取。
?部分结果如下图 ?通过点击部分链接,可以发现每篇文章的网址都是类似"https://www.vmgirls.com/2696.html"的形式,通过这个网址格式构建正则表达式,规定下方查找的形式。 t = 'https://www.vmgirls.com/\d*?.html 此表达式规定搜索内容样式为https://www.vmgirls.com/加上\d*?加上.html 的所有内容,\d*代表匹配任意个数字(包括0个),?代表前一个符号*可能存在或不存在。*存在表示可能有0或任意个数字,*不存在表示只有一个数字。 具体正则表达式规则可参考链接正则表达式30分钟入门教程 (deerchao.cn) 构建正确的正则表达式很重要
输出结果如下: 结果为符合要求的网络地址? (4)找到文章网页中图片的网址
此段代码会直接打印所有(3)中获得的网址的源代码。在打印结果中试着点击后缀为jpg等代表图片的网址。多个源代码中代表图片的网址可能样式不同。可以通过构建多个正则表达式用? |? 分割来连接如:t='https://.*?.jpg|https://.*?.png|https://.*?.jpeg' 。# | 两边不能加空格。 。 ?根据输出结果构建正则表达式为 'https://.*?.jpg|https://.*?.png|https://.*?.jpeg' 此表达式代表范围太广,会下载到大多图片,有些png文件其实并不是我们需要的,我们通过点击结果中的链接,发现后缀为jpg的图片才是我们要的高清大图。因此下方只提取jpg。
结果如下图:? ?获得了所有jpg后缀的地址。 (5)将地址上的图片保存下来
此种输出方式没有设定文件夹,会在py文件所在文件夹输出,更多输出方式还需要进一步研究。 输出结果 整体代码 代码中间部分不需要最终输出的添加#转为注释
|
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 | -2024/12/26 1:30:13- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |
数据统计 |