| |
|
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
| -> Python知识库 -> Python爬虫之xpath解析爬取4kMM图片 -> 正文阅读 |
|
|
[Python知识库]Python爬虫之xpath解析爬取4kMM图片 |
|
先看看我爬的👇👇👇这里我只爬了2022张,祝大家新年快乐!
接下来我们进行操作,非常简单,讲解的非常详细,如果有帮助还请留下脚印~~
首先第一步当然是导包啦,os呢,是为了建个文件夹,方便存储爬取的图片。
然后然后,壁纸们我来了,点这去看看壁纸 这里我爬取的是彼岸图网中的4k图片。写上url、headers,然后对页面发起一个get请求,获取页面数据。
然后我们开始对页面进行解析,依旧是使用浏览器的开发者工具,定位标签,寻找图片所在的地址。来看看页面结构:(原本那张图不过审~)
div→ul 下全是li标签,每张图片都是在li标签里面,然后li标签下有a标签,而a标签下的img就有我们需要获取的src的属性值(图片链接)和alt属性值(图片名字)。接下来我们看看代码:
关于选取节点,这里列一个表格方便大家学习:(表格来源w3c)
注意:这里src中的链接是不完整的,需要我们进行拼接,这样才能够访问到图片。
现在我们已经获取到了图片的链接和名字,有链接就可以继续对图片发起请求继而进行持久化存储。这里我写两行命令创建一个文件夹方便存储爬取的图片,代码如下:
写到这就差不多完成了,但是呢,你可能会遇到一个问题,那就是你可能会遇到乱码!
别管为什么,这里给一行通用代码:
还有还有,一页的图片都可以爬取了(我数了下,一页有20张),那我那2022张怎么来的,放心,图片是没有重复的。这很简单,分页爬取就行了,可以加一个for循环。在这里我就不展开讲解了,如果有需要的小伙伴可以留言,我有空可以补上。 最后最后看这里👇👇👇
|
|
|
|
|
| 上一篇文章 下一篇文章 查看所有文章 |
|
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
| 360图书馆 购物 三丰科技 阅读网 日历 万年历 2025年11日历 | -2025/11/22 8:20:25- |
|
| 网站联系: qq:121756557 email:121756557@qq.com IT数码 |