IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> Python知识库 -> Python批量获取4K图片 -> 正文阅读

[Python知识库]Python批量获取4K图片


前言

为了更好的掌握数据处理的能力,因而开启Python网络爬虫系列小项目文章。

  1. 小项目小需求驱动,每篇文章会使用两种以上的方式(Xpth、Bs4、PyQuery、正则)获取想要的数据。
  2. 博客系列完结后,将会总结各种方式。

一、需求

  1. 批量爬取4k类型的图片
  2. 下载到各类文件夹中

二、分析

在这里插入图片描述

1、Ctrl+U 查看网页源代码

$$$$ 4 k 各类型主页 U R L 4k各类型主页URL 4k各类型主页URL$$$$
在这里插入图片描述

$$$$ 4 k 各类型图片 U R L 4k各类型图片URL 4k各类型图片URL$$$$

在这里插入图片描述

2、进一步分析

  • 获取各类型url,拼接主页url地址
  • 请求各类型url,获取具体4k图片下载地址
  • 访问4k图片下载地址下载资源

三、处理

Bs4 +正则处理

  • 通过page.find_all(“div”, attrs={“class”:“nav-m clearfix tran”}) 找到该类属性的div
  • 发现数据堆在一条中,利用正则获取url、title(通用方法.*?)
def get_4k_url(source_code):
    # 初始化bs4
    page = BeautifulSoup(source_code,"html.parser")
    info_4k = page.find_all("div", attrs={"class":"nav-m clearfix tran"})
    # 利用正则获取相关信息
    process = re.compile(r'<a href="(?P<url>.*?)" .*?>(?P<title>.*?)</a>',re.S)
    # 将html转为字符串
    result = process.finditer(str(info_4k))
    # 定义字典进行存储
    pic_dict = {}
    for img in result:
        title = img.group("title")
        url = img.group("url")
        if url.startswith("/"):
            pic_dict[title] = f"{INDEX_URL}{url}"
    return pic_dict
  • 这里4k手机壁纸的类属性不一样,做了个判定处理
  • 通过Select选择器定位到a标签获取src属性值
def get_img_url(url):
    # 获取网页源代码
    source_code = process_index(url)
    # 初始化bs4
    page = BeautifulSoup(source_code, "html.parser")
    # 处理部分特殊(4k手机壁纸)
    if url == "http://pic.netbian.com/shoujibizhi/":
        info_4k_a = page.select(".alist > ul > li > a")
    else:
        info_4k_a = page.select(".slist > ul > li > a")
    url_list = []
    for a in info_4k_a:
        # 获取url
        url = a.find("img")["src"]
        url_list.append(f"{INDEX_URL}{url}")
    return url_list

PyQuery+正则处理

  • 直接定位.nav-m 类属性
  • 发现数据堆在一条中,利用正则获取url、title(通用方法.*?)
def get_4k_url(source_code):
    doc = pq(source_code)
    info_4k = doc(".nav-m")
    # 利用正则获取相关信息
    process = re.compile(r'<a href="(?P<url>.*?)" .*?>(?P<title>.*?)</a>',re.S)
    # 将html转为字符串
    result = process.finditer(str(info_4k))
    # 定义字典进行存储
    pic_dict = {}
    for img in result:
        title = img.group("title")
        url = img.group("url")
        if url.startswith("/"):
            pic_dict[title] = f"{INDEX_URL}{url}"
    return pic_dict
  • 这里4k手机壁纸的类属性不一样,做了个判定处理
  • 通过点位.slist/.alist 属性,再其定位li标签,获取img中的src
def get_img_url(url):
    # 返回每一4k类型具体图片url
    code = process_index(url)
    doc = pq(code)
    # 处理部分特殊(4k手机壁纸)
    if url == "http://pic.netbian.com/shoujibizhi/":
        ul = doc(".alist li")
    else:
        ul = doc(".slist li")
    # 获取url
    url_list = []
    for li in ul.items():
        url = li("img").attr("src")
        url_list.append(f"{INDEX_URL}{url}")
    return url_list

四、运行效果

在这里插入图片描述

源码附在在知识星球-网络爬虫模块内
在这里插入图片描述

  Python知识库 最新文章
Python中String模块
【Python】 14-CVS文件操作
python的panda库读写文件
使用Nordic的nrf52840实现蓝牙DFU过程
【Python学习记录】numpy数组用法整理
Python学习笔记
python字符串和列表
python如何从txt文件中解析出有效的数据
Python编程从入门到实践自学/3.1-3.2
python变量
上一篇文章      下一篇文章      查看所有文章
加:2022-10-17 12:28:59  更:2022-10-17 12:29:42 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 -2024/12/26 3:20:07-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码
数据统计