IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 网络协议 -> 1-9 requests模块之爬取4k高清壁纸(xpath解析) -> 正文阅读

[网络协议]1-9 requests模块之爬取4k高清壁纸(xpath解析)

# 需求:解析下载图片数据
# 网站:https://pic.netbian.com/4kdongman/
import requests
from lxml import etree

# 请求主页面,获取主页源代码:
def get_main_page_souce(url):
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.75 Safari/537.36 Edg/100.0.1185.36"
    }
    resp = requests.get(url, headers=headers)
    resp.encoding = "gbk"
    html = resp.text
    resp.close()
    return html


# 请求子页面,保存图片:
def request_child_url_and_save_img(child_url):
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.75 Safari/537.36 Edg/100.0.1185.36"
    }
    resp = requests.get(child_url, headers=headers)
    # 解析获取到高清大图的url:
    resp.encoding = "gbk"
    child_html = resp.text
    tree = etree.HTML(child_html)
    # 图片名称:
    img_name = tree.xpath('//div[@class="view"]/div[@class="photo-pic"]/a/img/@title')[0]
    # 图片url:
    img_url = "https://pic.netbian.com" + tree.xpath('//div[@class="view"]/div[@class="photo-pic"]/a/img/@src')[0]
    print(img_url, img_name)    # 获取到图片的url和名称
    # 关闭上面的请求:
    resp.close()
    # 对图片的url发起请求:
    img_resp = requests.get(img_url)
    img_content = img_resp.content
    # 关闭请求:
    img_resp.close()
    # 保存图片:
    with open(f"./4/{img_name}.jpg", "wb") as f:
        f.write(img_content)


# 通过xpath解析获取子页面的url,并调用请求子页面的方法获取子页面中的高清大图保存
def analyze_by_xpath_and_get_target_content(html):
    tree = etree.HTML(html)
    # 先提取出子页面的url:
    # 1. 找到url的后半截:
    href_list = tree.xpath('//div[@class="slist"]/ul/li/a/@href')
    child_url_list = ["https://pic.netbian.com" + href for href in href_list]
    for child_url in child_url_list:
        # print(child_url)
        request_child_url_and_save_img(child_url)


def main():
    # 实现翻页爬取:(爬取前五页的数据)
    page_list = ['index'] + [f'index_{i}' for i in range(2, 6)]
    count = 1
    for page in page_list:
        print(f"正在爬取第{count}页")
        url = f"https://pic.netbian.com/4kdongman/{page}.html"
        # 获取主页面源代码:
        html = get_main_page_souce(url)
        # 解析并提取数据
        analyze_by_xpath_and_get_target_content(html)
        count += 1


if __name__ == '__main__':
    main()

运行结果:
在这里插入图片描述
控制台打印的图片url和名称:(可访问并下载)

C:\Users\lv\Desktop\爬虫(B站)二\venv\Scripts\python.exe "C:/Users/lv/Desktop/爬虫(B站)二/3. 第三章 数据解析/4. 4K图片解析爬取.py"
正在爬取第1页
https://pic.netbian.com/uploads/allimg/220410/183556-1649586956409a.jpg 孤勇者 双城之战 金克丝 厚涂 孤勇者4k壁纸
https://pic.netbian.com/uploads/allimg/220407/005709-16492642292e8d.jpg 碧蓝航线 黑丝袜 美腿 水手服 白裤袜 绫波 5k动漫壁纸
https://pic.netbian.com/uploads/allimg/220402/011838-16488335180ef8.jpg 巴图BaTu 雪地 披风 公主 蓝裙 彼岸图网会员原创4k壁纸
https://pic.netbian.com/uploads/allimg/220320/165420-16477664603805.jpg 原神 雷电将军 同人 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/210423/224716-1619189236e4d9.jpg 赛博朋克风格奇幻少女 集原美电脑4k壁纸3840x2160
https://pic.netbian.com/uploads/allimg/210317/001935-1615911575642b.jpg 猫羽雫 蓝色眼睛女子 尾巴 女孩子 猫耳 猫 可爱二次元动漫4k壁纸
https://pic.netbian.com/uploads/allimg/220324/001820-1648052300551e.jpg 《巴图BaTu》原创 可爱风少女 女孩 粉色裙子 水母 唯美好看4k高清壁纸
https://pic.netbian.com/uploads/allimg/210920/165135-16321278956369.jpg 短发女孩 袜子 窗户 云 4k壁纸
https://pic.netbian.com/uploads/allimg/220312/002908-16470161489720.jpg 猫耳 兽耳 可爱女孩子 蓝色眼睛 二次元动漫4k壁纸3840x2160
https://pic.netbian.com/uploads/allimg/210812/234309-1628782989eba1.jpg 天空小姐姐 黑色唯美裙子 厚涂画风 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/190824/212516-15666531161ade.jpg 下午 趴在桌子的女孩4k动漫壁纸3840x2160
https://pic.netbian.com/uploads/allimg/220211/004115-16445112750af5.jpg 蓝色短发女生 白色毛衣 黑色裤袜 动漫美女4k壁纸
https://pic.netbian.com/uploads/allimg/210528/203909-16222055495bc3.jpg 四个女仆 坐地板 黑裤袜 黑丝美腿 房间 沙发 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/210512/233947-162083398720e2.jpg 3D绘画 女仆 美腿 黑丝 高跟鞋 两位女仆进门后的一幕 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/210519/003255-1621355575e57d.jpg 两位女仆 黑裤袜黑丝 打开门 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/210716/001831-1626365911d02e.jpg 两个女仆 女仆装 黑裤袜 黑色高跟鞋 油灯 楼梯4k动漫壁纸
https://pic.netbian.com/uploads/allimg/210701/230830-16251521109299.jpg 三个女仆 黑裤袜黑丝美腿 女仆装 沙发 白色透明窗帘 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220402/013253-1648834373b4e7.jpg 巴图BaTu 雪地 披风 公主 蓝裙 彼岸图网会员原创3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220402/013149-1648834309d579.jpg 巴图BaTu 雪地 披风 公主 蓝裙 彼岸图网会员原创iPad平板电脑壁纸
https://pic.netbian.com/uploads/allimg/220330/003346-164857162668bd.jpg 集原美 湖光中的睡美人4k电脑壁纸
正在爬取第2页
https://pic.netbian.com/uploads/allimg/220215/233510-1644939310992f.jpg 彼岸图网会员原创 巴图BATU 古风女孩 丝绸 夜晚海 月亮 蝴蝶4k高清壁纸
https://pic.netbian.com/uploads/allimg/200618/005100-1592412660d6f4.jpg 长发少女黑色吊带裙 好看的4k动漫美女壁纸3840x2160
https://pic.netbian.com/uploads/allimg/210203/232830-1612366110c937.jpg 可爱女孩马尾辫 绿色眼睛 脸 好看4k动漫人物壁纸
https://pic.netbian.com/uploads/allimg/211208/234502-16389783025c25.jpg 女学生 一排美腿 裤袜 黑丝袜4k动漫壁纸
https://pic.netbian.com/uploads/allimg/211120/005250-1637340770973a.jpg 阳光透过窗户 女孩 唯美好看动漫美女4k壁纸
https://pic.netbian.com/uploads/allimg/220325/010127-164814128703e9.jpg 巴图原创 可爱风动漫美女小姐姐 粉色短裙 好看美腿 水母iPad平板电脑壁纸
https://pic.netbian.com/uploads/allimg/220129/143412-164343805291d9.jpg 红色眼睛女孩 面纱 尖耳朵 唯美厚涂画 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220215/233307-16449391870ad5.jpg 敦煌飞天 女孩 佛像 3d美女4k动漫壁纸3840x2160
https://pic.netbian.com/uploads/allimg/220210/233649-1644507409b161.jpg 灌篮高手结婚漫画 灌篮高手结婚照全家福原图4k高清壁纸
https://pic.netbian.com/uploads/allimg/210215/234842-16134041221aad.jpg 个性女孩 绿色眼睛 双马尾动漫少女4k壁纸
https://pic.netbian.com/uploads/allimg/220308/010609-16466727691950.jpg 美女 武士刀 老虎 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220317/011822-16474511023dd0.jpg 3d美女 项链十字架 伞 iPad平板电脑壁纸
https://pic.netbian.com/uploads/allimg/220315/003447-16472756877bed.jpg 女孩 少女 办公室 书本 水杯 台灯 好看厚涂画风4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220311/000819-16469284997296.jpg 原神 神里绫华 宵宫 4k高清壁纸
https://pic.netbian.com/uploads/allimg/220304/003734-16463254541d4a.jpg 斗罗大陆小舞唯美3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220304/003111-16463250715885.jpg 斗罗大陆唯美小舞平板电脑iPad高清壁纸
https://pic.netbian.com/uploads/allimg/220304/001005-16463238059274.jpg 斗罗大陆小舞唯美4k高清壁纸
https://pic.netbian.com/uploads/allimg/220308/012544-164667394450dc.jpg 美女 武士刀 老虎 唯美动漫iPad平板电脑壁纸
https://pic.netbian.com/uploads/allimg/220308/012314-1646673794cffa.jpg 女神 美女 武士刀 老虎 3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220301/005401-16460672410178.jpg 碧蓝航线 短发美女 美腿 黑丝袜 扇子 4k壁纸
正在爬取第3页
https://pic.netbian.com/uploads/allimg/220301/004630-16460667904dd2.jpg 崩坏3布洛妮娅5k壁纸竖屏
https://pic.netbian.com/uploads/allimg/220228/191852-16460471327184.jpg 原神神里綾人4k壁纸
https://pic.netbian.com/uploads/allimg/220228/174920-1646041760ef38.jpg 原神申鹤4k电脑壁纸
https://pic.netbian.com/uploads/allimg/220227/233025-16459758255057.jpg 绘梨衣4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220225/233341-16458032215d1b.jpg 灵笼白月魁 白老板4k壁纸
https://pic.netbian.com/uploads/allimg/220225/224226-16458001461d27.jpg 原神优菈4k电脑壁纸
https://pic.netbian.com/uploads/allimg/220225/223502-16457997022e64.jpg 原神 盛夏 海岛 大冒险4k壁纸
https://pic.netbian.com/uploads/allimg/220225/221617-1645798577db75.jpg 原神和煦希望之风4k壁纸
https://pic.netbian.com/uploads/allimg/220225/004030-1645720830bfd9.jpg 原神 风华节 萤 温迪 派蒙 芭芭拉 原神3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220225/003720-1645720640e51c.jpg 原神 风华节 萤 温迪 派蒙 芭芭拉 原神4k高清壁纸
https://pic.netbian.com/uploads/allimg/220219/000655-1645200415e8ef.jpg 猫羽雫 猫耳 姐妹 蓝色眼睛 萌照 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220216/104600-1644979560f8ab.jpg 灌篮高手结婚漫画 灌篮高手结婚照全家福6k高清壁纸
https://pic.netbian.com/uploads/allimg/220216/104442-16449794820c73.jpg 灌篮高手结婚漫画 灌篮高手结婚照全家福平板iPad壁纸
https://pic.netbian.com/uploads/allimg/220215/235124-1644940284d8c1.jpg 蓝色短发女生 白色毛衣 黑色裤袜3440x1440动漫壁纸
https://pic.netbian.com/uploads/allimg/220214/013344-16447736248939.jpg 唯美仙女 树 鱼塘 鱼 荷花 古风美女5k高清壁纸
https://pic.netbian.com/uploads/allimg/220214/012534-164477313483c7.jpg 3d短发女孩 脸 眼睛 动漫美女人物4k电脑壁纸
https://pic.netbian.com/uploads/allimg/220213/164457-16447418974a21.jpg 短发3d美女 人物 脸 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220311/000959-1646928599ff3e.jpg 原神 神里绫华 宵宫3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220215/234023-16449396231903.jpg 彼岸图网会员原创 巴图BATU 古风女孩 丝绸 夜晚海 月亮 蝴蝶平板电脑iPad壁纸
https://pic.netbian.com/uploads/allimg/220210/233758-16445074783593.jpg 灌篮高手结婚漫画 灌篮高手结婚照全家福原图完整版3440x1440带鱼屏壁纸
正在爬取第4页
https://pic.netbian.com/uploads/allimg/220208/235146-16443355060921.jpg 天选姬国风山水风景 二次元动漫美腿美女4k壁纸
https://pic.netbian.com/uploads/allimg/220208/235030-1644335430a261.jpg 天选姬国风秋天 二次元动漫美少女4k电脑壁纸
https://pic.netbian.com/uploads/allimg/220208/234836-1644335316117d.jpg 华硕天选姬情人节可爱黑色丝袜动漫少女4k壁纸
https://pic.netbian.com/uploads/allimg/220208/234040-1644334840048d.jpg 华硕天选姬绿色眼睛动漫美女4k壁纸
https://pic.netbian.com/uploads/allimg/220208/233353-1644334433e5ed.jpg 天选姬 姐妹天使 短裙美腿4k动漫电脑壁纸
https://pic.netbian.com/uploads/allimg/220203/004447-1643820287d79a.jpg 睁一只眼闭一只眼动漫人物女孩尖耳朵 棕黄色头发 蓝色眼睛 蝴蝶 花瓣 感受阳光 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220206/164023-16441368232416.jpg 哆啦A梦 简约 超清4K电脑壁纸
https://pic.netbian.com/uploads/allimg/220204/182036-16439700361dc5.jpg 原神云堇4k电脑壁纸3840x2160
https://pic.netbian.com/uploads/allimg/220215/234715-1644940035827c.jpg 敦煌飞天 女孩 佛像 3d美女3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220330/232946-16486541863f49.jpg 海绵宝宝平板壁纸
https://pic.netbian.com/uploads/allimg/180803/084010-15332568107994.jpg 江南烧酒4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220104/234553-1641311153631c.jpg 可爱女孩 猫耳兽耳 白丝袜长筒袜 休闲吧 笔记本电脑 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220116/222845-164234332589a9.jpg 帅气红色眼睛美女 武士刀 纹身 和服 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220128/000545-1643299545d4d3.jpg 海边 船 树 靠在树上的女孩3440x1440带鱼屏动漫壁纸
https://pic.netbian.com/uploads/allimg/220128/000002-16432992026289.jpg 雨天 伞 女孩 好看动漫3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220127/223850-164329433017df.jpg 女孩子猫耳 兽耳 尾巴 猫羽雫3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220126/184124-1643193684d0f3.jpg 原神 珊瑚宫心海 水下3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220225/003912-1645720752a681.jpg 原神 风华节 萤 温迪 派蒙 芭芭拉 原神平板iPad壁纸
https://pic.netbian.com/uploads/allimg/220124/233829-164303870983d9.jpg 海绵宝宝全家福高清图4k壁纸
https://pic.netbian.com/uploads/allimg/220124/181303-164301918301be.jpg 厚涂 女孩 卷发 侧脸 头饰 耳环 4k动漫壁纸
正在爬取第5页
https://pic.netbian.com/uploads/allimg/220124/180132-16430184925847.jpg 芭芭拉泳装 水下 原神芭芭拉4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220124/171510-1643015710363a.jpg 女生 起床 晚上 都市 夜景 动漫3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220123/180902-16429325427fcb.jpg 雪中的庭院 女孩 兽耳 鸟儿3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220123/180458-16429322984784.jpg 雪中的庭院 女孩子 兽耳 鸟儿 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220123/180725-1642932445558a.jpg 雪中的庭院 女子 兽耳 鸟儿 5120x1440双屏动漫壁纸
https://pic.netbian.com/uploads/allimg/220123/171728-1642929448892b.jpg 魔女之旅 伊蕾娜3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220123/171111-164292907174d4.jpg 魔女之旅 伊蕾娜 海边 海浪动漫风景 伊蕾娜4k壁纸
https://pic.netbian.com/uploads/allimg/220123/170505-16429287051d56.jpg 四个动漫女孩美腿黑丝袜4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220121/205652-1642769812d975.jpg 女孩子 派蒙 原神4k动漫壁纸
https://pic.netbian.com/uploads/allimg/211217/225336-16397528160026.jpg 阴阳师阿离4K壁纸3840x2160
https://pic.netbian.com/uploads/allimg/220221/004515-1645375515698f.jpg 天气之子 女孩 背影 太阳 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220120/145814-164266189454db.jpg 斗笠美女 黑白 厚涂画3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220110/000951-164174459132f1.jpg 碧蓝航线 黑裤袜 黑丝袜可爱女孩欧根亲王4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220114/231414-1642173254d7dd.jpg 武士美女 斗笠 雪 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220114/231739-16421734595eb6.jpg 兽耳 狐狸少女 尾巴 唯美厚涂画风4k动漫壁纸
https://pic.netbian.com/uploads/allimg/200511/234750-158921207008d8.jpg 女孩喝啤酒 飘窗 城市夜景 雨天 猫 好看唯美4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220117/133436-16423976766b42.jpg 冬天景色 夕阳 晚霞 女孩子 风景 外廊 3440x1440动漫壁纸
https://pic.netbian.com/uploads/allimg/220117/132315-16423969951857.jpg 兽耳女孩 狐狸少女 尾巴3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220117/131812-164239669264a2.jpg 少女猫耳兽耳 白丝袜长筒袜 休闲吧 笔记本电脑 二次元动漫3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220116/213242-1642339962af0b.jpg 晚上 女孩 猫 飘窗 星星 月亮 4k动漫壁纸

Process finished with exit code 0

本文仅供学习使用。

  网络协议 最新文章
使用Easyswoole 搭建简单的Websoket服务
常见的数据通信方式有哪些?
Openssl 1024bit RSA算法---公私钥获取和处
HTTPS协议的密钥交换流程
《小白WEB安全入门》03. 漏洞篇
HttpRunner4.x 安装与使用
2021-07-04
手写RPC学习笔记
K8S高可用版本部署
mySQL计算IP地址范围
上一篇文章      下一篇文章      查看所有文章
加:2022-04-15 00:40:35  更:2022-04-15 00:42:24 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 3:25:31-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码