[Python知识库]【爬虫实战】Python requests 爬取全国天气网，做个天气预报吧！

学会了爬虫，让我们自制一个天气预报的爬虫吧！

需求分析

1、用 requests 爬取 全国天气网 的网页源代码；
2、用 pyquery 解析网页源代码，取得天气情况信息的节点；
3、用 xlwt 将信息保存到本地 Excel 文件。

实现过程

第一步：导入库

import requests
from pyquery import PyQuery as pq
import xlwt

第二步：获取网页源代码；

html = requests.get('https://tianqi.so.com/weather/').text

第三步：解析网页，查找到包含天气信息的节点；

html = pq(html)
datas = html.find('ul.weather-columns li div').items()

但我们发现，每个 li 节点中的第 1 个 div 节点是没有内容的，第 3 个 div 节点显示天气图标，而我们并不需要这个；

因此，我们只需要获取第 2、4、5、6、7 个 div 节点的信息。

这些节点中分别储存着 日期、天气、温度、空气质量、风向及风速。

datas = [t for r in datas if (t := r.text())]

第四步：储存在本地 Excel 文件

# 将表头和内容合并
table = ['日期', '天气', '温度', '空气', '风速及风向'] + datas

# 新建工作簿
wb = xlwt.Workbook(encoding='utf-8')

# 新建工作表
ws = wb.add_sheet('广州 15日天气', cell_overwrite_ok=True)

# 填入内容
for i, r in enumerate(table):
    ws.write(i // 5, i % 5, r)

# 保存工作表
wb.save('广州 15日天气.xls')

成果展示

完整代码

import requests
from pyquery import PyQuery as pq
import xlwt

# 获取网页源代码
html = requests.get('https://tianqi.so.com/weather/').text

# 解析网页
html = pq(html)
datas = html.find('ul.weather-columns li div').items()

# 去除空白信息
datas = [t for r in datas if (t := r.text())]

# 将表头和内容合并
table = ['日期', '天气', '温度', '空气', '风速及风向'] + datas

# 新建工作簿
wb = xlwt.Workbook(encoding='utf-8')

# 新建工作表
ws = wb.add_sheet('广州 15日天气',cell_overwrite_ok=True)

# 填入内容
for i, r in enumerate(table):
    ws.write(i//5,i%5,r)

# 保存工作表
wb.save('广州 15日天气.xls')

— End —

感谢阅读！
点个赞，支持一下作者吧！

本文收录于专栏 Python 爬虫。
关注作者，互助交流，学习更多 Python 知识！
https://blog.csdn.net/weixin_48448842

推荐阅读

• 学不好 Python？那是因为你没有一本好的教程！程序员必备网站，速拿走！
• Python 爬取奥运奖牌榜 - 中国原来这么厉害！
• 学习笔记 | 类的魔法方法（最全总结）
• 学习笔记 | Python 位运算图解 &、|、^、~、<<、>>
• 再不会 Python 自动化，你就落伍了！xlrd、xlwt、xlutils 操作表格详解