[Python知识库]爬虫的笔记

爬虫的简单分类：

1. 通用式爬虫：爬取整页数据
2. 聚焦式爬虫：爬取局部数据
3. 增量式爬虫：爬取互联网数据中新增数据

爬虫的流程：

1. 获取一个url
2. 向url发送请求，并获取响应
3. 从响应中提取url，则继续发送请求获取响应
4. 从响应中获取数据，并永久性保存

学习的模块：requests

简单案例尝试：

爬取搜狗主页代码

爬取搜狗指定词条对应的搜索结果页面

例如：搜索“美国”时，query后面的字符就是美国，而后面的参数并不影响网页的正常加载，故提取此简化的URL：美国 - 搜狗搜索

处理URL：封装到字典中

关于UA（User-Agent：请求载体的身份标识）检测：

如果服务器检测到请求的载体身份标识不是基于一款浏览器，那么就有可能将其判定为爬虫，进而拒绝服务请求。

UA伪装：

让爬虫对应的请求载体身份伪装成某一款浏览器，方法是将对应的UA封装到一个字典中

解决中文乱码：

?? ?response.text ：str类型

response.content.decode() ：默认编码utf-8，可解决中文乱码

有关超时参数的使用

?? response = requests.get(url? ,? timeout = x) 代表x秒内若没有返回响应，则抛出异常

错误经验：SSL证书错误

解决办法：1.将url中的https改成http

????????? 2. verify=False