今天学习requests高阶知识
目录
一、SSL验证
SSL认证是指客户端到服务器端的认证。主要用来提供对用户和服务器的认证；对传送的数据进行加密和隐藏；确保数据在传送中不被改变，即数据的完整性。（来自百度）
以百度为例：先简单的请求一下
import requests
response = requests.get('https://www.baidu.com')
print(response.status_code)#输出请求状态码?
可以看返回了请求状态码为200，即请求成功
当你出现SSLError报错时
表示证书验证错误，添加verify参数并设置为 False 即可：
?这里出现了报错，它需要我们添加证书，当然我们可以设置忽略警告来屏蔽这个警告
或者通过捕获警告到日志的方式忽略警告
二、代理设置
proxies 参数
正常情况下当我们进行大规模爬取一个网站时，由于请求次数过多，网站会记录你的IP，阻止你的请求，甚至封禁你的IP，导致一定时间段内无法访问。
此时我们可以设置代理来解决这个问题，其中就用到了proxies 参数
import requests
proxies = {
'http': '你所购买的代理IP和当前端口',
'https': '同上',
}
requests.get('https://www.taobao.com', proxies=proxies)
当然IP需要自己去购买使用。
三、超时设置
在本机网络状况不好或者服务器网络响应太慢甚至无响应时，我们可能会等待特别久的时间才可能收到响应，甚至到最后收不到响应而报错。为了防止服务器不能及时响应，应该设置一个超时时间，即超过了这个时间还没有得到响应，那就报错。这需要用到 timeout 参数。这个时间的计算是发出请求到服务器返回响应的时间
import requests
response = requests.get('https://www.baidu.com', timeout=1)
print(response.status_code)如果如果 1 秒内没有响应，就会出现异常。
此时我们也可以对异常进行处理，使用try来重新请求
四、身份认证
有时候爬取网站会间断需要我们进行身份认证。此时就可以使用 requests 自带的身份认证功能并加上proxies 参数，避免SSL报错
import requests
from requests.auth import HTTPBasicAuth
r = requests.get('https://www.baidu.com', auth=HTTPBasicAuth('你的用户名', '密码'),verify=False)
print(r.status_code)
也可以简写为
import requests
r = requests.get('https://www.baidu.com', auth=('你的用户名', '密码'))
print(r.status_code)还有另一种非常流行的HTTP身份认证形式是摘要式身份认证Digest Authentication
import requests
from requests.auth import HTTPDigestAuth
url = 'www.baidu.com'
requests.get(url, auth=HTTPDigestAuth('你的用户名', '密码'))
五、总结
在实战中会遇到许多的反扒，我们可以通过requests的许多功能来解决，获取cookies，头请求等等。慢慢学习会感受到爬虫的乐趣。