IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 网络协议 -> 爬虫学习第三天之身份认证、超时设置与代理设置 -> 正文阅读

[网络协议]爬虫学习第三天之身份认证、超时设置与代理设置

今天学习比较仓促,已经是快到deadline了,所幸内容不是很难,那我就来抓住今天的尾巴来打个卡。今天学到的主要内容是SSL验证、代理设置、超时设置、与身份认证。其他几个我都可以实践并且记录,不过代理设置还需要花费来买ip,所以本篇文章我们暂时跳过这个内容,具体可以参照https://chuanchuan.blog.csdn.net/article/details/120873957

SSL验证

由于我这个小白对这个东西不清楚,所以又专门查阅了一下SSL出现的原因及其表达的意义。
requests发送https请求时默认验证ssl证书,此时如果访问的地址ssl证书过期失效或不信任,则请求失败。
很不幸的是这样验证失败的网站我暂时还找不到例子,以下我尝试了好多次结果都给成功了。
请添加图片描述
总之我们知道当出现以下错误的时候

InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings

  InsecureRequestWarning

为了使请求成功,我们可以设置verify为False,暂时不验证。
请添加图片描述
结果我们出现了这种报错
可以看到报错有个警告,让我们添加证书,我们可以通过设置忽略警告的方式来屏蔽这个警告

import requests
from requests.packages import urllib3

urllib3.disable_warnings()
response = requests.get('https://cdgavin.tuchong.com/103192513/#image1138892868', verify=False)
print(response.status_code)

请添加图片描述
这样我们就忽略了这条警告
我们也可以通过下面这条捕获日志式来捕获警告(logging.captureWarnings)

import logging
import requests
logging.captureWarnings(True)
response = requests.get('https://cdgavin.tuchong.com/103192513/#image1138892868', verify=False)
print(response.status_code)

超时设置

在本机网络状况不好或者服务器网络响应太慢甚至无响应时,我们可能会等待特别久的时间才可能收到响应,甚至到最后收不到响应而报错。为了防止服务器不能及时响应,应该设置一个超时时间,即超过了这个时间还没有得到响应,那就报错。这需要用到 timeout 参数。这个时间的计算是发出请求到服务器返回响应的时间。
这个参数表示我们可以接受的最长的一个等待时间,当我们timeout是一个数值的时候,他表示请求的连接和读取总时长限度,我们也可以元组(a,b)形式来分别做一个限制。当然不设置即默认为None,他将一直等待下去。
一般来说,我们的电脑处理速度很快,我们不会触发到这个错误,所以我故意设置了一个值让他报错

import requests

r = requests.get('https://cdgavin.tuchong.com/103192513/#image1138892868', timeout=0.00000000001)
print(r.status_code)

请添加图片描述
那我们为了严谨点,再把timeout变大些,看他是否成功呢
请添加图片描述
果然,他成功了!

身份认证

虽然我也不懂具体为什么要有身份认证这一环,但想来无非就是安全二字吧。比如说这个网站https://static3.scrape.cuiqingcai.com请添加图片描述
起初我不添加verify=False结果他报错一大堆,那我于是要添加这个来看看是不是他的问题(盲猜不是,但需要验证)

import requests

response = requests.get('https://static3.scrape.cuiqingcai.com', verify=False)
print(response.status_code)

请添加图片描述
但接下来我改进了,不会报错,但会出现401,应该是我的用户名和密码没有通过认证吧。

import requests  
from requests.auth import HTTPBasicAuth  
r = requests.get('https://static3.scrape.cuiqingcai.com/', auth=HTTPBasicAuth('username', 'password'),verify=False)  
print(r.status_code)

请添加图片描述
但下面的另一种摘要式身份认证,我还是得到了想要的结果。
请添加图片描述

import requests
from requests.auth import HTTPDigestAuth  
url = 'http://httpbin.org/digest-auth/auth/user/pass'  
requests.get(url, auth=HTTPDigestAuth('user', 'pass'))  


我只能说,这确实挺神奇的,更深的原理需要继续学习。

  网络协议 最新文章
使用Easyswoole 搭建简单的Websoket服务
常见的数据通信方式有哪些?
Openssl 1024bit RSA算法---公私钥获取和处
HTTPS协议的密钥交换流程
《小白WEB安全入门》03. 漏洞篇
HttpRunner4.x 安装与使用
2021-07-04
手写RPC学习笔记
K8S高可用版本部署
mySQL计算IP地址范围
上一篇文章      下一篇文章      查看所有文章
加:2021-11-15 16:11:28  更:2021-11-15 16:13:19 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年7日历 -2024/7/3 21:42:04-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码