| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 网络协议 -> 爬虫requests高阶学习~~@川川菜鸟博主 -> 正文阅读 |
|
[网络协议]爬虫requests高阶学习~~@川川菜鸟博主 |
目录 一、SSL验证什么是ssl?ssl认证_百度百科 以酷狗网站作例子,先来发请求。
?状态码返回200,则表示请求成功。那返回其他的看不懂怎么办呢?于是,我就去找了下面这个链接,嘿嘿嘿~~ ?https://www.runoob.com/http/http-status-codes.htm 如果报错SSLError,表示证书验证错误,可以把verify参数设置为False即可。 ?但还是有报错警告,让我们添加证书,对于这个可以直接设置忽略警告来跳过。?
?运行就可以了。 ?二、代理设置对于某些网站,在测试的时候请求几次,能正常获取内容。但是一旦开始大规模爬取,对于大规模且频繁的请求,网站可能会弹出验证码,或者跳转到登录认证页面,更甚者可能会直接封禁客户端的?IP,导致一定时间段内无法访问。 爬虫requests高阶篇详细教程_python菜鸟-CSDN博客_爬虫教程 三、超时设置在本机网络状况不好或者服务器网络响应太慢甚至无响应时,可能很久才会有响应,或直接报错?。 对于这,可以设置一个超时时间,即超过了这个时间还没有得到响应,那就报错。这需要用到?timeout?参数。这个时间的计算是~~~发出请求到服务器返回响应的时间。示例?设置为:1 ?type blog - Bing 词典?上面的timeout设置的是连接(connect)和读取(read)的timeout总和,分别指定的话,可以传入一个元组就OKK .例如:timeout=(10,20) 四、身份认证1)基本身份认证 可以使用requests自带的身份认证功能: ?基本格式:
?2)摘要式身份认证
总结,慢慢来,小白打卡ing~~~ |
|
网络协议 最新文章 |
使用Easyswoole 搭建简单的Websoket服务 |
常见的数据通信方式有哪些? |
Openssl 1024bit RSA算法---公私钥获取和处 |
HTTPS协议的密钥交换流程 |
《小白WEB安全入门》03. 漏洞篇 |
HttpRunner4.x 安装与使用 |
2021-07-04 |
手写RPC学习笔记 |
K8S高可用版本部署 |
mySQL计算IP地址范围 |
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/26 5:35:55- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |