IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 网络协议 -> 爬虫基础(2) -> 正文阅读

[网络协议]爬虫基础(2)

1.Session

Session代表服务器与浏览器的一次会话过程,是一种服务器端的机制,用来存储特定用户会话所需的信息。Session由服务器端生成,保存在服务器中。

2.Cookie

Cookie由服务器端生成并发给客户端,保存在客户端。

当客户端第二次发送请求时,服务器会在请求头中读取Cookie。

3.Ajax

Ajax在浏览器与Web服务器之间使用异步数据传输,这样可以使网页从服务器请求少量的信息,而不是整个页面。Ajax独立于浏览器和平台,对Ajax地址进行Post或get,返回JSON。

4.urllib库

urllib库是Python自带的用于网络请求的库,通常用于爬虫开发,API(应用程序接口)数据获取和测试。

①urllib.requst:用于打开和读取URL

②urllib.error:包含提出的例外(异常)urllib.request

③urllib.parse:用于解析URL

④urllib.robotparser:用于解析robots.txt文件

5.urllib.request库

urllib.request模拟浏览器发起一个HTTP请求,并获取请求响应结果。urllib.request.urlopen语法格式:

urlopen(url,data,[timeout,]*,cafile,capath,cadefault,context)

当不指定data值时,默认为get请求。data以字典形式存储数据,并将参数data由字典类型转换为字节类型才行。

urlopen函数返回的结果是一个http.client.HTTPResponse对象

import urllib.request
import urllib.parse

url = 'https://www.xslou.com/'
data = {'username':'18400000000','password':'123456','action':'login'}
#发送请求
resp = urllib.request.urlopen(url,data=bytes(urllib.parse.urlencode(data),encoding='utf-8'))
html = resp.read().decode('gbk')
print(html)

6.构造Request对象

有些网站具有反爬机制这时需要加上请求头信息冒充浏览器。

import urllib.request
url = 'https://movie.douban.com/'
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36'}
req = urllib.request.Request(url,headers=headers)
resp = urllib.request.urlopen(req)
html = resp.read().decode('utf-8')
print(html)

在此感谢帮我码字的粉丝,这是我的第一位粉丝,让我实现了粉丝数从0到1的突破,无以为报,拜个早年吧!

  网络协议 最新文章
使用Easyswoole 搭建简单的Websoket服务
常见的数据通信方式有哪些?
Openssl 1024bit RSA算法---公私钥获取和处
HTTPS协议的密钥交换流程
《小白WEB安全入门》03. 漏洞篇
HttpRunner4.x 安装与使用
2021-07-04
手写RPC学习笔记
K8S高可用版本部署
mySQL计算IP地址范围
上一篇文章      下一篇文章      查看所有文章
加:2022-01-17 11:49:32  更:2022-01-17 11:51:49 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 12:24:36-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码