python网络爬虫——爬虫基础简介
1.什么是爬虫
通过编写程序模拟浏览器上网，如何让其去互联网上抓取数据的过程。
2.HTTP协议
——概念：就是服务器和客户端进行数据交互的一种形式。
3.常用请求头信息
——User-Agent:表示请求载体的身份标识`
#ua监测：门户网站的服务器会监测对应载体的身份标识，如果监测到请求的载体身份标识为
某一浏览器说明这就是一个正常请求。但是，如果监测到请求的载体的身份标识不是基于
# 某一款浏览器的，则标识该请求为不正常请求（爬虫），则服务器端很有可能拒绝该次请求。
#UA: User-Agent：（请求载体的身份标识）
#UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器
#通常网站上复制过来的中文会在url中乱码但是可以手动改为中文
#UA伪装：将对应的User-Agent封装到一个字典中`
——Connection:请求完毕后，是断开连接还是继续保持连接
4.常用响应头信息
——Content-Type:服务器响应回客户端的数据类型
5.https协议
——安全的HTTP协议，安全的超文本协议（数据加密）
6.加密方式
——对称密钥加密：又称私钥加密，即信息的发送方和接收方用一个密钥去加密和解密数据。它的最大优势是加/解密速度快，适合于对大数据量进行加密，但密钥管理困难。
——非对称密钥加密：又称公钥加密，它需要使用一对密钥来分别完成加密和解密操作，一个公开发布，即公开密钥，另一个由用户自己秘密保存，即私用密钥。信息发送者用公开密钥去加密，而信息接收者则用私用密钥去解密。公钥机制灵活，但加密和解密速度却比对称密钥加密慢得多。
——证书密钥加密：