[系统运维]二、web通信知识拓

一、初级拓展

1、常用浏览器协议

1）ftp

• 重点：用户可通过客户机程序向（从）远程主机上传（下载）文件。
• 基础：文件传输协议（File Transfer Protocol，FTP）是 TCP/IP 协议组中的协议之一。
• TCP/IP工作层：它工作在 OSI 模型的第七层， TCP 模型的第四层， 即应用层，FTP标准命令TCP 端口号为21，Port方式数据端口为20。
• 双向 计算机到计算机：它用于Internet上的控制文件的双向传输，使用 TCP 传输而不是 UDP ，同时它也是一个应用程序。FTP的任务是从一台计算机将文件传送到另一台计算机，不受操作系统的限制。基于不同的操作系统有不同的FTP应用程序，但是这些应用程序都遵守FTP协议以传输文件。
• FTP协议包括两个组成部分，其一为FTP服务器，其二为FTP客户端。其中FTP服务器用来存储文件，用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源，但是 客户在和服务器建立连接前要经过一个“三次握手”的过程， 保证客户与服务器之间的连接是可靠的， 而且是面向连接， 为数据传输提供可靠保证。在开发网站的时候，通常利用FTP协议把网页或程序传到Web服务器上。此外，由于FTP传输效率非常高，在网络上传输大的文件时，一般也采用该协议。

• 客户端运行方式1：需要进行远程文件传输的计算机必须安装和运行ftp客户程序。在windows操作系统的安装过程中，通常都安装了tcp/ip协议软件，其中就包含了ftp客户程序。但是该程序是字符界面而不是图形界面，这就必须以
  命令提示符的方式进行操作，很不方便。
• 客户端运行方式2：启动ftp客户程序工作的另一途径是使用ie 浏览器，用户只需要在ie地址栏中输入如下格式的url地址： ftp：//[用户名：口令@]ftp服务器域名：[端口号]
  (在CMD命令行下也可以用上述方法连接，通过put命令和get命令达到上传和下载的目的，通过ls命令列出目录，除了上述方法外还可以在cmd下输入ftp回车，然后输入open
  IP来建立一个连接，此方法还适用于linux下连接ftp服务器)
  通过ie浏览器启动ftp的方法尽管可以使用，但是速度较慢，还会将密码暴露在ie浏览器中而不安全。因此一般都安装并运行专门的ftp客户程序。

1．在本地电脑上登陆到国际 互联网。
2．搜索有 文件共享主机或者个人电脑(一般有专门的FTP服务器网站上公布的,上面有进入该主机或个人电脑的名称，口令和路径).
3．当与远程主机或者对方的个人电脑建立连接后,用对方提供的用户名和口令登陆到该主机或对方的个人电脑。
4．在远程主机或对方的个人电脑登陆成功后，就可以上传你想跟别人分享的东西或者下载别人授权共享的东西(这里的东西是指能放到电脑里去又能在显示屏上看到的东西).
5．完成工作后关闭FTP 下载软件,切断连接。

2）https

1. HTTP和HTTPS概念

HTTP：是互联网上应用最为广泛的一种网络协议，是一个客户端和服务器端请求和应答的标准（TCP），用于从WWW服务器传输超文本到本地浏览器的传输协议，它可以使浏览器更加高效，使网络传输减少。

HTTPS：是以安全为目标的HTTP通道，简单讲是HTTP的安全版，即HTTP下加入SSL层，HTTPS的安全基础是SSL，因此加密的详细内容就需要SSL。HTTPS协议的主要作用可以分为两种：一种是建立一个信息安全通道，来保证数据传输的安全；另一种就是确认网站的真实性。

2. HTTP传输的风险

HTTP（超文本传输协议）被用于在Web浏览器和网站服务器之间传递信息，HTTP协议以明文方式发送内容，不提供任何方式的数据加密。
所有信息明文传播，带来了三大风险:

（1） 窃听风险（eavesdropping）：第三方可以获知通信内容。
（2） 篡改风险（tampering）：第三方可以修改通信内容。
（3） 冒充风险（pretending）：第三方可以冒充他人身份参与通信。

如果攻击者截取了Web浏览器和网站服务器之间的传输报文，就可以直接读懂其中的信息，因此，HTTP协议不适合传输一些敏感信息，比如：信用卡号、密码等支付信息。

3. HTTPS对HTTP的改进

HTTP协议传输的数据都是未加密的，也就是明文的，因此使用HTTP协议传输隐私信息非常不安全，为了保证这些隐私数据能加密传输，于是网景公司设计了SSL（Secure Sockets Layer）协议用于对HTTP协议传输的数据进行加密，从而就诞生了HTTPS。简单来说，HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议，要比http协议安全。

HTTP+加密+认证+完整性保护 = HTTPS
HTTPS和HTTP的区别主要如下：

1、https协议需要到ca申请证书，一般免费证书较少，因而需要一定费用。
2、http是超文本传输协议，信息是明文传输，https则是具有安全性的ssl加密传输协议。
3、http和https使用的是完全不同的连接方式，用的端口也不一样，前者是80，后者是443。
4、http的连接很简单，是无状态的；HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议，比http协议安全。

4. SSL/TLS协议

4.1 SSL协议的握手过程

开始加密通信之前，客户端和服务器首先必须建立连接和交换参数，这个过程叫做握手（handshake）。
假定客户端叫做爱丽丝，服务器叫做鲍勃，握手阶段分成五步。

第一步，爱丽丝给出协议版本号、一个客户端生成的随机数（Client random），以及客户端支持的加密方法。

第二步，鲍勃确认双方使用的加密方法，并给出数字证书、以及一个服务器生成的随机数（Server random）。

第三步，爱丽丝确认数字证书有效，然后生成一个新的随机数（Premaster
secret），并使用数字证书中的公钥，加密这个随机数，发给鲍勃。

第四步，鲍勃使用自己的私钥，获取爱丽丝发来的随机数（即Premaster secret）。

第五步，爱丽丝和鲍勃根据约定的加密方法，使用前面的三个随机数，生成"对话密钥"（session key），用来加密接下来的整个对话过程。

4.2 私钥的作用

握手阶段有三点需要注意。

（1）生成对话密钥一共需要三个随机数。

（2）握手之后的对话使用"对话密钥"加密（对称加密），服务器的公钥和私钥只用于加密和解密"对话密钥"（非对称加密），无其他作用。

（3）服务器公钥放在服务器的数字证书之中
从上面第二点可知，整个对话过程中（握手阶段和其后的对话），服务器的公钥和私钥只需要用到一次。这就是CloudFlare能够提供Keyless服务的根本原因。

某些客户（比如银行）想要使用外部CDN，加快自家网站的访问速度，但是出于安全考虑，不能把私钥交给CDN服务商。这时，完全可以把私钥留在自家服务器，只用来解密对话密钥，其他步骤都让CDN服务商去完成。银行的服务器只参与第四步，后面的对话都不再会用到私钥了。

4.3 DH算法的握手阶段

整个握手阶段都不加密（也没法加密），都是明文的。因此，如果有人窃听通信，他可以知道双方选择的加密方法，以及三个随机数中的两个。整个通话的安全，只取决于第三个随机数（Premaster secret）能不能被破解。

虽然理论上，只要服务器的公钥足够长（比如2048位），那么Premaster secret可以保证不被破解。但是为了足够安全，我们可以考虑把握手阶段的算法从默认的RSA算法改为Diffie-Hellman算法。

采用DH算法后，Premaster secret不需要传递，双方只要交换各自的参数，就可以算出这个随机数。

4.4 session的恢复

握手阶段用来建立SSL连接。如果出于某种原因，对话中断，就需要重新握手。

这时有两种方法可以恢复原来的session：一种叫做session ID，另一种叫做session ticket。

session ID的思想很简单，就是每一次对话都有一个编号（session ID）。如果对话中断，下次重连的时候，只要客户端给出这个编号，且服务器有这个编号的记录，双方就可以重新使用已有的"对话密钥"，而不必重新生成一把。客户端给出session ID，服务器确认该编号存在，双方就不再进行握手阶段剩余的步骤，而直接用已有的对话密钥进行加密通信。
session ID是目前所有浏览器都支持的方法，但是它的缺点在于session ID往往只保留在一台服务器上。所以，如果客户端的请求发到另一台服务器，就无法恢复对话。session ticket就是为了解决这个问题而诞生的，目前只有Firefox和Chrome浏览器支持。
而Sessionticket的思想类似于cookie，是由服务器将ticket数据结构发由客户端管理，ticket中是包含了加密参数等连接信息。当需要重连的时候，客户端将ticket发送给服务器。这样双方就得到了重用的加密参数。

5. HTTPS比HTTP慢的说明

理论上HTTPS会使网站访问速度变慢,因为HTTPS比HTTP多出了SSL握手环节。HTTP链接比较单纯，使用三个握手数据包建立连接之后，就可以发送内容数据了。

上图中，客户端首先发送SYN数据包，然后服务器发送SYN+ACK数据包，最后客户端发送ACK数据包，接下来就可以发送内容了。这三个数据包的发送过程，叫做TCP握手。而HTTPS链接，它也采用TCP协议发送数据，所以它也需要上面的这三步握手过程。而且，在这三步结束以后，它还有一个SSL握手。
总结一下，就是下面这两个式子。

HTTP耗时 = TCP握手

HTTPs耗时 = TCP握手 + SSL握手

所以，HTTPs肯定比HTTP耗时，这就叫SSL延迟。
————————————————
版权声明：该部分大部分为CSDN博主「西三旗靓仔」的原创文章，此处为转载，原文链接为：https://blog.csdn.net/ccmlove123/article/details/104117058

3）file协议

1. file协议

• 含义：英文名File Protocol，中文为：本地文件传输协议 。
• 什么是File：File协议主要用于访问本地计算机中的文件，就如同在Windows资源管理器中打开文件一样。
• 如何使用File：要使用File协议，基本的格式如下：file:///文件路径，比如要打开D盘images文件夹中的pic.gif文件，那么可以在资源管理器或IE地址栏中键入：file:///D:/images/pic.gif 然后回车。

file格式原因拓展
file格式原因拓展

2、熟悉HTTP

1）熟悉HTTP报文

1.请求方式

2.常见状态码

[link](file:///C:/Users/147/Desktop/http.html).
————————————————
版权声明：https协议部分大部分为博客园博主「周伯通的麦田」的原创文章，此处为转载，原文链接为：https://www.cnblogs.com/phpper/p/9127553.html

3.请求报文和返回报文参数

HTTP 请求消息、响应消息头部实例：

1. 请求报文
   Host：rss.sina.com.cn //客户端指定自己想访问的WEB服务器的域名/IP 地址和端口号
   User-Agent：Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14 //头域的内容包含发出请求的用户信息。
   Accept：text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,/;q=0.5 //定义客户端可以处理的媒体类型，按优先级排序；在一个以逗号为分隔的列表中，可以定义多种类型和使用通配符。
   Accept-Language：zh-cn,zh;q=0.5
   Accept-Encoding：gzip,deflate
   Accept-Charset：gb2312,utf-8;q=0.7,*;q=0.7
   Keep-Alive：300
   Connection：keep-alive
   Cookie：userId=C5bYpXrimdmsiQmsBPnE1Vn8ZQmdWSm3WRlEB3vRwTnRtW <– Cookie
   If-Modified-Since：Sun, 01 Jun 2008 12:05:30 GMT
   Cache-Control：max-age=0
2. 相应报文
   Status：OK - 200 <– 响应状态码，表示 web 服务器处理的结果。
   Date：Sun, 01 Jun 2008 12:35:47 GMT
   Server：Apache/2.0.61 (Unix)
   Last-Modified：Sun, 01 Jun 2008 12:35:30 GMT
   Accept-Ranges：bytes
   Content-Length：18616
   Cache-Control：max-age=120
   Expires：Sun, 01 Jun 2008 12:37:47 GMT
   Content-Type：application/xml
   Age：2
   X-Cache：HIT from 236-41.D07071951.sina.com.cn <– 反向代理服务器使用的 HTTP 头部
   Via：1.0 236-41.D07071951.sina.com.cn:80 (squid/2.6.STABLE13)
   Connection：close
   **=====================================**

HTTP头部解释

1. Accept：告诉WEB服务器自己接受什么介质类型，/ 表示任何类型，type/* 表示该类型下的所有子类型，type/sub-type。

2. Accept-Charset： 浏览器申明自己接收的字符集
   Accept-Encoding： 浏览器申明自己接收的编码方法，通常指定压缩方法，是否支持压缩，支持什么压缩方法 （gzip，deflate）
   Accept-Language：：浏览器申明自己接收的语言语言跟字符集的区别：中文是语言，中文有多种字符集，比如big5，gb2312，gbk等等。

3. Accept-Ranges：WEB服务器表明自己是否接受获取其某个实体的一部分（比如文件的一部分）的请求。bytes：表示接受，none：表示不接受。

4. Age：当代理服务器用自己缓存的实体去响应请求时，用该头部表明该实体从产生到现在经过多长时间了。

5. Authorization：当客户端接收到来自WEB服务器的 WWW-Authenticate 响应时，该头部来回应自己的身份验证信息给WEB服务器。

6. Cache-Control：请求：no-cache（不要缓存的实体，要求现在从WEB服务器去取）
   max-age：（只接受 Age 值小于 max-age 值，并且没有过期的对象）
   max-stale：（可以接受过去的对象，但是过期时间必须小于
   max-stale 值）
   min-fresh：（接受其新鲜生命期大于其当前 Age 跟 min-fresh 值之和的
   缓存对象）
   响应：public(可以用 Cached 内容回应任何用户)
   private（只能用缓存内容回应先前请求该内容的那个用户）
   no-cache（可以缓存，但是只有在跟WEB服务器验证了其有效后，才能返回给客户端）
   max-age：（本响应包含的对象的过期时间）
   ALL: no-store（不允许缓存）

7. Connection：
   请求：
   close（告诉WEB服务器或者代理服务器，在完成本次请求的响应后，断开连接，不要等待本次连接的后续请求了）。
   keepalive（告诉WEB服务器或者代理服务器，在完成本次请求的
   响应后，保持连接，等待本次连接的后续请求）。
   响应：
   close（连接已经关闭）。
   keepalive（连接保持着，在等待本次连接的后续请求）。
   Keep-Alive：如果浏览器请求保持连接，则该头部表明希望 WEB 服务器保持
   连接多长时间（秒）。
   例如：Keep-Alive：300

8. Content-Encoding：WEB服务器表明自己使用了什么压缩方法（gzip，deflate）压缩响应中的对象。
   例如：
   Content-Encoding：gzip
   Content-Language：WEB 服务器告诉浏览器自己响应的对象的语言。
   Content-Length： WEB 服务器告诉浏览器自己响应的对象的长度。
   例如：
   Content-Length: 26012
   Content-Range： WEB 服务器表明该响应包含的部分对象为整个对象的哪个部分。
   例如：
   Content-Range: bytes 21010-47021/47022
   Content-Type： WEB 服务器告诉浏览器自己响应的对象的类型。
   例如：Content-Type：application/xml

9. ETag：就是一个对象（比如URL）的标志值，就一个对象而言，比如一个 html 文件，如果被修改了，其 Etag 也会别修改， 所以，ETag 的作用跟 Last-Modified 的
   作用差不多，主要供 WEB 服务器 判断一个对象是否改变了。
   比如前一次请求某个 html 文件时，获得了其 ETag，当这次又请求这个文件时，
   浏览器就会把先前获得的 ETag 值发送给 WEB 服务器，然后 WEB 服务器
   会把这个 ETag 跟该文件的当前 ETag 进行对比，然后就知道这个文件
   有没有改变了。

10. Expired：WEB服务器表明该实体将在什么时候过期，对于过期了的对象，只有在跟WEB服务器验证了其有效性后，才能用来响应客户请求。
    是 HTTP/1.0 的头部。
    例如：Expires：Sat, 23 May 2009 10:02:12 GMT

11. Host：客户端指定自己想访问的WEB服务器的域名/IP 地址和端口号。
    例如：Host：rss.sina.com.cn

12. If-Match：如果对象的 ETag 没有改变，其实也就意味著对象没有改变，才执行请求的动作。
    If-None-Match：如果对象的 ETag 改变了，其实也就意味著对象也改变了，才执行请求的动作。

13. If-Modified-Since：如果请求的对象在该头部指定的时间之后修改了，才执行请求的动作（比如返回对象），否则返回代码304，告诉浏览器该对象没有修改。
    例如：
    If-Modified-Since：Thu, 10 Apr 2008 09:14:42 GMT
    If-Unmodified-Since：如果请求的对象在该头部指定的时间之后没修改过，才执行
    请求的动作（比如返回对象）。

14. If-Range：浏览器告诉 WEB 服务器，如果我请求的对象没有改变，就把我缺少的部分给我，如果对象改变了，就把整个对象给我。 浏览器通过发送请求对象的
    ETag 或者 自己所知道的最后修改时间给 WEB 服务器，让其判断对象是否
    改变了。
    总是跟 Range 头部一起使用。

15. Last-Modified：WEB 服务器认为对象的最后修改时间，比如文件的最后修改时间，
    动态页面的最后产生时间等等。
    例如：Last-Modified：Tue, 06 May 2008 02:42:43 GMT

16. Location：WEB 服务器告诉浏览器，试图访问的对象已经被移到别的位置了，
    到该头部指定的位置去取。
    例如：Location：

http://i0.sinaimg.cn/dy/deco/2008/0528/sinahome_0803_ws_005_text_0.gif

1. Pramga：主要使用 Pramga: no-cache，相当于 Cache-Control： no-cache。
   例如：Pragma：no-cache

2. Proxy-Authenticate： 代理服务器响应浏览器，要求其提供代理身份验证信息。
   Proxy-Authorization：浏览器响应代理服务器的身份验证请求，提供自己的身份信息。

3. Range：浏览器（比如 Flashget 多线程下载时）告诉 WEB 服务器自己想取对象的哪部分。
   例如：Range: bytes=1173546-

4. Referer：浏览器向 WEB 服务器表明自己是从哪个 网页/URL 获得/点击 当前请求中的网址/URL。
   例如：Referer：http://www.sina.com/

5. Server: WEB 服务器表明自己是什么软件及版本等信息。
   例如：Server：Apache/2.0.61 (Unix)

6. User-Agent: 浏览器表明自己的身份（是哪种浏览器）。
   例如：User-Agent：Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN;
   rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14

7. Transfer-Encoding: WEB 服务器表明自己对本响应消息体（不是消息体里面的对象）
   作了怎样的编码，比如是否分块（chunked）。
   例如：Transfer-Encoding: chunked

8. Vary: WEB服务器用该头部的内容告诉 Cache 服务器，在什么条件下才能用本响应所返回的对象响应后续的请求。
   假如源WEB服务器在接到第一个请求消息时，其响应消息的头部为：Content-Encoding: gzip; Vary: Content-Encoding 那么 Cache 服务器会分析后续请求消息的头部，检查其 Accept-Encoding，是否跟先前响应的 Vary 头部值一致，即是否使用相同的内容编码方法，这样就可以防止 Cache 服务器用自己Cache 里面压缩后的实体响应给不具备解压能力的浏览器。
   例如：Vary：Accept-Encoding

9. Via： 列出从客户端到 OCS 或者相反方向的响应经过了哪些代理服务器，他们用
   什么协议（和版本）发送的请求。当客户端请求到达第一个代理服务器时，该服务器会在自己发出的请求里面添加 Via 头部，并填上自己的相关信息，当下一个代理服务器 收到第一个代理服务器的请求时，会在自己发出的请求里面复制前一个代理服务器的请求的Via头部，并把自己的相关信息加到后面， 以此类推，当 OCS 收到最后一个代理服
   务器的请求时，检查 Via 头部，就知道该请求所经过的路由。
   例如：Via：1.0 236-81.D07071953.sina.com.cn:80 (squid/2.6.STABLE13)
   ————————————————
   版权声明：该部分大部分为博客园博主「Aliáng」的原创文章，此处为转载，原文链接为：https://www.cnblogs.com/aliang1992/p/6049578.html

2）Base64编码

1.Base64编码由来

为什么会有Base64编码呢？有些网络传送渠道并不支持所有的字节，例如传统的邮件只支持可见字符的传送，像ASCII码的控制字符就不能通过邮件传送。这样用途就受到了很大的限制，比如图片二进制流的每个字节不可能全部是可见字符，所以就传送不了。最好的方法就是在不改变传统协议的情况下，做一种扩展方案来支持二进制文件的传送。把不可打印的字符也能用可打印字符来表示，问题就解决了。Base64编码应运而生，Base64就是一种基于64个可打印字符来表示二进制数据的表示方法。

2.Base64编码的详细原理

• 该部分暂未详细了解

基础：Base64要求把每三个8Bit的字节转换为四个6Bit的字节（38 = 46 = 24），然后把6Bit再添两位高位0，组成四个8Bit的字节，也就是说，转换后的字符串理论上将要比原来的长1/3。
URL中有更改。

3.Base64编码作用和特点

1. 由于某些系统中只能使用ASCII字符。Base64就是用来将非ASCII字符的数据转换成ASCII字符的一种方法。
2. base64特别适合在http，mime协议下快速传输数据。
3. base64其实不是安全领域下的加密解密算法。虽然有时候经常看到所谓的base64加密解密。其实base64只能算是一个编码算法，对数据内容进行编码来适合传输。虽base64编码过后原文也变成不能看到的字符格式，但是这种方式很初级，很简单。（base64其实不是安全领域下的加密解密算法。它只能算是一个编码算法，方便网络对数据内容进行传输。加解密可以使用对称、非对称加密算法，这设计密码学的内容。）
4. 最重要的是：1.便于网络传输。2.不可见性。

3）HTTP基本认证

• 待补充

高级拓展

1、简述HTTPS和HTTP的区别和联系

参考：HTTPS和HTTP的区别
了解跟HTTPS相关的CA证书、SSL的概念。

2.系统掌握HTTP协议知识

学习《HTTP权威指南》