[系统运维]计算机网络微课笔记04

第五章 运输层

1.概述

• 物理层、数据链路层以及网络层共同解决了将主机通过异构网络互联起来的问题，实现了主机到主机的通信

• 实际上在计算机网络中进行通信的真正实体是位于通信两端主机中的进程

• 为运行在不同主机上的应用进程提供直接的通信服务是运输层的任务，运输层协议又称为端到端协议

• 根据应用需求的不同，运输层为应用层提供了两种不同的运输协议：面向连接的TCP和无连接的UDP>，这两种协议是运输层讨论的主要内容

2.运输层端口号、复用与分用的概念

• 运行在计算机上的进程使用进程标识符PID来标志，但不同操作系统使用不同格式的进程标识符。为了使运行不同操作系统的计算机的应用进程之间能够进行网络通信，必须使用统一的方法对TCP/IP体系的应用进程进行标识

• TCP/IP体系的运输层使用端口号区分应用层的不同应用进程

  • 端口号16bit表示，取值范围0-65535

    • 熟知端口号：0-1023，用于TCP/IP体系中最重要的应用协议，例如FTP使用21/20，HTTP使用80DNS使用53

    • 登记端口号：1024-49151，没有熟知端口号的应用程序使用，必须在IANA按规定登记

    • 短暂端口号：49152-65335.留给客户进程选择暂时使用。当服务器进程收到用户进程的报文时，就知道客户进程使用的动态端口号。通信结束后该端口号可供其他客户进程使用

  • 端口号只有本地意义，即端口号只是为了标识本计算机应用层中的各进程，不同计算机中的相同端口号是没有联系的

• 发送方的复用和接收方的分用

• TCP/IP体系的应用层常用协议所使用的运输层熟知端口号

?

3.UDP和TCP

?

4.TCP的流量控制

• 流量控制的目的是让发送方的发送频率不要太快，要让接收方来得及接收

• 利用滑动窗口机制可以方便地在TCP连接上实现对发送方的流量控制

  • TCP接收方利用自己的接收窗口的大小来限制发送方发送窗口的大小

  • TCP接收方接收数据后回发TCP确认报文段(ACK=1)，并在TCP报文段首部的确认号字段(ack)进行累计确认

  • TCP发送方收到接收方的零窗口通知后，应启动持续计时器(避免更改窗口的小的报文丢失，导致发送窗口保持为0，接收窗口等待的死锁情况)，持续计时器超时后，向接收方发送零窗口探测报文(该报文也有计时器)

5.TCP的拥塞控制

• 在某段时间，若对网络中某一资源(带宽，交换结点中的缓存和处理机等)的需求超过了该资源所能提供的可用部分，网络性能就要变坏，这种情况就叫做拥塞

• 若出现拥塞而不进行控制，整个网络的吞吐量将随输入地负荷的增大而下降

• 发送方维护一个叫做拥塞窗口cwnd的状态变量，其值取决于网络的拥塞程度，并动态变化

  • 拥塞窗口cwnd的维护原则：只要没有出现拥塞，拥塞窗口就增大一些，只要网络出现拥塞，拥塞窗口就减小

  • 判断出现网络拥塞的依据：没有按时收到应当到达的确认报文(即发生超时重传)

• 发送方将拥塞窗口作为发送窗口swnd，即swnd=cwnd

• 维护一个慢开始门限ssthresh状态变量

  • 当cwnd<ssthresh，使用慢开始算法

  • 当cwnd>ssthresh，停止使用慢开始算法，使用拥塞避免算法

  • 当cwnd=ssthresh，可使用慢开始算法或拥塞避免算法

• 快重传：发送方尽快进行重传，而不是等超时重传计时器超时再重传

  • 要求接收方不等待自己发送数据时才确认，而是立即发送确认

  • 收到了失序的报文段后对已收到的报文段重复确认

  • 发送方收到3各连续的重复确认，就将相应的报文段立即重传，不等待超时重传计时器超时再重传

  • 个别报文丢失不会导致超时重传，就不会误认为出现了拥塞，快重传可以让整个网络的吞吐量提高约20%

• 发送方接收3个重复确认，知道只是丢失了个别报文段，于是不启动慢开始，而执行快恢复算法

  • 发送方将慢开始门限ssrhresh和拥塞窗口cwnd值调整为当前窗口的一半，开始执行拥塞避免算法

  • 也有的快恢复实现是把快恢复开始时的拥塞窗口cwnd增大3，原因是有3个数据报文段已离开网络，不停留在接收方的接受缓存中，可适当扩大窗口

6.TCP超时重传时间的选择

• 超时重传时间RTO应略大于往返时间RTT

• 不能直接使用某次测量得到的RTT样本来计算超时重传时间RTO

• 利用每次测量得到的RTT样本，计算加权平均往返时间RTTs（又称为平滑的往返时间），超时重传时间RTO应略大于加权平均往返时间

  

• 往返时间RTT测量是复杂的，为了解决超时重传无法测准往返时间RTT的问题，使用Karn算法：计算加权平均往返时间RTTs时，只要报文段重传了，就不采用其往返时间RTT样本。不重新计算RTTs和RTO。但是在报文段时延增大且保持时，这会导致超时重传时间无法更新，导致报文段反复重传。

• 对Karn算法的修正：报文段每重传一次，就把超时重传时间RTO增大一些。典型的做法是将新RTO的值取为旧RTO值的2倍。

7.TCP可靠传输的实现

• TCP基于以字节为单位的滑动窗口来实现可靠传输

• 发送方的发送窗口并不总是和接收方的接收窗口一样大

  • 网络传送窗口值需要经历一定时间的时间滞后，而且这个时间是不确定的

  • 发送方还可能根据网络当时的拥塞情况适当减小自己的发送窗口尺寸

• 对于不按序到达的数据如何处理，TCP无明确规定

  • 若直接丢弃不按序到达的数据，接收窗口的管理会比较简单，但不利于网络资源利用

  • TCP通常对不按序到达的数据临时存放在接收窗口中，等到字节流中锁缺少的字节收到后，再按序交付上层的应用进程

• TCP要求接受方必须有累计确认和捎带确认机制，减小传输开销。接收方可以在合适时发送确认，也可以在自己有数据要发送时把确认信息捎带上。

  • 接收方不赢过分推迟发送确认，否则会导致发送方不必要的超时重传。TCP标准规定，确认推迟的时间不应超过0.5s。若收到一连串具有最大长度的报文段，必须每隔一个报文段就发送一个确认。

  • 捎带确认实际上并不经常发生，因为大多数应用程序很少同时在两个方向上发送数据。

• TCP的通信是全双工通信。通信中的每一方都有自己的发送和接收窗口。

8.TCP的运输连接管理

TCP的连接建立

• TCP的连接建立要解决以下三个问题

  • 使TCP双方能够确知对方的存在。

  • 使TCP双方能够协商一些参数(如最大窗口值，是否使用窗口扩大选项和时间戳选项以及服务质量等)。

  • 使TCP双方能够对运输实体资源(如缓存发小、连接表中的项目等)进行分配。

• TCP使用三报文握手建立连接

  • TCP标准规定，SYN=1的报文段不能携带数据，消耗一个序号。

  • 普通的确认报文段如果不携带数据，则不消耗序号。

TCP的连接释放

• TCP通过四报文释放连接

• TCP服务器每收到一次TCP客户进程的数据，就重新设置并启动保活计时器。

• 若保活计时器定时周期内未收到TCP客户进程发来的数据，则当保活计时器到时后，TCP服务器进程就向TCP客户进程发送一个探测报文段，以后每隔75s发送一次。若一连发送10个探测报文段后仍无TCP客户进程的响应，TCP服务器进程就认为TCP客户进程所在主机出了故障，关闭连接。

9.TCP报文段的首部格式

• 为了实现可靠传输，TCP采用了面向字节流的方式。

• 但TCP在发送数据时，是从发送缓存中取出一部分或全部字节并给其添加一个首部使之称为TCP报文段后进行发送。

  • 一个TCP报文段由首部和数据载荷两部分构成

  • TCP的全部功能都体现在它首部中各字段的作用

• 源端口：16bit，写入源端口号，用来标识发送该TCP报文段的应用进程。

• 目的端口：16bit，写入目的端口号，用来标识接收该TCP报文段的应用进程。

• 序号：32bit，指出本TCP报文段数据载荷的第一个字节的序号。

• 确认号：32bit，指出期望收到对方下一个TCP报文段的数据载荷的第一个字节的序号，同时也是对之前收到的所有数据的确认。

• 确认标志位ACK：取值为1时确认号字段才有效，取值为0时确认号字段无效。TCP规定，连接建立后所有传送的TCP报文ACK均置1。

• 数据偏移：4bit，以4字节为单位。用来指出TCP报文段的数据载荷部分的起始处距离TCP报文段的起始处有多远。这个字段实际上是只出了TCP报文段的首部长度。取值为20-60。

• 保留：6bit，保留，目前置为0。

• 窗口：16bit，字节为单位，指出发送本报文段的一方的接收窗口。

• 校验和：16bit，检查范围包括TCP报文段的首部和数据载荷两部分。在计算校验和时，要在TCP报文段的前面加上12字节的伪首部。

• 同步标志位SYN：在TCP连接建立时用来同步序号。

• 终止标志位FIN：用来释放TCP连接。

• 复位标志位RST：用来复位TCP连接。当RST=1时，表明TCP连接出现了异常，必须释放连接，然后再重新建立连接。RST置1还用来拒绝一个非法的报文段或拒绝打开一个TCP连接。

• 推送标志位PSH：接收方的TCP收到该标志位为1的报文段会尽快上交应用进程，而不必等到接受缓存都填满后再向上交付。

• 紧急标志位URG：取值为1时紧急指针字段有效。取值为0时紧急指针字段无效。

• 紧急指针：占16bit，以字节为单位，用来指明紧急数据的长度。

当发送方有紧急数据时，可将紧急数据插队到发送缓存的最前面，并立即封装到一个TCP报文段中进行发送。紧急指针会指出本报文段数据再和部分包含了多长的紧急数据，紧急数据之后是普通数据。

• 扩展首部

  • 最大报文段长度MSS选项：TCP报文段数据载荷部分的最大长度。

  • 窗口扩大选项：为了扩大窗口(提高吞吐率)。

  • 时间戳选项：用来计算往返时间RTT；处理序号超范围的情况，又称为防止序号绕回PAWS。

  • 选择确认选项

• 填充：保证报文段首部能被4整除

第六章 应用层

1.客户/服务器方式(C/S方式)和对等方式(P2P方式)

客户/服务器方式

• 客户和服务器是指通信中所涉及的两个应用进程

• 客户/服务器方式所描述的是进程之间服务和被服务的关系

• 客户是服务请求方，服务器是服务提供方

• 服务器总是处于运行状态，并等待客户的服务请求。服务器具有固定端口号(例如HTTP服务器的默认端口号为80)。而运行服务器的主机也具有固定的IP地址。

• C/S方式是因特网上传统的，同时也是最成熟的方式。很多我们熟悉的网络应用采用的都是C/S方式。包括万维网WWW、电子邮件、文件传输FTP等。

• 基于C/S方式的应用服务器通常是服务集中型的，即应用服务集中在网络中比客户机少的多的服务器计算机上

  • 由于一台服务器要为多个客户机提供服务，在C/S应用中，常会出现服务器计算机跟不上众多客户机请求的情况。

  • 为此，在C/S应用中，常用计算机群集(或服务器场)构建一个强大的虚拟服务器。

对等方式P2P

• P2P方式中，没有固定的服务请求者和服务提供者，分布在网络边缘各端系统中的应用进程是对等的，被称为对等方。对等方相互之间直接通信，每个对等方既是服务的请求者，又是服务的提供者。

• 目前因特网流行的P2P应用主要包括P2P文件共享、即时通信、P2P流媒体、分布式存储等。

• 基于P2P的应用是服务分散型的，因为服务分散在大量对等计算机中，不是服务提供商所有，而是为个人控制的桌面计算机和笔记本电脑。

• P2P的特性是可扩展性。因为系统每增加一个对等方，不仅增加的是服务的请求者，同时也增加了服务的提供者，系统性能不会因规模的增大而降低。

• P2P方式具有成本上的优势。通常不需要庞大的服务器设施和服务器带宽。

2.动态主机配置协议DHCP

• 动态主机配置协议DHCP提供了一种机制，称为即插即用连网。这种机制允许一台计算机加入新网络时可自动获取IP地址等网络配置信息而不用手工参与。

• DHCP报文在运输层使用UDP协议封装

  • DHCP客户使用的UDP端口号为68

  • DHCP服务器使用的UDP端口号为67

• DHCP客户在未获取到IP地址使用地址0.0.0.0

• 在每一个网络上都设置一个DHCP服务器会使DHCP服务器的数量太多。因此每个网络至少有一个DHCP中继代理(通常是一台路由器)，它配置了DHCP服务器的IP地址信息，作为各网络中计算机与DHCP服务器的桥梁。

3.域名系统DNS

• 因特网采用层次树状结构的域名结构

• 域名结构由若干个分量组成，分量之间用点隔开

  • 每一级域名都有英文字母和数字组成，不超过63个字符，不区分大小写字母。

  • 级别最低的域名写在最左边，而级别最高的顶级域名写在最右边。

  • 完整的域名不超过255个字符。

• 域名系统不规定一个域名需要包含多少个下级域名，也不规定每一级的余名代表什么意思。

• 各级域名由上一级的域名管理机构管理，而最高的顶级域名由因特网名称与数字地址分配机构ICANN进行管理。

• 顶级域名TLD分为以下三类：

  • 国家顶级域名nTLD：采用ISO3166的规定。如cn表示中国，us表示美国等

  • 通用顶级域名gTLD：com(公司企业)，net(网络服务机构)，org(非盈利性组织)，int(国际组织)，edu(美国教育机构)，gov(美国政府部门)，mil(美国军事部门)。

  • 反向域arpa：用于反向域名解析，即IP地址反向解析为域名

• 在国家顶级域名下注册的二级域名由该国自行确定

• 我国将二级域名划分为以下两类：

  • 类别域名：ac科研机构，com企业，edu教育机构，gov政府部门，net提供网络服务的机构，mil军事机构，org非盈利性组织。

  • 行政区域名：共34个，适用于我国各省，自治区，直辖市。

• 域名和IP地址的映射关系必须保存在域名服务器中，供所有其他应用查询。DNS使用分布在各地的域名服务器来实现域名到IP地址的转换。

• 域名服务器可以划分为以下四种不同的类型

  • 根域名服务器： 根域名服务器是最高层次的域名服务器，知道所有的顶级域名服务器的域名及IP地址。因特网共有13个不同IP地址的根域名服务器。每台服务器都是分布在各地的计算机构成的服务器集群。当本地域名服务器向根域名服务器发出查询请求时，路由器就把查询请求报文转发到离这个DNS客户最近的一个根域名服务器，加快DNS查询过程。根域名服务器通常并不直接对域名进行解析，而是返回该域名所述顶级域名的顶级域名服务器的IP地址。

  • 顶级域名服务器： 这些域名服务器负责管理在该顶级域名服务器注册的所有二级域名。当收到DNS查询请求时就给出相应的回答(可能是最后的结果，也可能是下一级权限域名服务器的IP地址)。

  • 权限域名服务器 这些域名服务器负责管理某个区的域名，每一个主机的域名都必须在某个权限域名服务器注册登记。因此权限域名服务器知道其管辖的域名与IP地址的映射关系。权限域名服务器还知道其下级域名服务器的地址。

  • 本地域名服务器 本地域名服务器不属于上述的域名服务器的等级结构。当一个主机发出DNS请求报文时，这个报文就首先被送外该主机的本地域名服务器。本地域名服务器起着代理的作用，会将该报文转发到上述的域名服务器的等级结构中。每一个因特网服务提供者ISP，都可以拥有一个本地域名服务器，有时也被称为默认域名服务器。本地域名服务器离用户较近，一般不超过几个路由器，也有可能就在同一个局域网中。

• 域名解析的过程

• 为了提高DNS查询效率，减轻根域名服务器的负荷和减少因特网上的DNS查询报文数量，在域名服务器中广泛使用了高速缓存。高速缓存用来存放最近查询过的域名以及从何处取得域名映射信息的记录。

• 为保持高速缓存中的内容正确。域名服务器为每项内容设置计时器并删除超过合理时间的项。

• 用户主机中同样存在高速缓存，只在从缓存中找不到域名时才向域名服务器查询。

• DNS报文使用运输层的UDP协议进行封装，端口号为53。

4.文件传送协议FTP

• 文件传送FTP是因特网上使用的最广泛的文件传送协议

  • FTP提供交互式的访问，允许客户指明文件的类型与格式（如指明是否使用ASCII码），并允许文件具有存取权限（如访问文件的用户必须经过授权，并输入有效的口令）。

  • FTP屏蔽了各计算机系统的细节，因而适合于在异构网络中任意计算机之间传送文件。

• FTP的常见用途是在计算机之间传输文件，尤其是用于批量传输文件。也常用语将构成网站内容的大量文件批量上传到他们的Web服务器。

• FTP的基本工作原理

  • 有数据要传输时，FTP客户通过命令通道告知FTP服务器来与自己的另一个临时端口建立TCP连接，建立数据通道。

  • 建立数据通道时，FTP服务器主动连接FTP客户称为主动模式，FTP服务器被动等待FTP客户端建立连接称为被动模式。

5.电子邮件

• 电子邮件是因特网上最早流行的一种应用。

• 电子邮件采用客户/服务器方式

• 电子邮件系统的三个主要组成：用户代理，邮件服务器，电子邮件需要的协议

  • 用户代理是用户与电子邮件系统的接口

  • 邮件服务器是电子邮件系统的基础设施。因特网上所有的ISP都有邮件服务器，其功能是发送和接收邮件，同时负责维护用户的邮箱。

  • 协议包括邮件发送协议（例如SMTP）和邮件读取协议（例如POP3，IMAP）。

• 简单邮件传送协议SMTP

• 电子邮件有信封和内容两部分，内容由首部和主题两部分构成。

• SMTP协议只能传送ASCII码文本数据，不能传送可执行文件或其他二进制对象，也不能传送多媒体邮件和许多非英语国家的文字。

• 为解决SMTP传送非ASCII码文本的问题，提出了多用途因特网邮件扩展MIME。

  • 增加了5个新的邮件首部字段，提供了有关邮件主体的信息。

  • 定义了许多邮件内容的格式，对多媒体电子邮件的表示方法进行了标准化。

  • 定义了传送编码，可对任何内容格式进行转换，而不会被邮件系统改变。

• 实际上MIME不仅仅用于SMTP，也用于同样面向ASCII字符的HTTP。

• 常用的邮件读取协议有以下两个

  • 邮局协议POP：因特网正式标准。简单但功能有限，用户只能以下载并删除方式或下载并保留方式从邮件服务器下载邮件到用户方服务器。不允许用户在邮件服务器上管理自己的邮件。（例如创建文件夹，对邮件进行分类管理等）。

  • 因特网邮件访问协议IMAP：因特网建议标准。用户在自己的计算机上就可以操控邮件服务器中的邮箱，就像在本地操控一样，因此IMAP是一个联机协议。

  • POP3和IMAP4都采用基于TCP连接的客户/服务器方式。POP3使用熟知端口110，IMAP4使用熟知端口143。

• 基于万维网的电子邮件

  • 通过浏览器登录（提供用户名和口令）邮件服务器万维网就可以撰写收发和管理电子邮件。方式与IMAP类似，但不需要安装专门的用户代理程序。

  • 邮件服务器提供方便的邮件管理功能，用户可以在邮件服务器上管理和处理自己的邮件。

6.万维网

• 万维网WWW是一个大规模的、联机的信息储藏所，是运行在因特网上的一个分布式应用。

• 浏览器最重要的部分是渲染引擎，也就是浏览器内核，负责对网页内容进行解析和显示。

• 万维网使用统一资源定位符URL来指明因特网上任何种类资源的位置。其一般形式为：<协议>：//<主机>：<端口>/<路径>

• 万维网文档

  • 超文本标记语言HTML，使用多种标签来描述网页的结构和内容。

  • 层叠样式表CSS，从审美角度来描述网页的样式。

  • 脚本语言JavaScript，控制网页的行为。

• 超文本传输协议HTTP定义了浏览器（万维网客户进程）怎样向万维网服务器请万维网文档，以及万维网服务器怎样把万维网文档传送给浏览器。

  • HTTP/1.0采用非持续连接方式。每次浏览器要请求一个文件都要与服务器建立TCP连接（80端口），当收到响应后就立即关闭连接。

  • HTTP/1.1采用持续连接方式。万维网服务器在发送相应后仍然保持这条连接，使同一个客户（浏览器）和该服务器可以继续在这条连接上传送后续的HTTP请求报文和响应报文。还可采用流水线方式，即浏览器收到HTTP的相应报文之前就能够连续发送多个请求报文。

• HTTP有两类报文：请求报文和响应报文。报文中的每一个字段都是一些ASCII码串，并且每个字段的长度都是不确定的。

• Cookie提供了一种机制使得万维网服务器能够记住用户，而无序用户主动提供标识信息。Cookie是一种对无状态的HTTP进行状态化的技术。

• 在万维网中还可以使用缓存机制以提高万维网的效率。万维网缓存又称为Web缓存，可位于客户机，也可位于中间系统上，位于中间系统的Web缓存又称为代理服务器。

• HTTP的报文格式

  

• Cookie