| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 网络协议 -> 从问题学习TCP协议 -> 正文阅读 |
|
[网络协议]从问题学习TCP协议 |
从问题学习TCP协议
前情提要以太网帧IP数据报1.在链路层,由以太网的物理特性决定了数据帧的长度为(46+18)-(1500+18),其中的18是数据帧的头和尾,也就是说数据帧的内容最大为1500(不包括帧头和帧尾),即MTU(Maximum Transmission Unit)为1500; TCP包头中就没有“包长度”字段,而完全依靠IP层去处理分帧。这就是为什么TCP常常被称作一种“流协议”的原因 TCP数据报
问题以及解析一. 能不能说一说 TCP 和 UDP 的区别?首先概括一下基本的区别: TCP是一个面向连接的、可靠的、基于字节流的传输层协议。 而UDP是一个面向无连接的传输层协议。(就这么简单,其它TCP的特性也就没有了)。 具体来分析,和
TCP 会精准记录哪些数据发送了,哪些数据被对方接收了,哪些没有被接收到,而且保证数据包按序到达,不允许半点差错。这是有状态。 当意识到丢包了或者网络环境不佳,TCP 会根据具体情况调整自己的行为,控制自己的发送速度或者重发。这是可控制。 相应的,UDP 就是
二. 说说 TCP 三次握手的过程?为什么是三次而不是两次、四次?1. 两军 里应外合过程开始
开始行动 2. 真实握手当然刚刚那段属于扯淡,不代表本人价值观,目的是让大家理解整个握手过程的意义,因为两个过程非常相似。对应到 TCP 的三次握手,也是需要确认双方的两样能力: 从最开始双方都处于 然后客户端主动发起连接,发送 SYN , 自己变成了 服务端接收到,返回 之后客户端再发送 另外需要提醒你注意的是,从图中可以看出,SYN 是需要消耗一个序列号的,下次发送对应的 ACK 序列号要加1,为什么呢?只需要记住一个规则:
SYN 需要对端的确认, 而 ACK 并不需要,因此 SYN 消耗一个序列号而 ACK 不需要。 3. 为什么不是两次?根本原因: 无法确认客户端的接收能力。 分析如下: 如果是两次,你现在发了 SYN 报文想握手,但是这个包滞留在了当前的网络中迟迟没有到达,TCP 以为这是丢了包,于是重传,两次握手建立好了连接。 看似没有问题,但是连接关闭后,如果这个滞留在网路中的包到达了服务端呢?这时候由于是两次握手,服务端只要接收到然后发送相应的数据包,就默认建立连接,但是现在客户端已经断开了。 看到问题的吧,这就带来了连接资源的浪费。 4. 为什么不是四次?三次握手的目的是确认双方 当然可以,100 次都可以。但为了解决问题,三次就足够了,再多用处就不大了。 5. 三次握手过程中可以携带数据么?第三次握手的时候,可以携带。前两次握手不能携带数据。 如果前两次握手能够携带数据,那么一旦有人想攻击服务器,那么他只需要在第一次握手中的 SYN 报文中放大量数据,那么服务器势必会消耗更多的时间和内存空间去处理这些数据,增大了服务器被攻击的风险。 第三次握手的时候,客户端已经处于 6. 同时打开会怎样?如果双方同时发 这是一个可能会发生的情况。 状态变迁如下: 在发送方给接收方发 发完 在各自收到对方的 接着会回复对应的 这就是同时打开情况下的状态变迁。 三. 说说 TCP 四次挥手的过程1. 过程拆解刚开始双方处于 客户端要断开了,向服务器发送 发送后客户端变成了 服务端接收后向客户端确认,变成了 客户端接收到了服务端的确认,变成了 随后,服务端向客户端发送 客户端收到服务端发来的 注意了,这个时候,客户端需要等待足够长的时间,具体来说,是 2 个 2. 等待2MSL的意义如果不等待会怎样? 如果不等待,客户端直接跑路,当服务端还有很多数据包要给客户端发,且还在路上的时候,若客户端的端口此时刚好被新的应用占用,那么就接收到了无用数据包,造成数据包混乱。所以,最保险的做法是等服务器发来的数据包都死翘翘再启动新的应用。 那,照这样说一个 MSL 不就不够了吗,为什么要等待 2 MSL?
这就是等待 2MSL 的意义。 3. 为什么是四次挥手而不是三次?因为服务端在接收到 如果是三次挥手会有什么问题? 等于说服务端将 4. 同时关闭会怎样?如果客户端和服务端同时发送 FIN ,状态会如何变化?如图所示: 四. 说说半连接队列和 SYN Flood 攻击的关系三次握手前,服务端的状态从 1. 半连接队列当客户端发送 2. 全连接队列当客户端返回 3. SYN Flood 攻击原理SYN Flood 属于典型的 DoS/DDoS 攻击。其攻击的原理很简单,就是用客户端在短时间内伪造大量不存在的 IP 地址,并向服务端疯狂发送
4. 如何应对 SYN Flood 攻击?
五. 介绍一下 TCP 报文头部的字段报文头部结构如下(单位为字节): 请大家牢记这张图! 1. 源端口、目标端口如何标识唯一标识一个连接?答案是 TCP 连接的 那 TCP 报文怎么没有源 IP 和目标 IP 呢?这是因为在 IP 层就已经处理了 IP 。TCP 只需要记录两者的端口即可。 2. 序列号即 从图中可以看出,序列号是一个长为 4 个字节,也就是 32 位的无符号整数,表示范围为 0 ~ 2^32 - 1。如果到达最大值了后就循环到0。 序列号在 TCP 通信的过程中有两个作用:
3. ISN即 ISN 并不是一个固定的值,而是每 4 ms 加一,溢出则回到 0,这个算法使得猜测 ISN 变得很困难。那为什么要这么做? 如果 ISN 被攻击者预测到,要知道源 IP 和源端口号都是很容易伪造的,当攻击者猜测 ISN 之后,直接伪造一个 RST 后,就可以强制连接关闭的,这是非常危险的。 而动态增长的 ISN 大大提高了猜测 ISN 的难度。 4. 确认号即 5. 标记位常见的标记位有 SYN 和 ACK 已经在上文说过,后三个解释如下:
6. 窗口大小占用两个字节,也就是 16 位,但实际上是不够用的。因此 TCP 引入了窗口缩放的选项,作为窗口缩放的比例因子,这个比例因子的范围在 0 ~ 14,比例因子可以将窗口的值扩大为原来的 2 ^ n 次方。 7. 校验和占用两个字节,防止传输过程中数据包有损坏,如果遇到校验和有差错的报文,TCP 直接丢弃之,等待重传。 8. 可选项可选项的格式如下: 常用的可选项有以下几个:
六. 说说 TCP 快速打开的原理(TFO)第一节讲了 TCP 三次握手,可能有人会说,每次都三次握手好麻烦呀!能不能优化一点? 可以啊。今天来说说这个优化后的 TCP 握手流程,也就是 TCP 快速打开(TCP Fast Open, 即TFO)的原理。 优化的过程是这样的,还记得我们说 SYN Flood 攻击时提到的 SYN Cookie 吗?这个 Cookie 可不是浏览器的 1. TFO 流程首轮三次握手 首先客户端发送 注意哦!现在服务端不是立刻回复 SYN + ACK,而是通过计算得到一个 客户端拿到这个 Cookie 的值缓存下来。后面正常完成三次握手。 首轮三次握手就是这样的流程。而后面的三次握手就不一样啦! 后面的三次握手 在后面的三次握手中,客户端会将之前缓存的 重点来了,现在服务端能向客户端发 HTTP 响应了!这是最显著的改变,三次握手还没建立,仅仅验证了 Cookie 的合法性,就可以返回 HTTP 响应了。 当然,客户端的 流程如下: 注意: 客户端最后握手的 ACK 不一定要等到服务端的 HTTP 响应到达才发送,两个过程没有任何关系。 2. TFO 的优势TFO 的优势并不在与首轮三次握手,而在于后面的握手,在拿到客户端的 Cookie 并验证通过以后,可以直接返回 HTTP 响应,充分利用了1 个RTT(Round-Trip Time,往返时延)的时间提前进行数据传输,积累起来还是一个比较大的优势。 七. 能不能说说TCP报文中时间戳的作用?
其中 kind = 8, length = 10, info 有两部分构成: timestamp和timestamp echo,各占 4 个字节。 那么这些字段都是干嘛的呢?它们用来解决那些问题? 接下来我们就来一一梳理,TCP 的时间戳主要解决两大问题:
1. 计算往返时延 RTT在没有时间戳的时候,计算 RTT 会遇到的问题如下图所示: 如果以第一次发包为开始时间的话,就会出现左图的问题,RTT 明显偏大,开始时间应该采用第二次的; 如果以第二次发包为开始时间的话,就会导致右图的问题,RTT 明显偏小,开始时间应该采用第一次发包的。 实际上无论开始时间以第一次发包还是第二次发包为准,都是不准确的。 那这个时候引入时间戳就很好的解决了这个问题。 比如现在 a 向 b 发送一个报文 s1,b 向 a 回复一个含 ACK 的报文 s2 那么:
2. 防止序列号回绕问题现在我们来模拟一下这个问题。 序列号的范围其实是在0 ~ 2 ^ 32 - 1, 为了方便演示,我们缩小一下这个区间,假设范围是 0 ~ 4,那么到达 4 的时候会回到 0。
假设在第 6 次的时候,之前还滞留在网路中的包回来了,那么就有两个序列号为 那么用 timestamp 就能很好地解决这个问题,因为每次发包的时候都是将发包机器当时的内核时间记录在报文中,那么两次发包序列号即使相同,时间戳也不可能相同,这样就能够区分开两个数据包了。 八: TCP 的超时重传时间是如何计算的?TCP 具有超时重传机制,即间隔一段时间没有等到数据包的回复时,重传这个数据包。 那么这个重传间隔是如何来计算的呢? 今天我们就来讨论一下这个问题。 这个重传间隔也叫做超时重传时间(Retransmission TimeOut, 简称RTO),它的计算跟上一节提到的 RTT 密切相关。这里我们将介绍两种主要的方法,一个是经典方法,一个是标准方法。 1. 经典方法经典方法引入了一个新的概念——SRTT(Smoothed round trip time,即平滑往返时间),没产生一次新的 RTT. 就根据一定的算法对 SRTT 进行更新,具体而言,计算方式如下(SRTT 初始值为0):
其中,α 是平滑因子,建议值是 拿到 SRTT,我们就可以计算 RTO 的值了:
β 是加权因子,一般为 其实这个算法过程还是很简单的,但是也存在一定的局限,就是在 RTT 稳定的地方表现还可以,而在 RTT 变化较大的地方就不行了,因为平滑因子 α 的范围是 2. 标准方法为了解决经典方法对于 RTT 变化不敏感的问题,后面又引出了标准方法,也叫 一共有三步。 第一步: 计算
注意这个时候的 第二步: 计算
β 建议值为 0.25。这个值是这个算法中出彩的地方,也就是说,它记录了最新的 RTT 与当前 SRTT 之间的差值,给我们在后续感知到 RTT 的变化提供了抓手。 第三步: 计算最终的
这个公式在 SRTT 的基础上加上了最新 RTT 与它的偏移,从而很好的感知了 RTT 的变化,这种算法下,RTO 与 RTT 变化的差值关系更加密切。 九. 能不能说一说 TCP 的流量控制?对于发送端和接收端而言,TCP 需要把发送的数据放到发送缓存区, 将接收的数据放到接收缓存区。 而流量控制索要做的事情,就是在通过接收缓存区的大小,控制发送端的发送。如果对方的接收缓存区满了,就不能再继续发送了。 要具体理解流量控制,首先需要了解 1. TCP 滑动窗口TCP 滑动窗口分为两种: 发送窗口和接收窗口。 发送窗口 发送端的滑动窗口结构如下: 其中包含四大部分:
其中有一些重要的概念,我标注在图中: 发送窗口就是图中被框住的范围。SND 即 接收窗口 接收端的窗口结构如下: REV 即 2. 流量控制过程这里我们不用太复杂的例子,以一个最简单的来回来模拟一下流量控制的过程,方便大家理解。 首先双方三次握手,初始化各自的窗口大小,均为 200 个字节。 假如当前发送端给接收端发送 100 个字节,那么此时对于发送端而言,SND.NXT 当然要右移 100 个字节,也就是说当前的 现在这 100 个到达了接收端,被放到接收端的缓冲队列中。不过此时由于大量负载的原因,接收端处理不了这么多字节,只能处理 40 个字节,剩下的 注意了,此时接收端的情况是处理能力不够用啦,你发送端给我少发点,所以此时接收端的接收窗口应该缩小,具体来说,缩小 60 个字节,由 200 个字节变成了 140 字节,因为缓冲队列还有 60 个字节没被应用拿走。 因此,接收端会在 ACK 的报文首部带上缩小后的滑动窗口 140 字节,发送端对应地调整发送窗口的大小为 140 个字节。 此时对于发送端而言,已经发送且确认的部分增加 40 字节,也就是 SND.UNA 右移 40 个字节,同时发送窗口缩小为 140 个字节。 这也就是流量控制的过程。尽管回合再多,整个控制的过程和原理是一样的。 十. 能不能说说 TCP 的拥塞控制?上一节所说的流量控制发生在发送端跟接收端之间,并没有考虑到整个网络环境的影响,如果说当前网络特别差,特别容易丢包,那么发送端就应该注意一些了。而这,也正是 对于拥塞控制来说,TCP 每条连接都需要维护两个核心状态:
涉及到的算法有这几个:
接下来,我们就来一一拆解这些状态和算法。首先,从拥塞窗口说起。 1. 拥塞窗口拥塞窗口(Congestion Window,cwnd)是指目前自己还能传输的数据量大小。 那么之前介绍了接收窗口的概念,两者有什么区别呢?
限制谁呢? 限制的是 有了这两个窗口,如何来计算
取两者的较小值。而拥塞控制,就是来控制 2. 慢启动刚开始进入传输数据的时候,你是不知道现在的网路到底是稳定还是拥堵的,如果做的太激进,发包太急,那么疯狂丢包,造成雪崩式的网络灾难。 因此,拥塞控制首先就是要采用一种保守的算法来慢慢地适应整个网路,这种算法叫
难道就这么无止境地翻倍下去?当然不可能。它的阈值叫做慢启动阈值,当 cwnd 到达这个阈值之后,好比踩了下刹车,别涨了那么快了,老铁,先 hold 住! 在到达阈值后,如何来控制 cwnd 的大小呢? 这就是拥塞避免做的事情了。 3. 拥塞避免原来每收到一个 ACK,cwnd 加1,现在到达阈值了,cwnd 只能加这么一点: 1 / cwnd。那你仔细算算,一轮 RTT 下来,收到 cwnd 个 ACK, 那最后拥塞窗口的大小 cwnd 总共才增加 1。 也就是说,以前一个 RTT 下来, 当然,慢启动和拥塞避免是一起作用的,是一体的。 4. 快速重传和快速恢复快速重传 在 TCP 传输的过程中,如果发生了丢包,即接收端发现数据段不是按序到达的时候,接收端的处理是重复发送之前的 ACK。 比如第 5 个包丢了,即使第 6、7 个包到达的接收端,接收端也一律返回第 4 个包的 ACK。当发送端收到 3 个重复的 ACK 时,意识到丢包了,于是马上进行重传,不用等到一个 RTO 的时间到了才重传。 这就是快速重传,它解决的是是否需要重传的问题。 选择性重传 那你可能会问了,既然要重传,那么只重传第 5 个包还是第5、6、7 个包都重传呢? 当然第 6、7 个都已经到达了,TCP 的设计者也不傻,已经传过去干嘛还要传?干脆记录一下哪些包到了,哪些没到,针对性地重传。 在收到发送端的报文后,接收端回复一个 ACK 报文,那么在这个报文首部的可选项中,就可以加上 快速恢复 当然,发送端收到三次重复 ACK 之后,发现丢包,觉得现在的网络已经有些拥塞了,自己会进入快速恢复阶段。 在这个阶段,发送端如下改变:
以上就是 TCP 拥塞控制的经典算法: 慢启动、拥塞避免、快速重传和快速恢复。 十一. 能不能说说 Nagle 算法和延迟确认?1. Nagle 算法试想一个场景,发送端不停地给接收端发很小的包,一次只发 1 个字节,那么发 1 千个字节需要发 1000 次。这种频繁的发送是存在问题的,不光是传输的时延消耗,发送和确认本身也是需要耗时的,频繁的发送接收带来了巨大的时延。 而避免小包的频繁发送,这就是 Nagle 算法要做的事情。 具体来说,Nagle 算法的规则如下:
2. 延迟确认试想这样一个场景,当我收到了发送端的一个包,然后在极短的时间内又接收到了第二个包,那我是一个个地回复,还是稍微等一下,把两个包的 ACK 合并后一起回复呢? 延迟确认(delayed ack)所做的事情,就是后者,稍稍延迟,然后合并 ACK,最后才回复给发送端。TCP 要求这个延迟的时延必须小于500ms,一般操作系统实现都不会超过200ms。 不过需要主要的是,有一些场景是不能延迟确认的,收到了就要马上回复:
3. 两者一起使用会怎样?前者意味着延迟发,后者意味着延迟接收,会造成更大的延迟,产生性能问题。 十二. 如何理解 TCP 的 keep-alive?大家都听说过 http 的 试想一个场景,当有一方因为网络故障或者宕机导致连接失效,由于 TCP 并不是一个轮询的协议,在下一个数据包到达之前,对端对连接失效的情况是一无所知的。 这个时候就出现了 keep-alive, 它的作用就是探测对端的连接有没有失效。 在 Linux 下,可以这样查看相关的配置:
不过,现状是大部分的应用并没有默认开启 TCP 的 站在应用的角度:
十三. 利用TCP协议定制其他网络协议,如何解决粘包和拆包的问题?[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4sb33kun-1625556840677)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20210706105230240.png)]
|
|
网络协议 最新文章 |
使用Easyswoole 搭建简单的Websoket服务 |
常见的数据通信方式有哪些? |
Openssl 1024bit RSA算法---公私钥获取和处 |
HTTPS协议的密钥交换流程 |
《小白WEB安全入门》03. 漏洞篇 |
HttpRunner4.x 安装与使用 |
2021-07-04 |
手写RPC学习笔记 |
K8S高可用版本部署 |
mySQL计算IP地址范围 |
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 | -2024/12/27 14:34:43- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |
数据统计 |