IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 网络协议 -> 【网络协议趣谈】CDN静态和动态数据缓存 -> 正文阅读

[网络协议]【网络协议趣谈】CDN静态和动态数据缓存

当一个用户想访问一个网站时,指定这个网站的域名,DNS就会将这个域名解析为地址,然后用户请求这个地址,返回一个网页。就像要买个东西,首先要查找商店的位置,然后去商店里面找到自己想要的东西,最后拿着东西回家

一、优化点

那这里面还有没有可以优化的地方呢?

例如去电商网站下单买个东西,这个东西一定要从电商总部的中心仓库送过来吗?原来基本是这样的,每一单都是单独配送,所以可能要很久才能收到快递。但是后来电商网站的物流系统在全国各地建立很多仓库,而不是只有总部的中心仓库才可以发货

电商网站根据统计大概知道,北京、上?、广州、深圳、杭州等地,每天能够卖出去多少书 籍、卫生纸、包、电?等存放期比较长的物品。这些物品用不着从中心仓库发出,所以平时就可以将它们分布在各地仓库里,客户一下单,就近的仓库发出,第二天就即可收到

这样,用户体验大大提高。当然,这里面也有个难点就是生鲜类的货物保质期太短,如果提前都备好货,但是没有人下单,那肯定就坏了

二、就近配送

网站访问其实可以借鉴就近配送这个思路

2.1 边缘节点

全球有这么多的数据中心,无论在哪里上网,临近不远的地方基本上都有数据中心。是不是可以在这些数据中心里部署几台机?,形成一个缓存的集群来缓存部分数据,那么用户访问数据的时候,就可以就近访问了呢?

当然是可以的。这些分布在各个地方的各个数据中心的节点,就称为边缘节点

由于边缘节点数目比较多,但是每个集群规模比较小,不可能缓存下来所有东西,因而可能无法命中,这样就会在边缘节点之上有区域节点,规模就要更大,缓存的数据会更多,命中的概率也就更大

2.2 CDN分发系统架构

在区域节点之上是中心节点,规模更大,缓存数据更多。如果还不命中,就只好回源网站访问

CDN分发系统架构
在这里插入图片描述
这就是CDN分发系统的架构。CDN系统的缓存,也是一层一层的,能不访问后端真正的源就不打扰它。这也是电商网站物流系统的思路,北京局找不到,找华北局,华北局找不到,再找北方局

2.3 客户端如何找到对应的边缘节点

有了这个分发系统之后,接下来就是,客户端如何找到相应的边缘节点进行访问呢?

还记得基于DNS的全局负载均衡吗?这个负载均衡主要用来选择一个就近的同样运营商的服务?进行访问。可以发现,CDN分发网络也是一个分布在多个区域、多个运营商的分布式系统,也可以用相同的思路选择最合适的边缘节点
在这里插入图片描述

2.4 没有CDN的访问情况

在没有CDN的情况下,用户向浏览?输入www.web.com这个域名,客户端访问本地DNS服务 ?的时候,如果本地DNS服务?有缓存,则返回网站的地址,如果没有,递归查询到网站的权威DNS服务?,这个权威DNS服务?是负责web.com的,它会返回网站的IP地址。本地DNS服务?缓存下IP地址,将IP地址返回,然后客户端直接访问这个IP地址,就访问到了这个网站

2.5 有CDN的访问情况

有CDN的时候,在web.com这个权威DNS服务?上,会设置一个CNAME别名,指向另外一个域名www.web.cdn.com返回给本地DNS服务?

当本地DNS服务?拿到这个新的域名时,需要继续解析这个新的域名。这个时候,再访问的就不是web.com的权威DNS服务?了,而是web.cdn.com的权威DNS服务?,这是CDN自己的权威DNS服务?。在这个服务?上还是会设置一个CNAME,指向另外一个域名,也即CDN网络的全局负载均衡?

2.6 选择缓存服务?的依据

接下来,本地DNS服务?去请求CDN的全局负载均衡?解析域名,全局负载均衡?会为用户选择一台合适的缓存服务?提供服务,选择的依据包括:

  1. 根据用户IP地址,判断哪一台服务?距用户最近
  2. 用户所处的运营商
  3. 根据用户所请求的URL中携带的内容名称,判断哪一台服务?上有用户所需的内容
  4. 查询各个服务?当前的负载情况,判断哪一台服务?尚有服务能力

基于以上这些条件,进行综合分析之后,全局负载均衡?会返回一台缓存服务?的IP地址

本地DNS服务?缓存这个IP地址,然后将IP返回给客户端,客户端去访问这个边缘节点下载资源。缓存服务?响应用户请求,将用户所需内容传送到用户终端。如果这台缓存服务?上并没有用户想要的内容,那么这台服务?就要向它的上一级缓存服务?请求内容,直至追溯到网站的源服务?将内容拉到本地

三、CDN缓存的内容

CDN可以进行缓存的内容有很多种

保质期长的日用品比较容易缓存,因为不容易过期,对应到就像电商仓库系统中的静态页面、图片等,因为这些东西不怎么变,所以适合缓存

3.1 接入层缓存的架构

在这里插入图片描述
还记得这个接入层缓存的架构吗?在进入数据中心的时候,希望通过最外层接入层的缓存,将大部分静态资源的访问拦在边缘。而CDN则更进一步,将这些静态资源缓存到离用户更近的数据中心。越接近客户,访问性能越好,时延越低

3.2 CDN支持流媒体协议

但是静态内容中,有一种特殊的内容,也大量使用了CDN,这个就是流媒体

CDN支持流媒体协议,例如RTMP协议。在很多情况下,这相当于一个代理,从上一级缓存读取内容转发给用户。由于流媒体往往是连续的,因而可以进行预先缓存的策略,也可以预先推送到用户的客户端

3.2.1 流媒体主动推送热点数据的模式

对于静态页面来讲,内容的分发往往采取拉取的方式,也即当发现未命中的时候,再去上一级进行拉取。但是,流媒体数据量大,如果出现回源压力会比较大,所以往往采取主动推送的模式,将热点数据主动推送到边缘节点

3.2.2 CDN为流媒体提供预处理服务

对于流媒体来讲,很多CDN还提供预处理服务,也即文件在分发之前经过一定的处理。例如:

  • 将视频转换为不同的码流,以适应不同的网络带宽的用户需求
  • 对视频进行分片,降低存储压力,也使得客户端可以选择使用不同的码率加载不同的分片

这就是常见的,选择超清、标清、流畅等观看视频

3.2.2 CDN防盗链问题

对于流媒体CDN来讲,有个关键的问题是防盗链问题。因为视频是要花大价钱买版权的,为了挣钱收广告费,如果流媒体被其他的网站盗走并在其他的网站播放,那损失就大了

最常用也最简单的方法就是HTTP头的referer字段, 当浏览?发送请求时一般会带上referer,告诉服务?是从哪个页面链接过来的,服务?基于此可以获得一些信息用于处理。如果refer信息不是来自本站,就阻止访问或者跳到其它链接

referer的机制相对比较容易破解,所以还需要配合其他的机制

一种常用的机制是时间戳防盗链。使用CDN的管理员可以在配置界面上,和CDN厂商约定一个加密字符串

客户端取出当前的时间戳,要访问的资源及其路径,连同加密字符串进行签名算法得到一个字符串,然后生成一个下载链接,带上这个签名字符串和截止时间戳去访问CDN

在CDN服务端,根据取出过期时间和当前CDN节点时间进行比较,确认请求是否过期。 然后CDN服务端有了资源及路径、时间戳以及约定的加密字符串,根据相同的签名算法计算签名,如果匹配则一致,访问合法,才会将资源返回给客户

3.3 动态CDN缓存模式

然而比如在电商仓库中,有关生鲜的缓存就是非常麻烦的事情,这对应着就是动态的数据,比较难以缓存。怎么办呢?现在也有动态CDN,主要有两种模式

3.3.1 边缘计算模式

一种为生鲜超市模式,也即边缘计算的模式
既然数据是动态生成的,所以数据的逻辑计算和存储,也相应的放在边缘的节点。其中定时从源数据那里同步存储的数据,然后在边缘进行计算得到结果。就像对生鲜的烹饪是动态的,没办法事先做好缓存,因而将生鲜超市放在你家旁边,既能够送货上门,也能够现场烹饪,也是边缘计算的一种体现

3.3.2 路径优化模式

另一种是冷链运输模式,也即路径优化的模式
数据不是在边缘计算生成的,而是在源站生成,但是数据的下发则可以通过CDN的网络,对路径进行优化。因为CDN节点较多,能够找到离源站很近的边缘节点,也能找到离用户很近的边缘节点。中间的链路完全由CDN来规划,选择一个更加可靠的路径,使用类似专线的方式进行访问

3.3.3 多个请求复用连接

对于常用的TCP连接,在公网上传输的时候经常会丢数据,导致TCP的窗口始终很小,发送速度上不去。根据TCP流量控制和拥塞控制的原理,在CDN加速网络中可以调整TCP的参数,使得TCP可以更加激进地传输数据

可以通过多个请求复用一个连接,保证每次动态请求到达时。连接都已经建立了,不必临时三次握手或者建立过多的连接,增加服务?的压力。另外,可以通过对传输数据进行压缩,增加传输效率

所有这些手段就像冷链运输,整个物流优化了,全程冷冻高速运输。不管生鲜是从旁边的超市送到你家的,还是从产地送的,保证是新鲜的

四、小结

关于CDN的知识点要记住这两个重点:

  • CDN和电商系统的分布式仓储系统一样,分为中心节点、区域节点、边缘节点,而数据缓存在离用户最近的位置

  • CDN最擅长的是缓存静态数据,除此之外还可以缓存流媒体数据,这时要注意使用防盗链。它也支持动态数据的缓存,一种是边缘计算的生鲜超市模式,另一种是链路优化的冷链运输模式

  网络协议 最新文章
使用Easyswoole 搭建简单的Websoket服务
常见的数据通信方式有哪些?
Openssl 1024bit RSA算法---公私钥获取和处
HTTPS协议的密钥交换流程
《小白WEB安全入门》03. 漏洞篇
HttpRunner4.x 安装与使用
2021-07-04
手写RPC学习笔记
K8S高可用版本部署
mySQL计算IP地址范围
上一篇文章      下一篇文章      查看所有文章
加:2021-08-08 11:53:51  更:2021-08-08 11:54:53 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/3 7:12:42-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码