当一个用户想访问一个网站时,指定这个网站的域名,DNS就会将这个域名解析为地址,然后用户请求这个地址,返回一个网页。就像要买个东西,首先要查找商店的位置,然后去商店里面找到自己想要的东西,最后拿着东西回家
一、优化点
那这里面还有没有可以优化的地方呢?
例如去电商网站下单买个东西,这个东西一定要从电商总部的中心仓库送过来吗?原来基本是这样的,每一单都是单独配送,所以可能要很久才能收到快递。但是后来电商网站的物流系统在全国各地建立很多仓库,而不是只有总部的中心仓库才可以发货
电商网站根据统计大概知道,北京、上?、广州、深圳、杭州等地,每天能够卖出去多少书 籍、卫生纸、包、电?等存放期比较长的物品。这些物品用不着从中心仓库发出,所以平时就可以将它们分布在各地仓库里,客户一下单,就近的仓库发出,第二天就即可收到
这样,用户体验大大提高。当然,这里面也有个难点就是生鲜类的货物保质期太短,如果提前都备好货,但是没有人下单,那肯定就坏了
二、就近配送
网站访问其实可以借鉴就近配送这个思路
2.1 边缘节点
全球有这么多的数据中心,无论在哪里上网,临近不远的地方基本上都有数据中心。是不是可以在这些数据中心里部署几台机?,形成一个缓存的集群来缓存部分数据,那么用户访问数据的时候,就可以就近访问了呢?
当然是可以的。这些分布在各个地方的各个数据中心的节点,就称为边缘节点
由于边缘节点数目比较多,但是每个集群规模比较小,不可能缓存下来所有东西,因而可能无法命中,这样就会在边缘节点之上有区域节点,规模就要更大,缓存的数据会更多,命中的概率也就更大
2.2 CDN分发系统架构
在区域节点之上是中心节点,规模更大,缓存数据更多。如果还不命中,就只好回源网站访问
CDN分发系统架构 这就是CDN分发系统的架构。CDN系统的缓存,也是一层一层的,能不访问后端真正的源就不打扰它。这也是电商网站物流系统的思路,北京局找不到,找华北局,华北局找不到,再找北方局
2.3 客户端如何找到对应的边缘节点
有了这个分发系统之后,接下来就是,客户端如何找到相应的边缘节点进行访问呢?
还记得基于DNS的全局负载均衡吗?这个负载均衡主要用来选择一个就近的同样运营商的服务?进行访问。可以发现,CDN分发网络也是一个分布在多个区域、多个运营商的分布式系统,也可以用相同的思路选择最合适的边缘节点
2.4 没有CDN的访问情况
在没有CDN的情况下,用户向浏览?输入www.web.com这个域名,客户端访问本地DNS服务 ?的时候,如果本地DNS服务?有缓存,则返回网站的地址,如果没有,递归查询到网站的权威DNS服务?,这个权威DNS服务?是负责web.com的,它会返回网站的IP地址。本地DNS服务?缓存下IP地址,将IP地址返回,然后客户端直接访问这个IP地址,就访问到了这个网站
2.5 有CDN的访问情况
有CDN的时候,在web.com这个权威DNS服务?上,会设置一个CNAME别名,指向另外一个域名www.web.cdn.com返回给本地DNS服务?
当本地DNS服务?拿到这个新的域名时,需要继续解析这个新的域名。这个时候,再访问的就不是web.com的权威DNS服务?了,而是web.cdn.com的权威DNS服务?,这是CDN自己的权威DNS服务?。在这个服务?上还是会设置一个CNAME,指向另外一个域名,也即CDN网络的全局负载均衡?
2.6 选择缓存服务?的依据
接下来,本地DNS服务?去请求CDN的全局负载均衡?解析域名,全局负载均衡?会为用户选择一台合适的缓存服务?提供服务,选择的依据包括:
- 根据用户IP地址,判断哪一台服务?距用户最近
- 用户所处的运营商
- 根据用户所请求的URL中携带的内容名称,判断哪一台服务?上有用户所需的内容
- 查询各个服务?当前的负载情况,判断哪一台服务?尚有服务能力
基于以上这些条件,进行综合分析之后,全局负载均衡?会返回一台缓存服务?的IP地址
本地DNS服务?缓存这个IP地址,然后将IP返回给客户端,客户端去访问这个边缘节点下载资源。缓存服务?响应用户请求,将用户所需内容传送到用户终端。如果这台缓存服务?上并没有用户想要的内容,那么这台服务?就要向它的上一级缓存服务?请求内容,直至追溯到网站的源服务?将内容拉到本地
三、CDN缓存的内容
CDN可以进行缓存的内容有很多种
保质期长的日用品比较容易缓存,因为不容易过期,对应到就像电商仓库系统中的静态页面、图片等,因为这些东西不怎么变,所以适合缓存
3.1 接入层缓存的架构
还记得这个接入层缓存的架构吗?在进入数据中心的时候,希望通过最外层接入层的缓存,将大部分静态资源的访问拦在边缘。而CDN则更进一步,将这些静态资源缓存到离用户更近的数据中心。越接近客户,访问性能越好,时延越低
3.2 CDN支持流媒体协议
但是静态内容中,有一种特殊的内容,也大量使用了CDN,这个就是流媒体
CDN支持流媒体协议,例如RTMP协议。在很多情况下,这相当于一个代理,从上一级缓存读取内容转发给用户。由于流媒体往往是连续的,因而可以进行预先缓存的策略,也可以预先推送到用户的客户端
3.2.1 流媒体主动推送热点数据的模式
对于静态页面来讲,内容的分发往往采取拉取的方式,也即当发现未命中的时候,再去上一级进行拉取。但是,流媒体数据量大,如果出现回源压力会比较大,所以往往采取主动推送的模式,将热点数据主动推送到边缘节点
3.2.2 CDN为流媒体提供预处理服务
对于流媒体来讲,很多CDN还提供预处理服务,也即文件在分发之前经过一定的处理。例如:
- 将视频转换为不同的码流,以适应不同的网络带宽的用户需求
- 对视频进行分片,降低存储压力,也使得客户端可以选择使用不同的码率加载不同的分片
这就是常见的,选择超清、标清、流畅等观看视频
3.2.2 CDN防盗链问题
对于流媒体CDN来讲,有个关键的问题是防盗链问题。因为视频是要花大价钱买版权的,为了挣钱收广告费,如果流媒体被其他的网站盗走并在其他的网站播放,那损失就大了
最常用也最简单的方法就是HTTP头的referer字段, 当浏览?发送请求时一般会带上referer,告诉服务?是从哪个页面链接过来的,服务?基于此可以获得一些信息用于处理。如果refer信息不是来自本站,就阻止访问或者跳到其它链接
referer的机制相对比较容易破解,所以还需要配合其他的机制
一种常用的机制是时间戳防盗链。使用CDN的管理员可以在配置界面上,和CDN厂商约定一个加密字符串
客户端取出当前的时间戳,要访问的资源及其路径,连同加密字符串进行签名算法得到一个字符串,然后生成一个下载链接,带上这个签名字符串和截止时间戳去访问CDN
在CDN服务端,根据取出过期时间和当前CDN节点时间进行比较,确认请求是否过期。 然后CDN服务端有了资源及路径、时间戳以及约定的加密字符串,根据相同的签名算法计算签名,如果匹配则一致,访问合法,才会将资源返回给客户
3.3 动态CDN缓存模式
然而比如在电商仓库中,有关生鲜的缓存就是非常麻烦的事情,这对应着就是动态的数据,比较难以缓存。怎么办呢?现在也有动态CDN,主要有两种模式
3.3.1 边缘计算模式
一种为生鲜超市模式,也即边缘计算的模式 既然数据是动态生成的,所以数据的逻辑计算和存储,也相应的放在边缘的节点。其中定时从源数据那里同步存储的数据,然后在边缘进行计算得到结果。就像对生鲜的烹饪是动态的,没办法事先做好缓存,因而将生鲜超市放在你家旁边,既能够送货上门,也能够现场烹饪,也是边缘计算的一种体现
3.3.2 路径优化模式
另一种是冷链运输模式,也即路径优化的模式 数据不是在边缘计算生成的,而是在源站生成,但是数据的下发则可以通过CDN的网络,对路径进行优化。因为CDN节点较多,能够找到离源站很近的边缘节点,也能找到离用户很近的边缘节点。中间的链路完全由CDN来规划,选择一个更加可靠的路径,使用类似专线的方式进行访问
3.3.3 多个请求复用连接
对于常用的TCP连接,在公网上传输的时候经常会丢数据,导致TCP的窗口始终很小,发送速度上不去。根据TCP流量控制和拥塞控制的原理,在CDN加速网络中可以调整TCP的参数,使得TCP可以更加激进地传输数据
可以通过多个请求复用一个连接,保证每次动态请求到达时。连接都已经建立了,不必临时三次握手或者建立过多的连接,增加服务?的压力。另外,可以通过对传输数据进行压缩,增加传输效率
所有这些手段就像冷链运输,整个物流优化了,全程冷冻高速运输。不管生鲜是从旁边的超市送到你家的,还是从产地送的,保证是新鲜的
四、小结
关于CDN的知识点要记住这两个重点:
|