| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 区块链 -> MEMO分散式云存储,元宇宙数据存储基建 -> 正文阅读 |
|
[区块链]MEMO分散式云存储,元宇宙数据存储基建 |
无论展现在我们眼前的宇宙有多复杂,一切却都是由最基础的粒子组成。我们可以想象这个宇宙,上帝就是一个想象力丰富的孩子,基础粒子犹如他手里的乐高积木,这些积木是无限供应的,所以他想要的任意物体都能组合出来。元宇宙也有着同样的相似性,二进制的数字世界里0、1就如同宇宙的基础粒子,这些粒子同样是无限供应的,可以堆砌出我们想要的任意虚拟物体。新的组合不断在产生,积累越来越多,元宇宙里将住满千奇百怪的事物。而与此同时,现实世界里的数据也在持续增长,因为元宇宙的扩展最终都会表现成现实世界里的数据。如果我们将元宇宙的扩展看成无限的,数据的产生就是无限的,与之对应的存储空间的增长也是无限的。 数据相当于元宇宙的肉身,因此与之有关的存储基建便十分重要,并且站在商业角度看,这是一个无限增长的市场。虽然关于元宇宙的话题持续火热,但对元宇宙的数据存储及存储基建讨论目前却还未看到,本文想就此问题进行讨论。 元宇宙的存储是去中心化的 元宇宙的特点就是几乎从感官无法察觉出它的不真实性,想到这里你是否有梦如人生人生如梦的感慨? 元宇宙的到来意味着一个人将拥有两种人生,一种人生由现实中的角色扮演,一种由虚拟的元宇宙里的角色扮演。很难说这两种角色哪个更重要,对有些人来说,元宇宙里的角色甚至更重要,因为那里有现实中没有的一切。 在元宇宙里无论是怎样的物体,现实世界中都以数据的形式存在。因为元宇宙对人的重要性并不亚于现实世界,所以数据的安全性将异常重要。可以想到,如果一段数据记录的是一个人的角色信息,那么如果这段数据丢失,是否和在现实中杀死一个人无异? 元宇宙的数据安全,当前中心化的存储方式绝对不是一个好的选择。在当前,我们的数据都存储在某个网络服务商的服务器上,服务商对我们的数据拥有绝对的权力。中心化的存储是建立在对存储服务商的信任上,但服务商的一切行为都是出于商业目的,只要不符合他们的商业利益,便有可能对你的数据删除或者篡改。例如曾经的网易博客,随着博客商业价值的降低,网易公司最终关闭了博客服务器,用户从此无法找回他们留在博客上的美好记忆。例如曾经的百度卖吧事件,吧主多年经营起来的血友吧等有商业价值的贴吧,遭到百度公司强行接管。 上面两个事例中我们看到,将数据交由中心化的网络服务商根本无法做到真正的安全,在元宇宙里,这无异于将自己的生命和财富装在别人口袋中。因此,元宇宙的存储必然是去中心化的,数据被保管在一个没有中心节点的存储系统中,这样才能真正保证我们数字财产与生命的安全。 元宇宙与去中心化存储 去中心化存储去除了元宇宙数据存储的人性因素。目前我们已经看到一些去中心化的存储项目,像Filecoin、Storj、Arweave。不过,虽然这些存储项目自称是去中心化的,但其实称为多中心可能更加合适,因为它们的存储设备几乎都是数据中心,而数据中心的数量显然是有限的。 拥有越多的存储节点,存储的去中心化程度越高,反之越低。MEMO实现了对边缘存储空间的利用,存储节点数量犹如满天繁星,有着更加彻底的去中心化程度。 所谓边缘存储空间,即我们日常生活中的电脑、NSA等设备上未使用的空间。MEMO将这些资源组织起来,每个边缘存储设备都可以作为MEMO中的一个存储节点。这些设备的数量不可想象,带来真正的去中心化存储。 MEMO分散式云存储 分布式存储和分散式存储是两个看似接近的名字,两者主要不同便是存储设备的分散程度。分布式存储,所使用的都是集中的数据中心,而分散式存储,所利用的不只有数据中心,也可以同时利用我们日常中的电脑、NAS等多余的存储空间。 在技术上,分布式存储和分散式存储存在一定的传承关系,我们可以认为分散式存储是分布式存储的升级版,因为两者最主要的区别是设备的分散程度。从数量上来说,分布式存储可能利用了100台设备,分散式存储所利用的设备可能是这一数量的N次方。 亚马逊云、阿里云、微软云,这些中心化的云存储系统,其都是分布式存储。其实最早的存储形式是集中式的,所有的数据集中在一个机房。之所以后来发展成分布式的,是因为这样可以让数据更安全。不难理解,数据被存在一个设备上,一旦数据丢失就再也无法找回来,要是同样的数据保存在多个设备上,那么一旦数据在一个设备上丢失,我们还能在其他设备上找回。 上面说,存储由集中式转为分布式最大的益处是数据更安全了,同样的,到了MEMO分散式云存储时代,存储设备数量进一步增加,数据的安全性当然更上了一个层次。同时,传统的分布式存储要依靠于中心化的数据中心,数据中心建设周期漫长,且伴有运维成本,而MEMO分散式云存储调度使用边缘存储空间,砍掉了这两个大的成本环节,因此MEMO会有更低的存储成本。 RAFI RAFI是MEMO分散式云存储在存储领域的贡献,由MEMO团队首先提出,相关论文于2018年发表在国际高级计算机系统组织USENIX学术会议上,RAFI被首先用于MEMO。 RAFI由RAFI、ACI、DRPR三项技术共同组成(它们分别是Risk-Aware Failure Identification、Adaptive Check Intervals、Degraded Read with Parallel Recontruction的简称)。 针对RAFI的实验,结果表明,在3副本系统中,相对于传统的数据失效确认策略,在最好的情况下,RAFI可以提高4倍的可靠性,同时引起的额外的修复流量不会超过全部修复流量的1%。对于纠删码系统,高的修复惩罚会导致修复流量的成倍增长,从而极大影响系统的其他服务,因此,在纠删码系统中更多关注的修复流量的问题。实验结果表明,在一个1000节点的RS(6,3)编码的存储集群中,相对于传统的数据失效确认策略,在最好的情况下,RAFI 能够在提升11倍可靠性并降低45%的不可用时间的同时,减少28%的修复网络流量。 针对ACI的实验,结果表明,在一个1000个节点的三副本系统中,在最好的情况下,ACI在RAFI的基础上可以进一步提高3.2倍的可靠性,同时带来的管理节点的检测所消耗的CPU时间增加了18%。 针对DRPR的原型实验,结果表明,大多数情况下,DRPR 的降级读的延迟可以比现有最好的方案低10%以上。 以上是RAFI的实验数据,在产品设计上,MEMO还有两个主要创新点,一是创新数据分层机制,二是创新数据验证机制。从逻辑层面分析,这两点创新同样会使产品的性能相对于原有结构的系统提升。 Memo与元宇宙数据存储 利用边缘存储空间,让MEMO获得了无数存储节点,拥有了最大程度的去中心化程度,最大化的去除了数据存储过程中的人性因素。同时,利用边缘存储空间,节点数量更多,地理空间上分布更广,数据更安全。同时也为我们带来更低的存储成本。MEMO独有的RAFI技术,则带来存储系统的数据可靠性、可用性、服务能力的提升。 元宇宙的构想让我们对未来充满了遐想和期盼,这样一个平行于现实世界的虚拟空间会与现实世界同等重要,它也将不断的产生大量的重要数据。元宇宙的数据存储必然是去中心化的,而MEMO对边缘存储空间的利用,使得它有最彻底的去中心化程度。而MEMO在其他方面的优势,进一步提高了元宇宙数据存储的标准。 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 | -2024/12/27 10:43:55- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |
数据统计 |