[区块链]用于6G 及以后动态资源共享的区块链和人工智能

用于6G 及以后动态资源共享的区块链和人工智能
Blockchain and Artificial Intelligence for Dynamic Resource Sharing in 6G and Beyond 2021

摘要

频谱、计算、基础设施等无线资源在 6G 及更高版本中至关重要。
与静态和固定资源分配相比，动态资源共享（DRS）提高了资源利用率，因此需要进一步开发。
区块链和人工智能是 6G 及以后的 DRS 的两种有前途的技术。
在本文中，提出了一种区块链和人工智能赋能的 DRS 架构，其中区块链用于实现 DRS 中的功能，具有改善的分布性、安全性和自动化，并实施 AI 以提高 DRS 中模式识别和决策的性能。
最后，一个案例研究在所提出的架构中实现了动态频谱共享，并使用深度强化学习来优化用户的利润率。

介绍

我们期待 5G 的商业化，但它不能完全支持新兴的无线应用，如全息远程呈现、虚拟现实 (VR) 和普遍连接 [1]。
具体来说，移动设备的急剧增长需要连接达到每平方公里 $10^7$ 个连接，而 5G 支持每平方公里 $10^6$ 个连接，峰值数据速率预计将达到 1 Tb/s，而 5G 为 10 Gb/s [2]。
因此，工业界和学术界现在正朝着 6G 的方向发展，其中将改善峰值数据速率、覆盖范围、连接性、延迟和移动性等关键系统参数。
此外，6G 有望实现自治网络以降低运营成本，并充分融合智能以实现创新的网络设计[2]。

要实现 6G 的目标，频谱、计算、存储和基础设施等无线资源起着至关重要的作用，而仅仅补充这些资源所产生的成本将是巨大的。
例如，报告 [3] 表明，如果无线电频谱分配得当，如果医疗保健、公用事业和高速公路用例同时运行，则需要 76 GHz 频谱频带来满足峰值用户需求。相反，应该进一步利用动态资源共享 (DRS)，因为与静态的和专用的分配策略相比，它提高了资源利用率。例如，已经提出了基于 DRS 的频谱共享方法，例如认知无线电 (CR)，以共享许可频谱的使用 [4]。
此外，计算资源的共享在 6G 时代变得越来越重要，期望将智能分配给终端设备，而不是依赖智能中心 [5]。
最后但并非最不重要的一点是，基站、无人机和卫星等通信基础设施的共享也可以提高通信覆盖率，同时降低成本[1]。

DRS 在实施中面临一些挑战。
主要挑战之一在于 DRS 的平台。
具体而言，DRS以机会主义方式允许移动用户在检测到这些资源空闲的前提下使用这些资源，例如机会频谱接入(OSA)中的情况。
但是，通常缺乏强制性的资源使用记录机制，使资源所有者无法识别和收费。
此外，用户不能专门使用这些资源来保证他们的服务质量（QoS）。
基于拍卖赋能的DRS虽然很好地解决了上述问题，但会产生大量的管理成本。
实施 DRS 的另一个挑战在于可用资源的分配，例如 OSA 中的频谱感知和接入策略，以及无人机 (UAV) 的路由或功率控制，以最大限度地利用资源。
然而，无线系统中增加的复杂性和动态性对实现这一目标的传统优化方法提出了挑战。

区块链和人工智能有望成为支持 6G [5]、[6] 的两种使能技术。

区块链本质上是一个开放的分布式账本，具有去中心化、抗篡改和可追溯性等显着特征。
因此，它有望作为一个账本，使资源所有者能够识别和收费资源用户。
例如，区块链应用于频谱拍卖，提高了安全性和去中心化[7]。
电信监管机构 FCC 也将其视为降低无线电频谱管理管理成本的有前途的解决方案 [8]。

另一方面，以深度学习 (DL) 和深度强化学习 (DRL) 为代表的人工智能技术非常强大，可以自动学习用户的行为模式或进一步为他们做出最佳决策。
通过使用人工智能，可以动态预测用户的移动性和数据/计算流量等行为，从而优化无线资源的分配。
例如，DL 应用于频谱分配、功率控制和流量预测 [9]。

在本文中，研究了 6G 及更高版本中的区块链和 AI 赋能的 DRS。
本文的其余部分组织如下。

1. 首先，提出了将区块链和人工智能应用于 DRS 的潜力。
2. 然后，提出了具有改进可扩展性的区块链分层架构，并讨论了实现人工智能的数据管理。
3. 之后，在所提出的区块链和人工智能赋能的 DRS 架构中实施动态频谱共享 (DSS) 的案例研究，仿真结果表明 DRL 可以有效地优化用户的利润率。

区块链和人工智能在动态资源共享方面的潜力

图1 区块链和人工智能赋能的 DRS 架构

如图1所示，提出了6G区块链和AI赋能的DRS架构，区块链是DRS的赋能平台，利用AI技术优化DRS。

区块链实现动态资源共享

区块链本质上是一个开放的分布式账本。
它由点对点 (P2P) 网络中的多个用户自主维护，而不是由中心化账本的第三方实体维护 [10]。

区块链记录交易的流程

在一笔交易被记录在区块链之前，主要涉及以下三个阶段。

1. 广播、验证和存储
   交易首先被其发起者加密并广播给所有其他用户。
   经用户验证后，将被附加到有效交易列表中。
2. 创建新区块
   多个用户共同选举一个用户发布一个新区块，其中储存在被选举出来的用户中的有效交易的列表被记录。
   选举是通过共识算法执行的，例如比特币中的工作证明（PoW）[10]。
3. 公布
   被选举出来的用户转发新块给其他用户。
   然后，其他用户检查该块的有效性，然后将有效块添加到其区块链的本地副本中。

随着去中心化程度的不同，区块链一般分为公有区块链和私有区块链，允许访问和维护区块链的用户分别是所有用户和预定义用户。

区块链的应用

区块链主要实现以下两个应用。

1. 分布式数据库
   区块链可以首先用作分布式数据库来记录网络中的交易。
   通过包含最后一个块的哈希，一个新块链接到现有的区块链，因此它具有防篡改和可追溯性 [10]。
   通过密码学，可以验证交易的可靠性，并且不能否认区块链中的有效交易。
2. 智能合约
   记录从用户协议转换的计算机程序的智能合约可以存储在区块链中[11]。
   然后，区块链网络中的用户可以通过向其在区块链上的唯一地址发送交易来访问智能合约并与之交互。
   一旦满足预定义的条件，智能合约将自动执行。

区块链实现动态资源共享

如下，提出了区块链实现 DRS 功能的潜力，并与传统方法进行了比较。

1. 广告
   资源可用性的传统广播可能效率低下并且存在被伪造的风险。相反，P2P 区块链网络中的通信将提高资源可用性的广告效率，并且区块链网络中的身份认证可以防止身份伪造[7]。
   传统上，资源可用性也可以存储在中央数据库中并通过其访问，例如 TV White Space (TVWS)。但是，它面临着单点故障。相反，中心化数据库可以被区块链取代，具有更高的安全性、可访问性和分散性。
2. 监管
   传统的集中监管机构确保资源的专门使用。但是，它在 DRS 中可能效率低下，尤其是在某些资源的许可证需要频繁更改以提高资源利用率的情况下。此外，这种集中的监管机构面临着单点故障的风险。
   通过使用区块链，DRS 的监管权限被分配给多个用户或实体，每个用户或实体的成本降低。此外，单点故障的风险也会降低。
3. 记录
   机会主义的 DRS，如 OSA，通常缺乏使用的强制性记录，这阻止了资源所有者了解和收取此类使用的费用。
   通过使用区块链，所有用户都可以维护一个分布式的、安全的、不可否认的 DRS 账本，其中资源使用将被完整记录。此外，资源所有者可以向用户收费并更好地了解资源利用率。
4. 付款结算
   传统上，支付结算依赖于第三方机构。资源共享的频繁交易将导致高昂的管理成本。
   取而代之的是，智能合约可用于自主结算付款，并且可以在 DRS 的多次交易后结算付款，因为它们在区块链上具有不可篡改和不可否认性。

表 1. 区块链和人工智能与传统方法实现动态资源共享 (DRS) 功能的比较。

人工智能优化动态资源共享

深度学习 DL
深度强化学习 DRL

近来，人工智能在自然语言处理、图像识别等诸多领域展现出强大的实力。
在其使能技术中，DL 和 DRL 越来越受到关注。
深度神经网络 (DNN) 支持深度学习，它是多个人工神经网络 (ANN) 层的堆栈 [9]。
DRL，也就是DL赋能的RL，得益于DL强大的学习能力，可以学习将状态映射到在该状态下采取不同动作所获得的长期奖励。
DRL 会根据从环境中获得的奖励不断地调整其中的参数，以便通过将状态输入 DRL 得出的动作可以使用户获得最大的长期奖励 [9]。

如下，提出了人工智能技术在 DRS 中实现功能的潜力，并与传统方法进行了比较。

1. 模式识别
   无线网络中用户的行为往往遵循一些隐藏的模式。捕获这些隐藏模式对于优化 DRS 至关重要。
   传统的识别这些模式的统计方法，如信号检测理论，需要一些先验知识，如信道衰落和噪声条件，在此基础上设计和提取专家特征进行模式识别。但是，如果假设的信号模型与实际的信号模型不匹配，则性能会大大降低。泛化性能不好
   相反，DL 支持 DRS 中的数据驱动模式识别，例如调制方案分类 [9]。首先，设计一个 DNN 来对从数据到其模式的映射函数进行建模，然后使用标有其实际模式的无线传感器收集的数据来优化 DNN 中的参数。训练后，学习从信号到其模式的映射。
2. 自动决策
   在DRS中，有很多决策，如资源的竞价和定价、传输信道选择和传输功率选择。
   推导此类决策的传统方法（例如凸优化）可能效率低下，因为它们需要用户或无线网络的瞬时信息，而由于通信延迟而难以获得这些信息。
   通过使用人工智能，尤其是DL，可以离线建模和学习过时信息到最优决策的映射函数。
   如果没有可用于 DL 离线训练的数据集，则可以使用 DRL 代替。DRL 使用在线训练，通过与环境交互来收集训练数据，即根据其当前策略做出决策。DRL 使用收集到的数据优化其策略，专门调整其中 DNN 的参数，使其策略下的奖励最大化。

表 1 总结了区块链和人工智能实现 DRS 功能的潜力，并将它们与传统方法进行了比较。

挑战

然而，区块链和人工智能对 DRS 的实施存在以下挑战。

区块链的开销

1. 区块链网络中所有允许的用户都需要存储整个区块链的副本，这会导致高存储开销。
   例如，据估计，截至 2019 年 3 月 25 日，比特币区块链的大小为 245 GB。每个用户都要存储整个区块链的信息
2. 另一方面，计算和通信开销会增加交易确认延迟，也就是将交易添加到区块链中的时间。
   例如，2020 年 7 月比特币的交易确认延迟平均为 9.4 分钟。

上述开销共同限制了区块链的可扩展性，定义为每秒可以处理的平均事务数。
例如，比特币平均每秒只能处理 3.3 到 7 笔交易，这些交易具有平均或中等大小。
在 6G 中，需要更频繁地实施 DRS 以进一步提高资源利用率，这意味着 DRS 的海量事务将会发生。
通过区块链处理此类交易具有挑战性，特别是考虑到有限的计算能力、无线设备的存储容量以及 DRS 中严格的延迟要求。

公共区块链或私有区块链

所有用户都可以维护和访问公共区块链。
因此，它更适用于用户群体较大的开放资源共享系统。
在DRS中，由于移动设备的高移动性，使用公共区块链降低了频繁注册的成本，并实现了资源可用性的轻松共享。
然而，由于验证者数量众多，公共区块链中的交易验证具有很高的延迟，这对于 DRS 中对延迟敏感的应用程序来说可能是无法容忍的。
相反，私有区块链仅将访问和验证权限分配给众所周知的特定用户。
然而，它减少的延迟是以去中心化和可用性为代价的。

在文献中，公共和私有区块链在动态频谱管理中的应用在 [12] 中进行了比较。

为 AI 采集训练数据

数据对于 AI 模型的训练至关重要。
借助更多样化和更丰富的训练数据集，AI 模型可以更好地学习无线网络中的模式。
然而，在传统的DRS系统中，通常缺乏移动设备共享数据的高效平台。原因有两个。

1. 首先，用于存储和共享此类数据的中心化云或边缘数据库可能存在单点故障，这可能导致未经授权的数据访问，并且数据所有者无法直接控制对其数据的访问。
2. 此外，用户可能不愿意分享他们的数据，这可能会泄露他们的私人信息。

区块链的层次结构和人工智能的数据管理

在本节中，提出了分层结构以减少区块链的开销，并讨论了促进人工智能实施的数据管理。

区块链的层次结构以减少开销

当前减少区块链开销的解决方案包括链下和链上扩展[13]。

1. 链下扩展旨在减少将存储在区块链上的交易数量。相反，大部分交易记录在链下平台，例如闪电网络，只有最终结算会记录在区块链上。
2. 另一方面，链上扩展是将区块链网络拆分为多个独立的分片，一笔交易将仅由一个分片的节点处理和存储。

一个交易只需储存在部分节点上
这两种方式都将减轻区块链网络中节点处理交易的负担，从而减少区块链的开销。

图2 两层分层区块链架构

在本文中，如图 2 所示，引入了两层层次结构，以提高无线网络中 DRS 区块链的可扩展性。
具体来说，首先划分一个区域，然后开发出两种不同层次的区块链网络。
具体来说，规模较小的区块链网络称为本地区块链网络。这样的网络由移动设备和该区域的每个段中的基站或另一个网络实体构成。
另一方面，规模更大的区块链网络被称为全局区块链网络。全局区块链网络中的节点包括本地区块链网络中的所有基站或其他网络实体，它们将本地区块链存储在其所属的段中。此类节点以固定或动态的频率将本地区块链的更新添加到全局区块链中。

区块链赋能的 DRS 的层次结构的好处如下。

1. 降低共识算法的复杂性
   共识算法 [10] 的实现可以是基于计算的工作证明 (PoW) 或基于随机选择的权益证明 (PoS)，都可以从分层结构中受益。
   具体来说，由于本地和全局区块链网络中验证者的数量减少，它们的复杂性和延迟降低了。

2. 减少存储和通信开销
   在分层区块链中，移动设备只需要在其所属的本地区块链网络中维护交易即可。因此，将减少移动设备的存储和通信开销。
   虽然基站或其他网络实体维护着全局区块链中所有移动设备的交易，但由于其更高的存储容量和更强的计算能力，它们可以承受这样的开销。

用于获取训练数据的数据管理

在 6G 及以后，预计将产生和收集大量数据。
因此，数据管理（例如数据预处理和共享）变得越来越重要，尤其是对于数据驱动的人工智能算法。

预处理

直接存储和处理在无线网络中收集的完整数据的成本将是巨大的。
相反，应该根据其中信息的价值来明智地选择数据，这可以通过深度强化学习来实现[1]。

另一方面，可以通过使用人工智能技术来利用非结构化数据来提取其中的结构和含义。

直接分享

作为一种传统的数据共享方式，数据所有者将其数据上传到中心化数据库，并授权受信任的第三方控制数据访问。然而，这种数据共享方法面临着单点故障和数据滥用的风险。

相反，区块链的使用可以以去中心化的方式促进数据共享[14]。
具体来说，可以在区块链上实现智能合约，用于自主控制对数据库的访问，即决定是否以请求数据的加密地址响应数据请求者。
由于地址是使用数据请求者的公钥加密的，因此只能使用数据请求者的私钥对其进行解密。
请注意，智能合约由数据所有者创建，并且可以由他们修改。
因此，他们可以直接控制自己的数据。

间接分享

如果用户出于隐私考虑不愿意分享他们的数据，数据请求者可以将他们的 AI 算法、所需数据的地址和获取的边缘计算地址发送到由数据所有者创建的智能合约。
然后，智能合约将自主进行 AI 的训练，并将训练好的 AI 算法反馈给用户。

另一方面，区块链可以促进联邦学习（FL），这是一种很有前途的去中心化人工智能范式。
使用 FL，移动设备在不共享其私有数据的情况下联合训练 AI 模型。
相反，他们通过使用他们的数据训练 AI 模型获得的 AI 模型更新被共享和聚合。
区块链可用于记录本地更新，提高去中心化和安全性，智能合约可用于聚合本地更新，提高自动化程度。
在 [15] 中研究了使用区块链来促进 FL。

应用场景

动态频谱共享

分层结构的区块链有利于动态频谱共享（DSS）。
区域内不同区段的基站在同时使用特定频段时，可以首先检测到干扰。
具有负担得起的干扰的基站对可以允许在它们所属的本地区块链网络中同时使用这些频段。能受得了干扰就可以使用频段
从本质上讲，这样的架构将某些频段的许可分配到了某个段而不是整个区域，进一步提高了频谱资源的利用率和DSS的灵活性。不同的段可以使用相同的频谱，类似小区

自动驾驶汽车

车辆的信息可以记录在区块链的交易中并与他人共享。

通过使用分层结构，由于每个区域的车辆数量较少，本地区块链内的交易将更快地得到验证。本地区块链网络延迟低

另一方面，跨本地区块链网络记录交易的延迟几乎保持不变。
然而，分层区块链网络中的延迟与自动驾驶汽车中操作的延迟容限相匹配，这通常与相应操作的事件距离成正比。

功率控制

功率控制是减轻通信干扰的有效方法。
所提出的框架可用于提高功率控制的安全性和效率。

1. 首先，防篡改区块链可以提供移动设备对功率控制的承诺的证据。记录的安全性
2. 其次，移动设备感知到的干扰可以记录在本地区块链中，以反馈给其他人。
   根据反馈，移动设备可以通过将其他移动设备的反馈输入到人工智能模型（如 DRL）来调整其传输功率。干扰信息的交流和智能调整传输功率
3. 此外，由于减少了本地区块链网络中交易确认的延迟，区块链的分层结构提高了功率控制的效率。本地区块链网络延迟低

案例研究：分层区块链和人工智能赋能的动态频谱共享

分层区块链网络中的动态频谱共享DSS

正如应用场景中提出的，分层结构的区块链有利于DSS。
在分层区块链支持的 DSS 中，用户可以获得每个本地区块链网络中的频谱许可，并在许可的时间段内使用这些频谱带。
但是，如果它移动到一个新的本地区块链网络，将不允许继续使用该频段。这是因为频段可能已分配给新的本地区块链网络中的另一个用户。
请注意，当用户在本地区块链网络之间移动时，将实施切换管理，以便捕获他们的离开或到达。
此外，通过jamming等操作，通过本地区块链网络中所有用户的共同努力，可以防止恶意行为，例如未经许可的频谱使用。

假设用户可以确定每个频谱许可请求中的时隙数。
直观地说，频谱许可中时隙的增加提高了传输性能和传输费用，两者共同决定了利润率，定义为成功传输数据包的数量除以支付费用。
传输性能隐含地受到数据流量和用户移动模式的影响。
另一方面，频谱资源的费用包括交易费和频谱许可费。
具体来说，每个许可请求的发起都会使发起者产生固定的交易费用，并且频谱许可费用与频谱许可中的时隙数量成正比。
因此，为了最大化利润率，用户预测其长期流量和移动性至关重要。

使用深度强化学习实现利润率最大化

图3 区块链和人工智能赋能的动态频谱共享

通过使用 DRL 算法，智能代理可以通过持续参与 DSS 并根据其动作获得奖励来优化频谱许可持续时间的选择。
具体而言，智能代理的状态定义为其数据缓冲区的占用率，动作为用户请求占用信道的时隙数（图3）。
此外，如果动作是不申请频谱许可，则奖励为 1。在其他情况下，奖励是利润率。
请注意，对于 DRL 的训练，移动用户可以求助于边缘计算，在 DRL 收敛后，可以关闭训练以节省计算资源。

仿真用于说明 DRL 方法的有效性。

系统设置如下所示。
DRL的动作空间选择为{0,1,2,…,99}；
交通流遵循泊松过程，期望值为 18；
信道容量为20；
并且缓冲区大小设置为 100。
这样的设置使移动设备不总是请求信道。
相反，它可以将到达的数据包存储在其缓冲区中，并在将来传输它们。
但是，缓冲区大小设置为相对较小以控制延迟。

对于支付，交易费设置为 5.0，每个时隙的频谱许可费设置为 1.0。
这样的设置是为了激励移动设备在每次交易中请求多个时隙的频谱许可，以减少交易传输、处理和存储的费用。

此外，移动模式是用户以等于 0.1 的概率随机决定离开其当前的本地区块链网络。

DRL 代理中的 DNN 被选择为一个四层的全连接神经网络，两个隐藏层的神经元数量分别为 100 和 40。

在图 4 中，显示了利润率的移动平均值与训练epoch的关系，滑动窗口的长度为 100。
为了比较，还显示了传统 Q 学习和随机决策的结果。
结果表明，通过使用 DRL 方法，随着训练的继续，利润率先上升后在小范围内略有波动。原因是通过持续获得奖励，DRL 智能体逐渐学习移动模式、数据流量和信道容量。
还观察到，DRL 方法大大优于传统的 Q 学习算法和随机决策策略。这是因为这种情况下 Q-table 的大尺寸使其难以更新，并且离散状态空间进一步降低了其性能。

在图 5 中，显示了每个许可时隙的吞吐量的移动平均值与训练epoch的关系。
结果表明，DRL 方法也优于传统的 Q 学习算法和随机决策。
这是可以预期的，因为从最大化利润率中学到的隐藏模式也有助于最大化每个许可时隙的吞吐量。

结论和未来方向

在本文中，我们提出了将区块链和人工智能应用于 6G 及以后的 DRS 的潜力、优势和挑战。
已经研究了在所提出的 DRS 架构中实现动态频谱共享的案例研究，仿真结果显示了深度强化学习在最大化用户利润率方面的有效性。
已经讨论了减少区块链开销和促进获取人工智能训练数据的解决方案。
然而，这些挑战需要进一步研究。
其他问题，如不同应用场景下公有链和私有链的选择标准，以及降低计算成本的共识算法设计等，也需要进一步研究。

声明

本文是对原文的翻译和个人笔记，仅用作学习用途！