IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 区块链 -> 比特币源码分析--深入理解区块链 7.点对点网络:节点选择以及淘汰机制 -> 正文阅读

[区块链]比特币源码分析--深入理解区块链 7.点对点网络:节点选择以及淘汰机制

????????在上一篇文章中介绍了P2P节点的连接来源,连接数量限制和连接类型等信息。在此再梳理一遍节点来源:

1.-addnoe:通过在配置文件中设定该参数、或通过RPC命令动态添加节点。该类型的节点在连接时最多可连接8个(添加数量不受限制,下同)。

2. -seednode: 通过在配置文件中设定该参数来添加节点。该类型节点在连接时受收到MAX_OUTBOUND总量限制(11)。

3. -dnsseed: 通过在配置文件中设定该参数表明是否使用DNS种子来获得节点。该参数使用true(1)或false(0)来表示。默认为true。

4. -connect: 通过该参数指定节点。系统连接时没有数量限制。但一旦设定该参数,系统将不会连接到从DNS种子获取的节点,也就是说不会从3来源获取节点。

????????上述4个来源中,只有从DNS seed获取的节点才加入到addrman管理器,其它三种均不加入。通过addrman管理节点的目的是为了防止黑客Erebus攻击,阻止黑客通过DNS seed广播恶意的节点地址、或将Bitcoin要连接的节点引向恶意节点。因此一般建议使用来自DNS seed的节点,DNS seed域名内置在代码中,不同的网络有不同的DNS seed,这在上一篇文章已有介绍。 那么其它三种没有使用DNS种子域名获得的节点IP地址是否不安全呢?当然也会存在不安全的因素。但由于这些节点都是人工添加的,因此也可以随时删除,且数量有限。这些节点作为DNS seed的补充,在一些局域网环境或者矿池场景中,人工添加的节点可指向本局域网的节点,从而加速区块数据传输。

????????Addrman管理器采用“桶(bucket)”设计,它被设计成1024个桶,每个桶可保存64个节点。同一个组(Group)的地址不允许重复加入,组(group)是根据IP地址所属的AS计算得出(后面会介绍)。在连接时,采用高度随机算法从桶中选取,因此可最大限度避免黑客Erebus攻击。在Addrman管理中对于“桶“维持了一个内存表,系统会定期将桶中的内容转存到磁盘peers.dat文件。Bitcoin客户端在每次启动时都会从DNS种子域名动态获得的多个节点IP地址,这些节点可能是最新的,也可能是旧的。随着时间推移,peers.dat文件中的节点也会越来越多。如何从众多的节点中选择要连接的接点,以及这些节点如何淘汰(逐出)就显得非常重要。

节点如何选择

????????Bitcoin建立Outbound类型的连接(即作为客户端)时通过程序(src/net.cpp)中的以下两个线程来完成:

ThreadOpenAddedConnections:

????????用于连接通过-addnode参数或RPC命令动态添加的节点。连接数量不超过信标变量semAddnode(信号量nMaxAddnode= 8)限制。

ThreadOpenConnections:

????????当通过-connect参数指定了要连接的节点时,该线程只连接-seednode设定的节点和-connect设定的节点。其中连接到-seednode设置的节点数量不超过信标变量semOutbound(m_max_outbound=11, m_max_outbound = m_max_outbound_full_relay(8) + m_max_outbound_block_relay(2) + nMaxFeeler(1))。但连接-connect设置的节点数量没有限制。在这种情况下,不连接放入到Addrman“桶”中的节点,当然也不存在如何从“桶”选择节点的问题,相当于用户只连接自己指定的节点。

????????当用户没有设置-connect参数时,该线程只连接-seednode设置的节点和通过解析DNS种子域名获得的节点,并将其放入Addrman管理的“桶”中,这时就存在如何从“桶”中选择的节点问题。在连接节点时,该线程按顺序每从seednode容器选择一个节点,就从“桶”中选择一个节点,当没有指定任何seednode节点时,系统将100%从“桶”中选择。从“桶”选择节点具有高度的随机性,并不是按顺序选择。从“桶“中选择的代码如下:

选择算法:

// https://github.com/bitcoin/bitcoin/blob/master/src/addrman.cpp
std::pair<CAddress, int64_t> AddrManImpl::Select_(bool newOnly) const
{
    AssertLockHeld(cs);

    if (vRandom.empty()) return {};

    if (newOnly && nNew == 0) return {};

    // Use a 50% chance for choosing between tried and new table entries.
    if (!newOnly &&
       (nTried > 0 && (nNew == 0 || insecure_rand.randbool() == 0))) {
        // use a tried node
        double fChanceFactor = 1.0;
        while (1) {
            // Pick a tried bucket, and an initial position in that bucket.
            int nKBucket = insecure_rand.randrange(ADDRMAN_TRIED_BUCKET_COUNT);
            int nKBucketPos = insecure_rand.randrange(ADDRMAN_BUCKET_SIZE);
            // Iterate over the positions of that bucket, starting at the initial one,
            // and looping around.
            int i;
            for (i = 0; i < ADDRMAN_BUCKET_SIZE; ++i) {
                if (vvTried[nKBucket][(nKBucketPos + i) % ADDRMAN_BUCKET_SIZE] != -1) break;
            }
            // If the bucket is entirely empty, start over with a (likely) different one.
            if (i == ADDRMAN_BUCKET_SIZE) continue;
            // Find the entry to return.
            int nId = vvTried[nKBucket][(nKBucketPos + i) % ADDRMAN_BUCKET_SIZE];
            const auto it_found{mapInfo.find(nId)};
            assert(it_found != mapInfo.end());
            const AddrInfo& info{it_found->second};
            // With probability GetChance() * fChanceFactor, return the entry.
            if (insecure_rand.randbits(30) < fChanceFactor * info.GetChance() * (1 << 30)) {
                LogPrint(BCLog::ADDRMAN, "Selected %s from tried\n", info.ToString());
                return {info, info.nLastTry};
            }
            // Otherwise start over with a (likely) different bucket, and increased chance factor.
            fChanceFactor *= 1.2;
        }
    } else {
        // use a new node
        double fChanceFactor = 1.0;
        while (1) {
            // Pick a new bucket, and an initial position in that bucket.
            int nUBucket = insecure_rand.randrange(ADDRMAN_NEW_BUCKET_COUNT);
            int nUBucketPos = insecure_rand.randrange(ADDRMAN_BUCKET_SIZE);
            // Iterate over the positions of that bucket, starting at the initial one,
            // and looping around.
            int i;
            for (i = 0; i < ADDRMAN_BUCKET_SIZE; ++i) {
                if (vvNew[nUBucket][(nUBucketPos + i) % ADDRMAN_BUCKET_SIZE] != -1) break;
            }
            // If the bucket is entirely empty, start over with a (likely) different one.
            if (i == ADDRMAN_BUCKET_SIZE) continue;
            // Find the entry to return.
            int nId = vvNew[nUBucket][(nUBucketPos + i) % ADDRMAN_BUCKET_SIZE];
            const auto it_found{mapInfo.find(nId)};
            assert(it_found != mapInfo.end());
            const AddrInfo& info{it_found->second};
            // With probability GetChance() * fChanceFactor, return the entry.
            if (insecure_rand.randbits(30) < fChanceFactor * info.GetChance() * (1 << 30)) {
                LogPrint(BCLog::ADDRMAN, "Selected %s from new\n", info.ToString());
                return {info, info.nLastTry};
            }
            // Otherwise start over with a (likely) different bucket, and increased chance factor.
            fChanceFactor *= 1.2;
        }
    }
}

????????上面的代码展示了从“新桶(new bucket)“和”尝试桶(tried bucket)“中随机选择节点的代码。桶(bucket)是一个二维数组,第一维是表示桶的数量,第二维表示每个桶可存放的节点数。其中桶的数量:

新桶:ADDRMAN_NEW_BUCKET_COUNT=1024

尝试桶:ADDRMAN_TRIED_BUCKET_COUNT= 256

每个桶的大小:ADDRMAN_BUCKET_SIZE = 64

系统使用randrange随机函数获得上不超过上述这些数字大小的随机数来定位桶的位置,并从桶中获得节点信息。

试探性连接FEELER:

????????在选择节点连接类型时,有一个类型名叫FEELER,可翻译为试探性连接。试探性连接是用于检查节点是否处于活动状态的短期连接,它可用于逐出前的测试。具体过程是:在ThreadOpenConnections过程中,系统定期随机选取一个节点建立一个试探性连接,如果一个对等节点(peer)被我们考虑从节点管理器中逐出,是因为另外一个对等节点(peer)已映射到尝试列表中的相同的槽内。只有当这个更早的节点离线时才逐出。 在逐出前,先将试探性节点从”新桶(NEW)”移到”尝试桶(TRIED)“列表。以便我们在地址管理器中空出更多的桶来保存新的节点。

ASMAP技术

????????如何防止国家级别的ISP或大型的网络服务商可能进行的Erebus攻击,Bitcoin实验性地使用了ASMAP技术。它主要通过计算节点IP地址的分组并确保处于同一个分组的IP地址只能占用一个桶。并在连接时相同的分组也只能连接一个节点。这样对于那些拥有庞大数量的公网IP的大型网络服务商发起Erebus攻击变得不可能。分组(Group)是根据AS计算出来的。在进一步了解ASMAP之前,我们先了解以下几个概念:

RIPE NCC:欧洲IP网络资源协调中心(Réseaux IP Européens Network Coordination Centre,缩写作 RIPE NCC),全球五大区域性互联网注册管理机构之一, 是负责管理欧洲、西亚、前苏联地区Internet资源的区域互联网注册管理机构。

RIS Raw Data:RIS(Routing Information Service)为了帮助网络操作者认识理解网络中的路由,RIPE 提供了 RIS(Routing Information Service)。RIS 利用在世界各地部署的远程路由收集器(Remote Route Collectors,RRCs),收集并存储网络中的路由数据。志愿与 Collector 进行连接的 AS利用 BGP 协议向 Collector 发送 BGP Update 信息,RIS 也会依据相关消息存储以及撤回对应的路由信息。RIS 会免费提供每个收集器收集到的路由表信息,并以 MRT 格式进行存储。每一个 RRC 会存储两类数据:

  • 所有的 BGP 报文:这些文件以 “updates”开头,每 5 分钟创建一次。
  • 完整的 BGP 路由表:这些文件以“bview”开头,每 8 小时创建一次。

bview开头的文件较大(可能超过1G),updates开头的文件较小。

比如RRC00表示编号为00的RRC收集的路由数据,它来自下面的链接地址:

https://www.ripe.net/analyse/internet-measurements/routing-information-service-ris/ris-raw-data

其中的rrc00.ripe.net表明位于阿姆斯特丹 RIPE NCC 的 rrc00.ripe.net 多跳收集器从 1999 年 10 月开始收集来自世界各地同行的更新。

ASN:AS(Autonomous System Number):自治系统编号,指在一个(有时是多个)组织管辖下的所有IP网络和路由器的全体,它们对互联网执行共同的路由策略。也就是说,对于互联网来说,一个AS是一个独立的整体网络。而BGP实现的网络自治也是指各个AS自治。每个AS有自己唯一的编号。

BGP:边界网关协议(Border Gateway Protocol,缩写:BGP)是互联网上一个核心的去中心化自治路由协议。它通过维护IP路由表或“前缀”表来实现自治系统(AS)之间的可达性,属于矢量路由协议。BGP不使用传统的内部网关协议(IGP)的指标,而使用基于路径、网络策略或规则集来决定路由。因此,它更适合被称为矢量性协议,而不是路由协议。 大多数互联网服务提供商必须使用BGP来与其他ISP建立路由连接(尤其是当它们采取多宿主连接时)。因此,即使大多数互联网用户不直接使用它,但是与7号信令系统——即通过PSTN的跨供应商核心响应设置协议相比,BGP仍然是互联网最重要的协议之一。特大型的私有IP网络也可以使用BGP。例如,当需要将若干个大型的OSPF(开放最短路径优先)网络进行合并,而OSPF本身又无法提供这种可扩展性时。使用BGP的另一个原因是其能为多宿主的单个或多个ISP(RFC 1998)网络提供更好的冗余。用户可以通过下面的网站来查询IP地址所属的ASN记忆路由信息。

ASN查询_专业的 IP 地址库_IPIP.NEThttps://tools.ipip.net/as.php

比如我们查询202.96.128.68,它显示的ASN信息是:

AS4134 CHINANET-BACKBONE - No.31,Jin-rong Street, CN

说明该IP所属的ASN是4134,属于中国电信的骨干网。

构建asmap.dat

????????asmap.dat是根据RIS Raw data构建的用于Bitcoind对节点IP进行分组的数据文件。RIS Raw data是MRT格式,不能直接用于构建asmap数据文件,必须进行转换,下图描述了这一流程:

下面的命令演示了如何使用相关工具来生成asmap.dat:

// 下面以在centos上的操作为例,说明如何使用asmap工具
// 其中//表示注释, # 表示命令行提示符
// 安装Rust
# curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# source $HOME/.cargo/env
// 显示rust的版本
# rustc --version
rustc 1.58.1 (db9d1b20b 2022-01-20)

// 安装openssl并指定OPENSSL_LIB_DIR和OPENSSL_INCLUDE_DIR
# yum isntall  openssl-devel
# vim ~/.bashrc
// 添加以下内容:
export OPENSSL_LIB_DIR=/lib64
export OPENSSL_INCLUDE_DIR=/usr/include/openssl

// 使生效
# source ~/.bashrc

// 编译bitcoin-asmap
# mkdir ~/asmap-work
# git clone https://github.com/sipa/bitcoin -b 202004_asmap_tool && cd bitcoin
# ./autogen.sh
# ./configure --disable-shared --without-gui --disable-wallet
# make
# sudo cp src/bitcoin-asmap /usr/bin/.

// 下载asmap-rs工具
# cd ~/asmap-work
# git clone https://github.com/rrybarczyk/asmap-rs && cd asmap-rs 

// 下载RIS raw data (只下载rrc00: https://www.ripe.net/analyse/internet-measurements/routing-information-service-ris/ris-raw-data)
// 下载成功后会在dump目录下生成rrc00-latest-bview.gz,该文件大小可能超过1G.
# cargo run --release download -n 0

// 生成 ASN bottleneck, 它是一串IP地址和对应的ASN编号的字符串,如:
// 193.189.95.0/24 AS34906
// 193.189.96.0/24 AS20850
// 193.189.98.0/23 AS33925
// 193.190.0.0/15 AS2611

// 读取并解压dump目录下的 MRT gz 文件, 解析AS路径, 并保存结果到bottleneck目录。
// 成功后在bottleneck目录脚下生成了 bottleneck.xxxxxxx.txt文件,该文件大小约为25M
# mkdir bottleneck
# cargo run --release find-bottleneck -d dump -o bottleneck

// 文件开始两行的数据如下:
// 120.236.88.0/22 AS9808
// 46.38.51.224/32 AS20764
// 至此我们已经通过RIW raw data生成了asmap所需的数据文件。

// 编码 ASN bottleneck,生成asmap.dat
# bitcoin-asmap encode ~/asmap-work/asmap.dat < bottleneck/bottleneck.*.txt

?至此,我们就可以在bitcoin的参数配置文件文中使用asmap.dat,可以在配置文件添加如下内容:

asmap=/path/to/asmap-work/asmap.dat

解码asmap.dat

????????asmap.dat中的所有的数据都是0和1两种形态。系统从asmap.dat读取的数据放在容器(std::vector<bool>)中,当使用时再从容器中将其解码为ASN并根据IP地址转换为Group。在Github中

https://github.com/bitcoin/bitcoin/blob/master/src/util/asmap.cpp

详细说明解码过程。

ASMAP使用:

????????在解析DNS种子域名获取节点地址时,将根据asmap计算IP地址的Group,相同的Group将拥有相同的桶号。因此对于防止来自同一个AS的节点将起到过滤作用。在连接节点时,相同Group的节点只允许连接一个,src/net.cpp中的代码说明了这个:

……
// Require outbound connections, other than feelers, to be to distinct network groups
if (!fFeeler && setConnected.count(addr.GetGroup(addrman.GetAsmap()))) {
    break;
}
……

淘汰机制

????????启动Bitcoin客户端时从peers.dat加载历史节点,将检查节点是否符合淘汰(逐出)条件,如果符合则将节点从桶中逐出。这些条件是:

  1. 不合理的存活时间,节点的生日(加入到addrman中的时间)超过当前时间10分钟。
  2. 地址存活时间已超过30天。
  3. 尝试了3次但没有一次连接成功。
  4. 距离最近一次连接成功的时间已超过7天, 且最近一周连续失败次数大于等于10次。

相关代码:


https://github.com/bitcoin/bitcoin/blob/master/src/net.cpp

ASMAP相关工具:

https://gist.github.com/cryptagoras/45b2839a1f662c769b94b868ce222d3d

https://github.com/rrybarczyk/asmap-rs

  区块链 最新文章
盘点具备盈利潜力的几大加密板块,以及潜在
阅读笔记|让区块空间成为商品,打造Web3云
区块链1.0-比特币的数据结构
Team Finance被黑分析|黑客自建Token“瞒天
区块链≠绿色?波卡或成 Web3“生态环保”标
期货从入门到高深之手动交易系列D1课
以太坊基础---区块验证
进入以太坊合并的五个数字
经典同态加密算法Paillier解读 - 原理、实现
IPFS/Filecoin学习知识科普(四)
上一篇文章      下一篇文章      查看所有文章
加:2022-02-19 01:12:33  更:2022-02-19 01:13:11 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/25 22:43:09-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码