以太坊数据导出工具Ethereum-ETL分析
在搭建了一个以太坊全节点后，可以进一步获取和整理链上的数据，包括区块，交易，token，和转账等信息。Ethereum-ETL就是一个封装了解析以太坊数据结构并以结构化表的形式输出的工具。
GitHub地址
结构化数据输出
以下表以csv格式输出
- blocks区块表 块信息
- transactions 交易表 交易信息
- tokens token表 该工具目前输出721和20标准的token
- token_transfers token交易表
- receipts 回执表 特定交易的结果回执，包含打包信息，如果是部署合约交易则带合约地址
- logs 包含触发的内外部交易产生的事件日志
- traces 交易trace及详细信息
使用方式
pip3 install ethereum-etl #python3版本
客户端指令支持单表和全表输出
ethereumetl export_all -s 0 -e 8000000 -b 4000000 -p localhost:8545 -o 800output -w 20
-s -e分别指定需要同步的开始和结束区块
-b 以hdfs的文件形式输出，此参数指定每个分区的区块数量
-p 以太坊节点的地址
-o 目录名
-w 线程池数量
参数源码
工作流程
cli包作为客户端接受用户指令作为入口
开始执行各个表的具体任务，export_all_common使用组合模式触发各个表的job
拿到具体表对象后使用使用模板类base_job执行表对象的流程
start默认开启一个csv的输出流对象，除此之外，可以构建Kafka，postgres等多种输出sink
根据batch数量和json-rpc签名构造请求对象，再对传入的客户端地址发出请求
用每个表的mapper解析response结果
最后执行输出流对象的export_item方法
以上是普通的区块和交易表导出，过程比较简单
token交易获取
通过eth_getFilterLogs来获取指定区块，再利用token_transfer_extractor工具类通过解析topic数组来抽取token转账的交易
receipts和logs的获取
先是从transaction导出文件中获取hash列表，写入缓存中
再创建receipts和logs的job对象ExportReceiptsJob，所以，这两张表的导出和前面的交易表是有先后顺序的
contracts和tokens的获取
合约则从之前的receipts_file中利用extract_csv_column_unique方法获取合约列表，eth_getCode方法获取合约的bytecode
判断合约类型的方法
市面上所有的符合eip标准的合约都可以称之为代币token，主流的有erc20和erc721分别集成eip20和eip721，另外还有erc1155，用作为道具等创建场景的token类型，每种标准体现出的是具体的函数签名，只要一个合约的abi体现出相应的签名则能说明其token类型。
本项目分别解析其abi中是否有721和20的签名来区分两种token类型
tokens表的获取逻辑和合约的类似