[大数据]arctic数据库使用教程(1)---为啥要用arctic以及arctic的简单应用

为啥使用数据库

在做量化投研的过程中，一个适合的数据库往往能够提高工作的效率，在过去的工作研究经历中，使用过csv文件、pickle文件、mysql、mogodb等数据库，在我自己以后的投资研究过程中，尝试使用mongodb数据库和man-group(英士曼集团)开源的基于mongodb的数据库框架-ARCTIC，应该足够能够满足我的投研需要了。

必须要说明的是，arctic数据库应该算不上最快的时序数据库，有很多收费或者免费的数据库都比它效率要高一些，比如收费的kdb+数据库，半收费的dophindb等，arctic的优势在于免费、简单易用，所以在存储股票、期货、基金、期权、债券、可转债、外汇等数据的时候，我选择了ARCTIC。

安装教程

使用之前首先需要在电脑上安装mongodb数据库，需要安装python，然后安装arctic。

数据库命名

在使用ARCTIC的时候，需要创建两个名字，一个是library_name，一个是symbol_name,所以对数据库的名字做一个统一的规定，library_name是大类资产的名字，symbol_name是具体资产__周期__交易所的名字，这样同一规定之后，方便后续数据的管理工作。

股票 — STOCKS

期货 — FUTURES

基金 — FUNDS

期权 — OPTIONS

债券 — BONDS

可转债 — CBONDS

外汇 ---- FORES

数字货币 — DIGITALS

一个存储数字货币的例子

import gzip
import os,sys
import pandas as pd
from arctic import Arctic
# 连接数据库
conn = Arctic('127.0.0.1')
# 判断library是否存在，如果不存在就创建一个
if "DIGITALS" not in conn.list_libraries():
    conn.initialize_library("DIGITALS")
# 连接到具体的library中
lib = conn["DIGITALS"]
# 遍历数据并存储
data_root = "/home/yun/Downloads/spot/"
timeframe = "1m"
symbol_type = "spot"
exchange = "binance"
file_list = os.listdir(data_root)
for file in file_list:
    symbol = file.split(".")[0]
    symbol_name = symbol+"__"+timeframe+"__"+symbol_type+"__"+exchange
    with gzip.open("/home/yun/Downloads/spot/"+file, 'rb') as f:
        df = pd.read_csv(f)
        lib.write(symbol_name, df)
        print(f"存储数据{file}成功")
    # 读取数据
    # symbol_name = 'USDS-USDT__1m__spot__binance'
    # data = lib.read(symbol_name).data
    # 判断是否满足 data == df

读取数字货币数据，并使用plotly_express画出收益率直方图，观察收益率分布情况

# 获取数据
import gzip
import os,sys
import pandas as pd
from arctic import Arctic
# 连接数据库
conn = Arctic('127.0.0.1')
# 连接到具体的library中
lib = conn["DIGITALS"]
# 打印当前library中有多少的symbol
symbol_list = lib.list_symbols()
# 循环数据，并打印数据，生成一个1分钟收益率，然后生成一个直方图
data = pd.DataFrame()
count = 0
for symbol in symbol_list:
    if "spot" in symbol:
        count+=1
        name = symbol.split("__")[0]
        df = lib.read(symbol).data
        df['ret'] = df['close'].pct_change()
        df['name'] = name
        df = df[['ret','name']]
        if count<3:
            data = data.append(df)
        print(symbol)
data = data.dropna()
import plotly_express as px
fig = px.histogram(data,x="ret",color="name")
fig.show()

从1分钟收益率的直方图上来看，这两个数字货币的绝大多数时间内收益率波动都比较小，但是有极少数的1分钟K线的收益率非常高或者非常低。