[大数据]mongodb导出数据，通过python 解析

1 mongodb导出数据

mongoexport -d eth_ctaddrandfunc -c ctaddr_func_delays -o ./test.json

导入导出数据的示例

mongoexport -d 数据库名 -c?集合名 -o 导出的地址及文件名称
mongoexport -d lemon -c billList -o ./billList.json
?mongoimport -d 数据库名 -c 集合名 导入的地址及文件名称
?mongoimport -d 1610C -c bill_list ./billList.json

2 python处理
首先将json转为csv文件，安装jsoncsv

pip install jsoncsv -i https://pypi.tuna.tsinghua.edu.cn/simple

转换成csv文件

cat test.json | jsoncsv | mkexcel > jstocs.csv

python导入csv文件，处理好呼出输出csv文件

import pandas as pd
import numpy as np
df=pd.read_csv(r"/opt/gopath/src/pyworkspace/jstocs.csv",encoding='gbk',engine='python')
#data=df['address'].value_counts()
datanp=np.c_[np.unique(df['address'], return_counts=1)]
#data1=pd.DataFrame(datanp)
#data1.to_csv('testnp.csv')
pd.DataFrame(datanp).to_csv('testnp.csv')

创作打卡挑战赛

赢取流量/现金/CSDN周边激励大奖