IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 实习日记系列① -> 正文阅读

[大数据]实习日记系列①

实习日记---MongoDB数据清洗

获取数据

公司的数据库连接不上,所以把公司的一个集合import成了一份JSON文件,但是获取的JSON文件读取错误,人又不在公司,只能想办法先把JSON文件导进我的数据库来读取。
一、mongoimport
下载的MongoDB数据库没有mongoimport这个功能,所以去下载了一份,网址:mongoDB数据库工具
下载好后直接打开压缩包的bin目录,全选复制,或者选你需要的mongoimport.exe,粘贴到你的MongoDB目录的bin目录下,再把mongodb数据库安装目录一直到bin文件夹目录添加到环境变量的系统变量Path中,就可以使用了。或者不添加环境变量,也可以将cmd转到数据库安装目录的bin目录下执行操作。
导入JSON文件,在cmd准确路径下,输入
mongoimport -d 【数据库名】 -c 【集合名】 --file 【文件路径】

其他选项(注意是两横还是一横)
或者用mongoimport --help看
-h:数据库宿主机IP
-u:数据库用户名
-p:数据库密码
-f:指明导入的列
-type:指明要导入的文件格式 csv/json
–headerline:指明不导入第一行,csv格式的文件第一行为列名

输入之后报错,查了之后发现是原始数据格式错误,原始数据格式错误
第一行
“_id” : ObjectId(“5be19b932ab79c00013074ed”),
是json v1.0的格式
在这里插入图片描述
我的MongoDB是5.0.5,官网说从4.2开始默认识别Json v2.0,所以,可以在文件路径之后添加使用 –legacy 识别json v1.0。
成功插入。
在这里插入图片描述

连接数据库

Python连接数据库,

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-12-10 11:07:42  更:2021-12-10 11:09:12 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 10:41:16-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码