IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 22/02/17学习笔记 -> 正文阅读

[大数据]22/02/17学习笔记

知识回顾

###(1)hadoop简介
数据存储与数据计算
hdfs :通过分布式文件存储对数据进行存储;
MapReduce:通过MapReduce进行数据的计算;

(2)hadoop生态圈简介

实时数仓:
spark 、 kafka等等

离线数仓:
hdfs 、 MapReduce 、 sqoop 、 hive等工具

(3)关系型数据库与非关系型数据库

关系型数据库:传统的数据库,Oracle、MySQL等等;

非关系型数据库:HBASE 、 Redis等等

  • 注:非关系型数据库中存储数据本来没有任何关系,在使用之前需要通过Java等语言进行关系建立再对数据进行操作;

(4)HDFS中一些简单的操作语句

a.增

b.删

c.改

d.查

e.关闭安全模式

d.从主机上传文件到hdfs

一、HIVE简单介绍

HIVE - 建立数仓的一种工具,数仓引擎
hdfs MapReduce sqoop hive
工作原理:
sqoop 会将数据导入到hdfs中进行存储,任何MapReduce 对hdfs中存储的数据进行计算,但MapReduce中使用的是Java语言,而我们就可以通过hive通过hivesql语言在hive中编译好之后,通过hadoop生态圈将hivesql转换为MapReduce程序;

二、启动hive

1. 存放元数据的地方

在这里插入图片描述
要了解标题中的意思,就得先了解什么是元数据

  • 元数据:用于描述数据的数据(相当于Oracle的字段名)

这些元数据由MySQL来存放;

2.启动hadoop

3.启动hive

hive 在/opt/moudle/文件下的apache-hive-2.1.1-bin目录之下;

4.hive的一些基本操作

4.1 查看数据库

show databases

在这里插入图片描述
查出来两个数据库,一个default和一个test;

4.2 查看表

show tables

在这里插入图片描述
上面是我上午建的一个test1表

4.3 使用(选择)数据库

use default #对应的数据库名

在这里插入图片描述

4.4 创建表

在hive中可以直接使用类SQL语言(MySQL)进行表的创建操作,如下所示:
在这里插入图片描述
再通过show tables命令查看表是否创建成功,如下所示:
在这里插入图片描述
上面明显可以看到我们创建的test2表已经被创建,我们还可以通过desc test2 #目标表名指令查看目标表结构:
在这里插入图片描述

4.5 创建数据库

create database testdb #要创建的数据库名

创建后并查看的结果:
在这里插入图片描述

4.6 表的查询与数据插入

查询表:
在这里插入图片描述
原先创建的表test2中没有数据,下面我们试着向其中插入数据后再进行查询:

hive中的没有delete和update语句;

4.7 在hdfs上运行hive中的语句及运行文件

hive -e "select * from t5" #双引号中加上需要运行的语句

hive -f './test5'  #单引号中加上需要运行文件的路径

示例:创建一个学生表,里面包含学生ID(s_id)、学生姓名(s_name)、学生性别(s_sex);

建立数据文件stu_data(数据间使用Tab键进行分割):

1		张三    男
2       李四    男
3       王菲    女
4       刘玥    女
5       刘墉    男
6       黄辉冯  男
7       陈美嘉  女
8       胡一菲  不详
9       张伟    男
10      曾小贤  男
11      吕子乔  男
12      陆展博  男
13      林宛瑜  女
14      唐悠悠  女
15      秦羽墨  女
16      关谷神奇        男
17      大师兄  男
18      楼下小黑        男

建立建表文件c_stu_table(文件中限定使用Tab键作为分隔符):

create table stu_table (s_id int ,s_name string ,s_sex string)
row format delimited
fields terminated by '\t';

使用hive -f './c_stu_table'创建表stu_table;

然后使用hive -e "select * from stu_table"检查一下表是否被创建:

在这里插入图片描述
表创建成功,下面进行数据上传操作,代码如下

hive -e "load data local inpath'./stu_data'into table stu_table"

运行完上诉代码后验证一下表中数据是否以及上传进去:
在这里插入图片描述
OK
题目完成;

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-02-19 01:14:20  更:2022-02-19 01:14:23 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 11:49:09-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码