[大数据]大数据之数据仓库理论

一、数据仓库：

一个面向分析、反映历史变化的的数据仓库；
中小公司数据量：一天1000万条数据，17G；一个月500G，一年6T数据量；

数据仓库技术：

1、传统数仓一般是采用关系型数据库；
2、大数据领域中：
使用HDFS做存储；使用spark 或mapreduce做运算、使用spark sql或者hive做sql引擎；
impala既可以做运算又可是做sql引擎；
click house即可以做存储，又可以做运算、sql引擎；

分层设计：

数据仓库中的数据表，往往是分层管理、分层计算的：

ODS 层：操作最原始的数据的 贴源层
DWD 层：数仓明细层；一般是对 ODS 层的表按主题进行加工和划分；本层中表记录的还是明细数据；
DWS 层：有轻度聚合的 数仓服务层；
ADS 层： 应用层，主要是一些结果报表！

二、数据处理

1、ODS层，可以使用load定时将数据加到hive仓库里；

2、DWD层

geohash编码技术

更多java、大数据学习面试资料，请扫码关注我的公众号：