[大数据]Hive基本概念

什么是Hive

? ? ? ? ?hive是由Facebook开源，用于解决海量结构化日志的数据统计工具。它是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

Hive本质：将HQL转化成MapReduce程序

1. Hive处理的数据存储在HDFS
2. Hive分析数据底层的实现是MapReduce
3. 执行程序运行在Yarn上

Hive的优缺点

?优点

1. 操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。
2. 避免了去写MapReduce，减少开发人员的学习成本。
3. Hive的执行延迟比较高，因此Hive常用于数据分析、对实时性要求不高的场合。
4. Hive的优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。
5. Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

缺点

• Hive的HQL表达能力有限

? ? ? ? ? ? ? ? 迭代式算法无法表达，数据挖掘方面不擅长，由于MapReduce数据处理流程的限制，效率更高的算法无法实现。

• Hive的效率比较低

? ? ? ? ????????Hive自动生成的MapReduce作业，通常情况下不够智能化；Hive调优比较困难，粒度较粗。

Hive和数据库比较

? ? ? ? 由于Hive采用了类似SQL的查询语言HQL（Hive Query Language），因此很容易将Hive理解为数据库。其实从结构上看，Hive和数据库除了拥有类似的查询语言，再无类似之处。数据库可以用在O