[大数据]hive 索引应用

1、背景
Hive从0.7.0版本开始加入了索引，目的是提高Hive表指定列的查询速度。没有索引的时候，Hive在执行查询时需要加载整个表或者整个分区，然后处理所有的数据，但当在指定列上存在索引，再通过指定列查询时，那么只会加载和处理部分文件。此外，同传统关系型数据库一样，增加索引在提升查询速度的同时，会额外消耗资源去创建索引和需要更多的磁盘空间存储索引。
2、原理和机制
Hive的索引其实是一张索引表（Hive的物理表），在表里面存储索引列的值，该值对应的HDFS的文件路径，该值在数据文件中的偏移量。
当Hive通过索引列执行查询时，首先通过一个MR Job去查询索引表，根据索引列的过滤条件，查询出该索引列值对应的HDFS文件目录及偏移量，并且把这些数据输出到HDFS的一个文件中，然后再根据这个文件中去筛选原文件，作为查询Job的输入。
3、归结起来hive有一下特点
1.索引key冗余存储，提供基于key的数据视图
2.存储设计以优化查询&检索性能
3.对于某些查询减少IO，从而提高性能。
4、一般应用数据量比较大的数据表

4、创建索引的语句

CREATE INDEX index_name   
ON TABLE base_table_name (col_name, ...)  
AS 'index.handler.class.name'  
[WITH DEFERRED REBUILD]  
[IDXPROPERTIES (property_name=property_value, ...)]  
[IN TABLE index_table_name]  
[PARTITIONED BY (col_name, ...)]  
[  
   [ ROW FORMAT ...] STORED AS ...  
   | STORED BY ...  
]  
[LOCATION hdfs_path]  
[TBLPROPERTIES (...)]  
[COMMENT "index comment"]

假如在创建索引是我们使用“ WITH DEFERRED REBUILD ”语句，则索引创建是为空，可以通过“Alter index … REBUILD”在一个partition上或所有partition上构建索引。
5、重建索引的语句

ALTER INDEX index_name ON table_name [PARTITION (...)] REBUILD  

注意：
1）.当hive数据更新时，必须调用该语句更新索引。
2）. index rebuild操作时一个原子操作，因此，当rebuild失败时，先前构建的索引也无法使用

6、删除索引：

DROP INDEX index_name ON table_name 

7、应用例子(给多分区下，特定分区设置索引，并对其中某个字段设置索引)
当然所有分区也可以设置

hive> create table index_test(op_id INT, name STRING)  
    > partitioned by (dt STRING ,partition_view int, log_type int)  
    > row format delimited fields terminated by ',' 


hive> insert overwrite table index_test partition(dt)  
    > select id,name,dt  
    > from index_tmp;  

**单个分区分别设置索引（可每天生成） todo验证**
hive>ALTER INDEX index_test_ids on index_test partition (dt='$today',log_type=1,partition_view=0) REBUILD;
hive>ALTER INDEX index_test_ids on index_test partition (dt='$today',log_type=1,partition_view=1) REBUILD;
hive>ALTER INDEX index_test_ids on index_test partition (dt='$today',log_type=2,partition_view=0) REBUILD;

**所有分区设置索引（可所有一起生成）**
alter index index_test_ids on index_test rebuild;

hive> create index index_test_ids on table index_test (op_id)
as 'org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler' 
with deferred rebuild; ;