[大数据]hadoop的压缩方式snappy

文件压缩有两大好处，节约磁盘空间，加速数据在网络和磁盘上的传输

在重新编译过hadoop的c源码后才可以用谷歌的snappy压缩。

我们可以使用bin/hadoop checknative ?来查看我们编译之后的hadoop支持的各种压缩，如果出现openssl为false，那么就在线安装一下依赖包

//查看压缩支持情况? ??bin/hadoop checknative

//在线安装? ?yum install openssl-devel

这种压缩对应的java类

压缩格式代码实现:

1.在代码中实现(一般使用这一种)

在主程序的configuration中设置压缩类以及其他参数

map阶段:

Configuration configuration = new Configuration();
configuration.set("mapreduce.map.output.compress","true");
configuration.set("mapreduce.map.output.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");

reduce阶段:

configuration.set("mapreduce.output.fileoutputformat.compress","true");
configuration.set("mapreduce.output.fileoutputformat.compress.type","RECORD");
configuration.set("mapreduce.output.fileoutputformat.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");

2.配置全局变量,以后默认snappy压缩

修改yarn集权的mapred-site.xml配置文件

map端压缩参数:

<property>

??????????<name>mapreduce.map.output.compress</name>

??????????<value>true</value>

</property>

<property>

?????????<name>mapreduce.map.output.compress.codec</name>

?????????<value>org.apache.hadoop.io.compress.SnappyCodec</value>

</property>

reduce端压缩参数:

<property> ??????<name>mapreduce.output.fileoutputformat.compress</name>

???????<value>true</value>

</property>

<property> ????????<name>mapreduce.output.fileoutputformat.compress.type</name>

????????<value>RECORD</value>

</property>

?<property> ???????<name>mapreduce.output.fileoutputformat.compress.codec</name>

????????<value>org.apache.hadoop.io.compress.SnappyCodec</value> </property>

每台机器都需要修改此参数,没有的话就添加上，然后重启集群.