Hadoop中间结果lzop压缩

2024年3月7日 199次阅读来源: Wish大人

为了节省磁盘空间，文件的存储往往需要压缩，有的需要压缩比大，有的需要压缩速度快。而对于一套计算的结果存储，如多个MapReduce之间，需要能支持分片的压缩方式。lzop就是个可以支持分片的压缩方式，非常适合用于多个MapReduce之间的计算中间结果存储。

一、在Hadoop上安装lzop与在hive上的使用

lzop默认是不支持分片的，需要添加索引。
https://www.iteblog.com/archi…

    原文作者：Wish大人
    原文地址: https://segmentfault.com/a/1190000019067537
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。