Hbase工具

2023年11月14日 276次阅读 来源: 墨默滴

一、 性能测试

1 PerformanceEvaluation
$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.PerformanceEvaluation
2 YCSB

[YCSB] http://github.com/brianfrankcooper/YCSB/

二、 部署

MapReduce作业与实时工作负载独立部署,如果同时调低任务数，使用更多硬盘，分散负载，缓减I/O争用
Hbase Master和Zookeeper并行部署，zokeeper配置专用的硬盘来写数据
NameNode 8核CPU、16G内存
Hbase Master 4核CPU、8-16G内存 两块SATA硬盘（一块操作系统，一块Hbase Master日志）
RegionServer 分配10-15G堆内存时表现良好 datanode,regionserver配置8-12核cpu，24-32G内存
节点退役 graceful_stop.sh
增加节点 echo "balancer" || hbase shell
修改配置 Hbase shell update_config update_all_config

三、 数据导入

  1. API Put方法
  2. bulkload
  3. MapReducer

[《HBase Administration Cookbook》]（http://www.csdn.net/article/2014-01-07/2818046）

四、 优化

  1. BLocksize设置
  2. COMPRESSION属性和DATA_BLOCK_ENCODING属性的区别
    prefix_tree压缩算法

设计原则：

  1. 在任何场景下开启prefix_tree编码都是安全的
  2. 在任何场景下都不要同时开启snappy压缩和prefix_tree编码
  3. 通常情况下snappy压缩并不能比prefix_tree编码获得更好的优化结果，如果需要使用snappy需要针对业务数据进行实际测试

五、客户端优化

http://www.aboutyun.com/forum.php?mod=viewthread&tid=18909

    原文作者：墨默滴
    原文地址: https://www.jianshu.com/p/0f5c9fedc316
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞