下载hbase-1.1.2源码: http://archive.apache.org/dist/hbase/1.1.2/hbase-1.1.2-src.tar.gz 环境配置 参考《hadoop-2.7.3源码编译》中J…
标签:hadoop
hadoop – 极大的MAX_FILESIZE的缺点
我们的一个HBase表已经发展到1000多个地区.我们通过将表的MAX_FILESIZE属性从默认的256MB更改为10GB来减少此限制.现在我们已经到了70个地区. 我想知道这种改变的副作用是什么?换句话说,增加表的M…
NameNode HA异常调查
【起因】22:31:04分被通知集群异常,无法正常处理调度任务;远程登录查看,发现HDFS NameNode发生脑裂; NameNode节点:name21.hadoop,name22.hadoop hadoop版本:2.…
hadoop+spark 整合
zookeeper安装 zookeeper3.4.6安装 spark高可用安装完成 spark高可用安装 hadoop安装 hadoop安装 整合hadoop+spark 配置spark+hadoop HADOOP_CO…
[调度]azkaban~hadoop工作流引擎
Hadoop – Azkaban 作业调度 – 哥不是小萝莉 – 博客园 http://www.cnblogs.com/smartloli/p/5191155.html 在调度 Had…
Impala安装教程
环境如下 linux版本:ubuntu 14.04 LTS jdk版本:jdk1.7.0_67 hadoop版本:hadoop-2.0.0-cdh4.1.0.tar.gz impala版本:impala_1.4.0-1.…
大数据教程(一)—— Hadoop集群坏境搭建配置
前言 关于时下最热的技术潮流,无疑大数据是首当其中最热的一个技术点,关于大数据的概念和方法论铺天盖地的到处宣扬,但其实很多公司或者技术人员也不能详细的讲解其真正的含义或者就没找到能被落地实施的可行性方案,更有很多数据相关…
hadoop – Hive中的Filter Array
Apache配置单元表具有以下列定义: myvars:array<struct<index:bigint,value:string>> 相应数据的示例是: "myvars":[ {"index":…
Hadoop(四)HDFS常用命令
大数据测试须知之HDFS常用命令 启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。 执行sh bin/stop-all.s…
“AM容器”中的AM在Hadoop中意味着什么
在Hadoop中,“AM容器”中的AM意味着什么? 有很多关于MapReduce错误的帖子,“由于AM容器失败2次”……“容器启动异常:org.apache.hadoop.util.Shell $ExitCodeExce…
hadoop – 如何阅读猪“详细位置”日志行?
执行Pig脚本时,会发出以下某些日志: 2014-10-29 16:07:03,658 [MainThread] INFO org.apache.pig.backend.hadoop.executionengine.ma…
如何开始学习 Hadoop?
Hadoop是一个由Apache基金会所开发的分布式系统基础架构,他从0.x版本到现在的3.0版本,经历了各种变化。但是变化中有不变的是他的主要功能就是Hdfs(分布式文件存储) ,Mapreduce(分布式并行计算框架…