查看hadoop集群是否支持snappy库(可以看到snappy是没有安装的): $ hadoop checknative 16/12/06 15:08:39 WARN bzip2.Bzip2Factory: Faile…
分类:Hadoop
[SQL]Mongodb与hadoop结合
hadoop学习笔记之七:hadoop与Mongodb结合 – 陈华的博客 – ITeye技术网站 http://chenhua-1984.iteye.com/blog/2162576 mongo…
org.apache.hadoop.yarn.proto.YarnProtos$LocalResourceProto.hashLong(J)I
问题背景 解决完FileNotExsit的问题后,重新Build Cube,发现在fact table distinct阶段还是报错,错误如下: 错误 java.lang.NoSuchMethodError: org.a…
Hadoop教程:HDFS操作
启动HDFS 首先,您必须格式化配置的HDFS文件系统,打开namenode (HDFS服务器),并执行以下命令。 $ hadoop namenode -format 格式化HDFS之后,启动分布式文件系统。下面的命令将…
Hadoop运行环境搭建
本文是hadoop的运行环境搭建实际的操作过程的记录和总结,整个文档包括如下内容: 概述 环境配置 创建用户 配置SSH hadoop安装 hadoop运行模式 单机模式 一、概述 因为hadoop是一个分布式大数据系统…
Hadoop 学习系列(一)之Hadoop伪分布式环境搭建
原文地址:http://pengtuo.tech/2018/09/04/hadoop-pseudo-distributed/ 以这篇文章开启大数据开发系列教程更新,本人也是努力学习中 1. 环境要求 首先 Java 版本…
HBASE SHELL常用命令
HBASE SHELL常用命令 标签: HBase Shell 1. 进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证,需要事先使用相应的ke…
[bug]一次Hadoop集群宕机事故总结
hadoop面试100道收集(带答案) – Jimmy Huang 的专栏 – 博客频道 – CSDN.NET http://blog.csdn.net/kingmax54212008…
HBASE 系列-入门
HBase最新稳定版本是2017年7月份的1.2.6版本。很多用户还是0.92.x 。 尽管版本不同,原理确是相似的。若觉得长,可挑重点看。 下载地址:hbase-1.2.6-bin.tar.gz 说明 本文主要讲在本地…
hadoop集群管理软件CDH的安装(完全离线)
写于安装前 关于hadoop集群管理软件,我选择了cdh的免费版。本文参照官方文档、网上大神的帖子,加上自己几十次的搭建,踩了无数的坑总结而成。由于每个人的现场环境不同,参照本文档可能会出现报错情况,欢迎留言讨论交流。 …
基于VMware搭建Hadoop-2.7.5分布式集群环境
本文是主要参考了几篇博客之后才搭建成功的,目的只是记录搭建过程,主要引用文章请参考博客。这里对原文中略作改动以适应当前环境需求。 ps:简书什么时候能够改进一下自己的MarkDown文本编辑能力,排版能力弱爆了!!! 1…
Hadoop:2、Hadoop伪分布式部署(HDFS)
Hadoop部署的三种模式: 单机模式(standalone) 一般不建议安装,网络上很少这方面资料 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最…