【嵌牛导读】一个Linux小白的角度来讲述亲身经历安装Hadoop的全过程。虽说网上教程是有许多的，但是总感觉或因版本问题或因作者互抄不负责的原因，许多需要强调的细节并没有讲清楚。笔者自己在安装的过程中，由于对Linux…

本文旨在快速搭建一套Hadoop及HBase的分布式环境，自己测试玩玩的话ok，如果真的要搭一套集群建议还是参考下ambari吧，目前正在摸索该项目中。下面先来看看怎么快速搭建一套分布式环境。 准备 三台虚拟机：1台作为…

HDFS A. ha dfs 初始化和启动 启动zookeeper集群 在主Name结点上 格式化zookeeper上相应目录 hdfs zkfc -formatZK 格式化主NameNode, 格式化会格式化已存在的结…

董的博客 » Hadoop Streaming 编程 http://dongxicheng.org/mapreduce/hadoop-streaming-programming/ 1、概述 Hadoop Streamin…

Pig是一种探索大规模数据集的脚本语言。MapReducer的一个主要的缺点就是开发的周期太长了。我们要编写mapper和reducer，然后对代码进行编译打出jar包，提交到本地的JVM或者是hadoop的集群上，最后…

Hadoop 使用笔记 1、单机部署 环境准备 centos 7,作为系统环境 hadoop 版本使用hadoop-2.8.2 在安装 Hadoop 前还需要做一些必备工作 1、 创建hadoop用户 #这条命令创建了可…

1、hadoop的各种进程及其作用 NameNode：是hdfs的主服务器，管理文件系统的目录树以及对集群中存储文件的访问，保存有metadate，不断读取记录集群中dataNode主机状况和工作状态。 Secondar…

本文主要记录build 支持hdfs的docker过程中遇到的问题，以及解决方法。 自己写的Dockerfile文件，可以参考学习下： # Creates pseudo distributed hadoop 2.7.1 …

【1】进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用h…

Hadoop之linux调优 标签： hadoop linux 1. 增大文件描述符nofile（查看当前的lsof |wc -l） 和 用户最大进程nproc a. 调整Linux的最大文件打开数: >> …

OpenStack 控制计算、存储和网络资源池。本文主要关注 OpenStack 如何在大数据用例中扮演关键角色。 OpenStack 上的大数据 现在，数据随处生成，数据量呈指数增长。来自 Web 服务器、应用程序服务…

hadoop streaming 是 hadoop 的一个多语言编程框架。关于 streaming 的使用方法可以参见 streaming 的官方文档。一些比较高级的用法，例如加载词典，使用计数器等，也可以在网上找到答案…