资源准备 准备4台 Linux 服务器要求:glibc 版本 >= 2.14 192.168.9.1 192.168.9.2 192.168.9.3 192.168.9.4 安装配置 JDK1.7+(详细操作) 下…
分类:Hadoop
【零基础】HBase从学习入门开始
基本了解: HBase:是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(…
Hadoop 入门(四)
目录 Hadoop 安装 单点启动&集群启动 访问 HDFS 常用配置 常用命令 常用配置 core-site.xml hdfs-site.xml 备份份数 <property> <name&g…
hadoop mapreduce 分桶
image.png 老大之前在百度,由于shell 和awk 写的溜,所以他总是推荐 使用shell 和awk 来跑 hadoop streaming 【hs】,hs还真是一个好东西,不需要编译,想怎么执行就怎么整,还不…
hadoop启动,namnode重新格式化后,datanode无法启动的原因
hadoop成功启动后,然后输入命令stop-all.sh,用命令hdfs namenode -format进行namnode重新格式化后,datanode无法启动的原因{网址:http://www.aboutyun.c…
Hadoop安装之一:使用Docker编译64位的Hadoop
目录索引 前言:为什么要编译64位的Hadoop 一、制作CentOS7基础镜像 二、使用Dockerfile制作CentOS7环境下的编译镜像 三、使用Docker镜像编译Hadoop 附:命令行纯净版 前言:为什么要…
Hadoop在YARN上的伪分布式安装(Mac)
1.前提条件 电脑上已经安装了SSH,Homebrew,JDK8。 2.配置SSH无密码登录自己电脑 在终端执行以下命令: $ ssh localhost 如果需要输入密码登录,则执行以下命令: $ ssh-keygen…
《十小时入门大数据》学习笔记之Hadoop核心组件YARN
目录 1.YARN 产生背景 2.YARN概述 3.YARN架构(面试考点,务必要了解整个架构) 4.YARN执行流程(面试考点,务必要了解整个执行流程) 5.YARN环境搭建 6.提交作业到YARN上执行 1、YARN…
Hadoop大数据平台架构与实践 | hadoop概述与安装
e> Hadoop大数据平台架构与实践–基础篇 目录 内容概要 Hadoop前生 Hadoop的功能与优势 Hadoop的生态系统和版本 Hadoop安装 内容概要 1、大数据技术的相关概念 2、Had…
[tools]Hadoop 生态系统
Hadoop 生态系统 – 哥不是小萝莉 – 博客园 http://www.cnblogs.com/smartloli/p/5640587.html 1.概述 最近收到一些同学和朋友的邮件,说…
CentOS7安装Hadoop2.7完整流程
总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs、mapreduce等主从关系。 1、环境,3台CentOS7,64位,Hadoop2.7需要64位L…
Hadoop基本知识点之HDFS
自上一篇文章《Hadoop安装与集群配置》之后,需要对hadoop的一些基础知识进行一些总结。此文为HDFS相关的知识点总结。 1.Hadoop组成 Hadoop主要由三大模块组成: 1.1 HDFS 存储模块 * 分布…