一、概述 Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapRe…
分类:Hadoop
【Hadoop学起来】Linux配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh时找不到JAVA_HOME?
正文之前 今天很气愤!!想要学点东西,但是老是被环境所限制。Hadoop这个见鬼的环境,我只是运行单机模式,结果就是都不成功。好不容易磕磕盼盼的终于把啥缺的东西都找出来了结果最后还是失败了。暂时我真的不想去看失败记录,因…
mac安装Hadoop 2.9.1
系统版本:macOS Sierra(10.12.6) 1.ssh免密匙登陆 这一步是因为Hadoop集群(本地测试的话用伪分布式集群)需要互相通过ssh访问,配置免秘钥登录就不需要人工反复输入密码了 cat ~/.ssh…
HBase入门教程
阿里云大学免费课程:HBase入门教程 课程介绍: HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Big…
【大数据工程师】学习路径
前言: 实验楼上有10+条技术学习路径,对于想要系统入门该技术的小伙伴来说是非常不错的参考,详细的各路径,点击这里就可以查看了~ 文章主要把【大数据工程师】学习路径搬运到这里来,希望对广大想入门大数据的小伙伴来说有所帮助…
Hadoop Streaming
Hadoop Streaming Hadoop streaming是Hadoop的一个工具, 它帮助用户创建和运行一类特殊的map/reduce作业, 这些特殊的map/reduce作业是由一些可执行文件或脚本文件充当m…
Hadoop基础知识
Hadoop起源 Google公司发表了两篇论文:一篇论文是“The Google File System”,介绍如何实现分布式地存储海量数据;另一篇论文是“Mapreduce:Simplified Data Proce…
解决:执行start-all.sh后namenode节点启动失败
在清空/tmp 和/home/centos/downloads/hadoop-2.7.2/logs中的数据执行start-all.sh后,主控制机只出现了SecondaryNameNode节点和ResourceManag…
Hadoop2.6.0完全分布式的安装与配置(Centos)
1.Linux安装前的配置 1.1.关闭防火墙 本站文档是假定「服务器在防火墙以内」的前提下编纂的,在这个前提下,服务器本身在内部网络是不需要防火墙的(在需要…
hadoop-streaming 多路输出
hadoop streaming 中 reducer 的输出文件类似:${outputDir}/part-******,其中 ***** 是 reducer 任务的任务号。但有的时候我们希望 reducer 能够输出到多…
Kafka Streams 入门实例1 WordCount
WordCount WordCount 堪称大数据界的HelloWorld,相信不管是Hadoop还是Spark等大数据工具的上手实例,第一个十有八九是WordCount。 Kafka Stream也不例外。作为集成在K…
简单介绍常用hadoop dfs命令
创建目录 hadoop dfs -mkdir /home 上传文件或目录到hdfs hadoop dfs -put hello / hadoop dfs -put hellodir/ 查看目录 hadoop dfs -l…