随着全球经济的不断发展,大数据时代早已悄悄到来,而Hadoop又是大数据环境的基础,想入门大数据行业首先需要了解Hadoop的知识。2017年年初apache发行了Hadoop3.0,也意味着一直有一群人在对Hadoop…
分类:Hadoop
Hadoop VS Spark
Hadoop就是解决了大数据(大到一台计算机无法进行存储,一台计算机无法在要求的时间内进行处理)的可靠存储和处理。 HDFS,在由普通PC组成的集群上提供高可靠的文件存储,通过将块保存多个副本的办法解决服务器或硬盘坏掉的…
hadoop FS Shell
调用文件系统(FS)Shell命令应使用bin/hadoopfs的形式。 所有的的FSshell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是h…
hadoop+hbase 伪分布式安装
基本环境及软件: 软件版本 软件包 centos-6.x JDK-1.8 jdk-8u112-linux-x64.tar.gz hadoop-2.7 hadoop-2.7.4.tar.gz hbase-1.2.6 hba…
Hadoop学习笔记(四)YARN
YARN产生背景 为什么会产生YRAN?这个与MapReduce1.x的架构有关,正是因为MapReduce1.x存在许多的问题,才会产生 YARN。 MapReduce1.x的架构如下: MapReduce1.x的架构…
CentOS 7.0 hadoop 2.6 安装与配置
CentOS 7.0 hadoop 安装与配置 蒋小超 2015.04.03 背景介绍 hadoop 是一种大数据分布式运算解决方案。 hadoop 是什么? 实际上 hadoop 就是 Google 的 MapRedu…
hadoop HDFS常用文件操作命令
命令基本格式: hadoop fs -cmd < args > 1.ls hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列出hdfs文件系统所…
Hadoop HDFS(二)结构解析和名词解释
1.Hadoop HDFS架构向导的目的 在这篇关于HDFS文章结构的指南里,你可以读到所有关于HDFS的东西。首先,我们讨论一下HDFS的设计理念和目标。这个结构教程会覆盖所有Hadoop HDFS的结构细节,比如Na…
hadoop为什么会有yarn
Hadoop1.x中的jobTracker和TaskTracker hadoop2.x是由hadoop1.x的问题造成的,其中重要的问题是jobTracker的问题,例如单点故障,任务过重,其中除了JonTracker同…
org.apache.hadoop.hbase.DoNotRetryIOException: Compression algorithm 'snappy' previously failed test
一、问题: 在启动HBase replication功能后,有一个regionServer在启动时报错提示: 2018-01-16 14:07:43,308 INFO [RS_OPEN_REGION-dashuju172…
Hadoop-Streaming(流)
Hadoop-Streaming(流) Hadoop流是Hadoop发行版附带的一个实用程序。此实用程序允许您使用任何可执行文件或脚本创建和运行Map / Reduce作业作为映射器和/或reducer。 原文链接:ht…
hdfs集成ldap
隶属于文章系列:大数据安全实战 https://www.jianshu.com/p/76627fd8399c 修改hdfs-site.xml /var/opt/hadoop-2.7.4/etc/hadoop/hdfs-s…