2.Spark之于Hadoop 更准确地说，Spark是一个计算框架，而Hadoop中包含计算框架MapReduce和分布式文件系统HDFS，Hadoop更广泛地说还包括在其生态系统上的其他系统，如Hbase、Hive等…

HDFS支持权限控制，但支持较弱。HDFS的设计是基于POSIX模型的，支持按用户、用户组、其他用户的读写执行控制权限。在linux命令行下，可以使用下面的命令修改文件的权限、文件所有者，文件所属组： sudo addg…

问题背景 解决完FileNotExsit的问题后，重新Build Cube，发现在fact table distinct阶段还是报错，错误如下： 错误 java.lang.NoSuchMethodError: org.a…

启动HDFS 首先，您必须格式化配置的HDFS文件系统，打开namenode (HDFS服务器)，并执行以下命令。 $ hadoop namenode -format 格式化HDFS之后，启动分布式文件系统。下面的命令将…

前提：搭建Hadoop-HA环境 node01 node02 node03 node04 NameNode01 NameNode02 NameNode03 DataNode01 DataNode02 DataNode03…

云计算毕竟是一个概念，很多人对于云计算概念很早就耳濡目染，但也只是懂个皮毛，原因在于云计算技术的复杂性。云计算的理念实际很先进，但要实现这些功能需要很多技术做支撑，所以只有对这些技术有所了解，才能真正理解云计算，发现云计…

前言： Spark 概念 Spark是UC Berkeley AMP lab开发的一个集群计算的框架，类似于Hadoop，但有很多的区别（详细见推荐阅读材料）。最大的优化是让计算任务的中间结果可以存储在内存中，不需要每次…

本文是hadoop的运行环境搭建实际的操作过程的记录和总结，整个文档包括如下内容： 概述 环境配置 创建用户 配置SSH hadoop安装 hadoop运行模式 单机模式 一、概述 因为hadoop是一个分布式大数据系统…

Hive出现的原因 Hadoop通过MapReduce（Hadoop和MapReduce后续我也会提到）可以将复杂的计算任务分割成多个处理单元然后分散到一群家用的或者服务器级别的硬件机器上，从而降低成本并提供运行可伸缩性…

原文地址：http://pengtuo.tech/2018/09/04/hadoop-pseudo-distributed/ 以这篇文章开启大数据开发系列教程更新，本人也是努力学习中 1. 环境要求 首先 Java 版本…

hadoop面试100道收集（带答案） – Jimmy Huang 的专栏 – 博客频道 – CSDN.NET http://blog.csdn.net/kingmax54212008…

Hadoop的运行有三种形式： 单实例运行 伪分布式 完全分布式 本文主要介绍单实例Hadoop的安装以及使用简介。下面的安装和配置步骤主要是为了快速安装和体验Hadoop，而不是在产品环境下使用Hadoop。 单实例H…