hadoop搭建 目的 本文档主要讲述如何快速搭建单节点hadoop以及一些简单map reduce操作和一些HDFS基本知识 配置要求 平台要求 GNU/LINUX支持该平台，Hadoop可以在linux上搭建2000…

软件环境 java version “1.8.0_181” Apache Hadoop 3.2.0 CentOS Linux release 7.4.1708 (Core) 查看 JDK 与 Ha…

国内外对Hadoop生态系统的生存状况争论不休，既然如此，我们不妨摸底调查一番，看看国内一线互联网公司(具备自我搭建大数据平台能力的厂商)的大数据平台是如何搭建的?是否基于Hadoop生态系统?Hadoop的存在感有多少…

Yarn脱胎于MRv1,并克服了MRv1的种种不足。先来看看MRv1让人诟病的地方，主要是可靠性差、扩展性差、资源利用率低、无法支持异构的计算框架： 1.可靠性差： MRv1是主从架构，主节点的JobTracker一旦出…

本文主要讲述在mac环境下安装hadoop，目标读者为大数据初学者或者有意进入大数据行业的研发人员。 1、安装homebrew /usr/bin/ruby -e “$(curl …

目录索引 前言：为什么要编译64位的Hadoop 一、制作CentOS7基础镜像 二、使用Dockerfile制作CentOS7环境下的编译镜像 三、使用Docker镜像编译Hadoop 附：命令行纯净版 前言：为什么要…

1.编写两个文本： XX.txt与YY.txt，两个文件的20160806重复 XX.txt: 20160708 20161113 20160702 20160906 20161011 20160901 20160108…

一、前言 近年来，随着信息技术的快速发展和互联网应用的普及，越来越多的组织大量收集、使用个人信息。给人们生活带来便利的同时，也出现了对个人信息的 非法收集、滥用、泄露 等问题，个人信息安全面临严重威胁。 为了保护公民个人…

1. 下载对应的parquet-tools jar:http://logservice-resource.oss-cn-shanghai.aliyuncs.com/tools/parquet-tools-1.6.0rc3…

环境 一台ubuntu 14.04虚拟机。 Hadoop版本：2.6.0。 增加用户 为了隔离Hadoop和其它软件，可以新建一个用户hduser和用户组hadoop来专门运行Hadoop： sudo addgroup …

出现上述问题可能是格式化两次hadoop，导致没有datanode 解决方法1：重启linux,再使用start-dfs.sh和start-yarn.sh 重启一下hadoop 解决办法2：找到hadoop安装目录下 h…

Hadoop三种部署模式及区别 standalone mode，独立模式 Pseudo-Distributed mode，伪分布模式 cluster mode，集群模式 区别 集群模式不做介绍，用于实际生产环境 独立模式…