CentOS 7.0 hadoop 安装与配置 蒋小超 2015.04.03 背景介绍 hadoop 是一种大数据分布式运算解决方案。 hadoop 是什么？ 实际上 hadoop 就是 Google 的 MapRedu…

简述 hadoop 集群一共有4种部署模式，详见《hadoop 生态圈介绍》。 HA模式的集群里面会部署两台NN（最多也只能两台），以形成主备NN节点，达到高可用的目的。两台NN之间同步数据有两种方法：QJM和NFC。本…

hadoop集群的安装配置 简介 Apache™Hadoop®项目是一个可靠的，可扩展的分布式计算的开源软件。 Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机群集分布式处理大型数…

hadoop 安装/启动步骤中常见问题 Hadoop 2.x 命令及可执行文件目录的变化： 在1.x中，所有的命令文件，都是放在bin目录下，没有区分客户端和服务端命令，并且最终命令的执行都会调用hadoop去执行；而在…

使用Python编写MapRecuce代码的技巧就在于我们使用了Hadoop streaming来帮助我们在map和reduce之间传递数据通过stdin和stdout，我们仅仅使用Python的sys.stdin来输入…

// Transwarp – 新闻详情 http://www.transwarp.io/news/detail?id=29 企业的核心数据处理逐渐分为两大模块： 以关系型数据库（RDBMS）为主，主要用于解决…

HDFS分层存储 why 为何要使用分层存储(充分利用资源,降低成本) http://developer.51cto.com/art/201504/470660.htm HDFS从Hadoop2.3开始支持分层存储 ar…

隶属于文章系列：大数据安全实战 https://www.jianshu.com/p/76627fd8399c 修改hdfs-site.xml /var/opt/hadoop-2.7.4/etc/hadoop/hdfs-s…

Hadoop是个高效的工具 介绍了Hadoop的由来和组成，当然提供给你用来分析的数据，以及最快的方式。更重要的是描述第一个Hadoop工程的详细编写过程。 1.认识Hadoop 1.1解决高速增长的存储空间和读取速度不…

1、hadoop 1.X  数据块块默认64M；2.X   128M  （该值可以更改，dfs.block.size 在 hdfs-site.xml中） 2、重点说一下2.X版本和3.X版本…

1.前提条件 电脑上已经安装了SSH，Homebrew，JDK8。 2.配置SSH无密码登录自己电脑 在终端执行以下命令： $ ssh localhost 如果需要输入密码登录，则执行以下命令： $ ssh-keygen…

数据输入输出格式和自定义数据输入输出格式 数据输入格式（InputFormat） 用于描述MapReduce作业的数据输入规范。MapReduce框架依靠数据输入格式完成输入规范检查(比如输入文件目录的检查)、对数据文件…