本文翻译自 Hadoop 的官方文档，原文 Hadoop: Setting up a Single Node Cluster 目的 本文介绍了如何快速的搭建一个 Hadoop 单机运行环境，以便你使用 MapReduce…

翻译： https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_yarn_cluster_deploy.html#topic_11_4…

Java代码   package com.iminido.nosql;      import com.iminido.ssdb.HMap;…

Kafka授权 如果没有开启Kafka认证(如Kerberos认证或者简单的用户名密码)，即使开启了Kafka授权，用户也可以伪造身份访问服务。所以建议创建高安全模式(即支持Kerberos)的Kafka集群，详见Ker…

解决办法 1.1 服务端配置在运行load数据的节点上的/etc/hbase/hbase-site.xml（这里就是服务端）里添加如下配置： <property> <name>phoenix.sc…

1.安装mongodb 下载包：wget http://fastdl.mongodb.org/lin… 解压：tar zxvf mongodb-linux-x86_64-2.2.3.tgz 移动目录到/usr…

本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）： core-default.xml hdfs-default.xml map…

引言 当前，越来越多的同学进入大数据行业，有的是底层的技术，有的是工程，有的是算法，有的是业务。每个产品、都需要工程化的实现，以前，工程师都是操练着java/python/c等各种语言操纵中各类的软件，比如jquery，…

集群规划类问题 所有的使用Hadoop或者打算使用Hadoop的人肯定会遇到集群规划的问题，我到底使用多大的集群规模呢?有没有一个标准呢? 本篇文章就为你介绍集群规划。 在云环境E-MapReduce中，各种搭配是比较自…

一、MongoDB聚合函数说明 max()与min() 通常总是需要找到给定集合里的某个字段的最大值与最小值。使用sql的数据库则给我们提供了max()与min()函数，但是Mongodb并没有提供这样的函数，所以我们必…

1.多路径输入 1）FileInputFormat.addInputPath 多次调用加载不同路径 FileInputFormat.addInputPath(job, new Path(“hdfs://RS5…

背景 2017.12.13日Apache Hadoop 3.0.0正式版本发布，默认支持阿里云OSS对象存储系统，作为Hadoop兼容的文件系统，后续版本号大于等于Hadoop 2.9.x系列也支持OSS。然而，低版本的…