YARN on Single Node 修改yarn环境配置文件yarn-env.sh image.png 修改yarn配置文件yarn-site.xml image.png 配置yarn服务地址及HDFS地址 imag…

本文翻译自 Hadoop 的官方文档，原文 Hadoop: Setting up a Single Node Cluster 目的 本文介绍了如何快速的搭建一个 Hadoop 单机运行环境，以便你使用 MapReduce…

翻译： https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_yarn_cluster_deploy.html#topic_11_4…

最近捞了一些数据出来，要进行分组统计，统计A字段中相同值的个数。 我使用的是mongoose进行操作。 由于不太熟悉MongoDB的操作，走了不少弯路，之前记得是可以用 aggregate 方法进行分组统计，结果吃了菜鸟…

Java代码   package com.iminido.nosql;      import com.iminido.ssdb.HMap;…

Kafka授权 如果没有开启Kafka认证(如Kerberos认证或者简单的用户名密码)，即使开启了Kafka授权，用户也可以伪造身份访问服务。所以建议创建高安全模式(即支持Kerberos)的Kafka集群，详见Ker…

from: http://www.linuxidc.com/Linux/2016-03/129506.htm 背景 目前按照大数据处理类型来分大致可以分为：批量数据处理、交互式数据查询、实时数据流处理，这三种数据处理方式…

解决办法 1.1 服务端配置在运行load数据的节点上的/etc/hbase/hbase-site.xml（这里就是服务端）里添加如下配置： <property> <name>phoenix.sc…

1.安装mongodb 下载包：wget http://fastdl.mongodb.org/lin… 解压：tar zxvf mongodb-linux-x86_64-2.2.3.tgz 移动目录到/usr…

本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）： core-default.xml hdfs-default.xml map…

引言 当前，越来越多的同学进入大数据行业，有的是底层的技术，有的是工程，有的是算法，有的是业务。每个产品、都需要工程化的实现，以前，工程师都是操练着java/python/c等各种语言操纵中各类的软件，比如jquery，…

集群规划类问题 所有的使用Hadoop或者打算使用Hadoop的人肯定会遇到集群规划的问题，我到底使用多大的集群规模呢?有没有一个标准呢? 本篇文章就为你介绍集群规划。 在云环境E-MapReduce中，各种搭配是比较自…