集群环境 Hadoop版本为2.7.4 JDK版本1.8.0_144 安装了三台虚拟机分别设定名称和IP如下 主机名称 IP地址 master 192.168.1.15 slave01 192.168.1.16 slav…
分类:MapReduce
Hadoop小文件解决方案-基于文件整合的解决方案
通过研究一些不太常用的替代方案来解决MapReduce性能问题以及选择解决方案时要考虑的因素。 解决MapReduce性能问题 以下解决方案来缓解MapReduce性能问题: 更改摄取过程/间隔 批处理文件合并 序列文件…
初识hadoop
google大数据技术: MapReduce BigTable GFS HDFS是Google File System(GFS)的开源实现。MapReduce是Google MapReduce的开源实现。HBase是Go…
hadoop集群搭建
hadoop集群搭建 这里的集群只是一个单点登录的集群,没有做到正真的HA高可用,只是一个namenode节点多个datanode节点 基本思路: 先在一个节点上配置好hadoop集群 将配置好的hadoop复制给其他的…
2018年第19周-Presto概念(搭建过程)
Presto简介 不是什么 虽然Presto可以解析SQL,但它不是一个标准的数据库。不是MySQL、PostgreSQL或者Oracle的代替品,也不能用来处理在线事务(OLTP) 是什么 Presto通过使用分布式查…
Java操作MongoDB
之前我们介绍的MongoDB的操作都是在shell命令中写的,在项目开发时我们当然都是用程序去操作MongoDB的,本文我们来看看如何用Java代码操作MongoDB。 本文是MongoDB系列的第十九篇文章,了解前面的…
Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)
声明:作者原创,转载注明出处。 作者:帅气陈吃苹果 一、服务器环境 主机名 IP 用户名 密码 安装目录 master188 192.168.29.188 hadoop hadoop /home/hadoop/ mast…
Hadoop概述
hadoop概述 参考资料: hdfs官网: https://hadoop.apache.org/doc… Hbase: https://www.ibm.com/developer… 关系型数据库…
Hadoop伪分布式集群搭建
声明:作者原创,转载注明出处。 作者:帅气陈吃苹果 1、下载Hadoop压缩包 wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.5/hado…
2018年第26周-解剖MapReduce Job
Hadoop架构预览 Apache Hadoop是一个开源软件框架,用于在廉价硬件上大规模存储和计算数据集。以下是5个组成Hadoop的模块。 cluster是一个集合的主机(被称为nodes)。Nodes可以再被分成r…
【mongoDB高级篇③】综合实战(1): 分析国家地震数据
数据准备 下载国家地震数据 http://data.earthquake.cn/data/ 通过navicat导入到数据库,方便和mysql语句做对比 shard分片集群配置 # step 1 mkdir -p ./da…
Phoenix报错(6)Inconsistent namespace mapping properites
解决办法 1.1 服务端配置在运行load数据的节点上的/etc/hbase/hbase-site.xml(这里就是服务端)里添加如下配置: <property> <name>phoenix.sc…