经过了数据采集和同步之后，就可以在阿里云上进行数据分析和处理，来玩转您的数据了。本文向您介绍在阿里云大数据各产品中，以及各产品之间怎样来完成您的数据处理和数据分析。 MaxCompute 基于MaxCompute的大数据…

前言 由于项目的需要，hadoop2.2.0与hbase0.98.5的集群搭建已经有一段时间了。今日重新研究了一遍整个集群的搭建，对整个搭建过程有了进一步的理解。 准备工作 时间的同步 主节点上使用ssh-keygen生…

E-MapReduce(Hadoop)10大类问题之集群规划-博客-云栖社区-阿里云 https://yq.aliyun.com/articles/59064 典型的离线场景 用户每天增加100G的数据，1个月3T，压缩…

大数据，无论是从产业上，还是从技术上来看，都是目前的发展热点。在中国，政府控制着80%的数据，剩下的多由“BAT”这样的大公司拥有，中小企业如何构建自己的大数据系统？其他企业如何建设自己的大数据系统？ 推荐两大应用最广泛…

在 EMR 中使用 Mongo-Hadoop Mongo-Hadoop 是 MongoDB 推出的用于 Hadoop 系列组件连接 MongoDB 的组件。其原理跟我们上一篇文章介绍的 ES-Hadoop 类似。EMR …

1 提出问题 Map最小输入数据单元是InputSplit。比如对于那么对于一个记录行形式的文本大于128M时，HDFS将会分成多块存储（block），同时分片并非到每行行尾。这样就会产生两个问题： 1、Hadoop的一…

对比传统的基于 RDBMS 之上的数据仓库和商业智能项目，尝试着说说，Hadoop 之上的数据仓库，从ETL, 数据存储，到分析展现。重点围绕数据建模方面做分析，因为这是本文的重点，介绍一份新的数据建模方式 Data V…

一、引言 目前网站的一些业务数据存在数据库中，这些数据往往需要做进一步的分析，如：需要根据一些日志数据关联分析，或者需要进行一些如机器学习的分析。在阿里云上，目前E-Mapreduce能满足这种分析的需求。 在E-Map…

搭好了Hadoop环境，编写了个简单的WordCount程序，接下来，写几个MapReduce程序,看看MapReduce编程究竟怎么个用法 案例1 广告数据统计 数据格式： 11 xiaoming 1 20171224…

错误现象： 1. 今早在EMR3.2的生产新集群上执行导出操作，hbase org.apache.hadoop.hbase.mapreduce.Export safeclound.tb_ammeter /bac…

前置知识：Linux用户管理，Linux文件权限管理，文件打包与解压，SQL语句 Step1 熟悉工作室软件环境 Step2 VirtualBox使用&启动vimtutor Step3 熟悉云平台的使用 Step…

原文发表在：http://blog.javachen.com/2014/07/18/install-hdfs-ha-in-cdh.html 最近又安装 hadoop 集群， 故尝试了一下配置 HDFS 的 HA，CDH4…