比较惭愧，博客很久（半年）没更新了。最近也自己搭了个博客，wordpress玩的还不是很熟，感兴趣的朋友可以多多交流哈！地址是：http://www.leocook.org/ 另外，我建了个QQ群：305994766，希…

原文 http://blog.csdn.net/samhacker/article/details/15692003 yarn-site.xml  主要是这几个参数 – mapreduce…

报错 java.lang.Exception: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot b…

最近在研究windows环境下编写mapreduce程序，遇到一些问题，但终于得以解决，现在总结一下。 编写mapreduce的步骤： 1.由于没用mapreduce的eclipse插件，我就直接把hadoop的相关包引…

  A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J…

在编写MapReduce程序时，经常会遇到这样的问题，全局变量如何保存？如何让每个处理都能获取保存的这些全局变量？使用全局变量是不可避免的，但是 在MapRdeuce中直接使用代码级别的全局变量是不现实的。主要是因为继承…

1. 需求 统计每一个手机号耗费的总上行流量、下行流量、总流量 （1）输入数据   （2）输入数据格式：   7 13560436666 120.196.100.99 1116 954 200 id …

Hbase采用Java实现，原生客户端也是Java实现，其他语言需要通过thritf接口服务间接访问Hbase的数据。 Hbase作为大数据存储数据库，其写能力非常强，加上Hbase本身就脱胎于Hadoop故和Hadoo…

下面是异常信息： 2018-11-08 16:55:52,361 INFO [main] org.apache.hadoop.hbase.mapreduce.TableRecordReaderImpl: recovere…

MapReduce 使用案例 MapReduce在面试过程中出现的频率还是挺高的，尤其是数据挖掘等岗位。通常面试官会出一个大数据题目，需要被试者根据题目设计基于MapReduce的算法来解答。我在一个大神的博客中找到相关…

/** * 单词统计 * @author fengmingyue * */ public class WordCount { public static void main(String[] args) throws E…

使用MapReduce生成HFile文件，通过BulkLoader方式（跳过WAL验证）批量加载到HBase表中     package com.mengyao.bigdata.hbase; impo…