开门见山，20%是我造的，哈哈，为的就是让各位mongoer能够对db.system.js collection 引起注意。 这个也是在我最近浏览InfoQ 的时候，看到一篇关于MongoDB 文章1的时候意识到的问题，…

selfMapper extends Mapper< LongWritable, Text, Text, IntWritable>  其中LongWritable是某一行起始位置相对于文件起始位置的…

1.增加插件 将插件hadoop-eclipse-plugin-1.0.4.jar放入/usr/lib/eclipse/plugins目录下 （完成后重新启动eclipse）[插件存放路径视eclipse存放位置而定] …

本文用到的 阿里云数加－大数据计算服务MaxCompute产品地址：https://www.aliyun.com/product/odps 1. 作业出现ClassNotFoundException和NoClassDef…

1、何为大数据技术生态圈？ 摘自https://www.zhihu.com/question/27974418/answer/38965760 传统的文件系统是单机的，不能横跨不同的机器。HDFS（Hadoop Dist…

虽然Google的MapReduce论文很老了（十多年），但只要还没看，就值得一看。 概要 MapReduce是一种重视容错性的分布式并行计算模式，它把分布式并行计算分为map和reduce两个阶段： map: 把输入数…

　MapReduce 为什么如此受欢迎？尤其现在互联网+时代，互联网+公司都在使用 MapReduce。MapReduce 之所以如此受欢迎，它主要有以下几个特点。     &nb…

高能性能计算(High Performance Computing, HPC)和网格计算(Grid Computing)组织多年以来一直在研究大规模数据处理，主要使用类似于消息传递接口(Message Passing I…

MapReduce 案例之Top N 1. Top N Top-N 分析法是指从研究对象中得到所需的 N 个数据，并对这 N 个数据进行重点分析的方法。 2. 实例描述 对数据文件中的数据取最大 top-n。数据文件中的…

背景 平时在编写前端代码时，习惯使用lodash来编写‘野生’的JavaScript; lodash提供来一套完整的API对JS对象（Array,Object,Collection等）进行操作，这其中就包括_.group…

一、 Time To Live(TTL) 集合 MongoDB 2.2 引入一个新特性–TTL 集合，TTL集合支持失效时间设置，当超过指定时间后， 集合自动清除超时文档，者用来保存一个诸如session会话…

最新的aliyun-emapreduce-sdk将MaxCompute数据以DataSource的方式接入Spark 2.x，用户可以使用类似Spark 2.x中读写json/parquet/csv的方式来访问MaxCo…