从0实现一个tinyredux 讲真，redux已经很小了，去掉注释代码也就300行吧， 大家可以去读一下， 注释写的也是非常详细了。redux 更多的是对思维上的变化：数据改变 + 视图更新 二者分开，各自管理自己。而…

基本概念 reduce() 方法接收一个函数作为累加器（accumulator），数组中的每个值（从左到右）开始缩减，最终为一个值。 reduce 为数组中的每一个元素依次执行回调函数，不包括数组中被删除或从未被赋值的元…

原文： Getting to Know the useReducer React Hook 作者：Kingsley Silas 译者：博轩 useReducer 是 React 16.8.0 中为数不多由官方提供的 Re…

我尽量用好懂的方式总结一下，踩过坑的前辈多提意见，同时也希望为各位同学提供帮助。 简单的打个比方，shuffle就是顺丰快递，将map端的数据经过排序分类等一些列的操作，到reduce端的过程。reduce端并不是等ma…

1，一个Hive查询生成多个Map Reduce Job，一个Map Reduce Job又有Map，Reduce，Spill，Shuffle，Sort等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤…

不同输入源下的map和reduce数量： 一般情况下，在输入源是文件的时候，一个task的map数量由splitSize来决定的，那么splitSize是由以下几个来决定的 goalSize = totalSize / …

最近跑一个Hadoop程序，处理一年的log，处理的时候发现Map有18000多个，Reduce任务数我设置了1000个。 最后半个小时过去了，所有Map都执行完毕，就有一个Reduce没有结束，然后没管他继续干其他的了…

火山日常啰嗦 学习了一些大数据的相关框架后，发现应用层的东西确实不难，真正难的都是底层原理，所以我查看了很多资料，借鉴了前人的方法再加上自己的理解，写下了这篇文章。 数据倾斜的直白概念： 数据倾斜就是数据的分布不平衡，某…

这是一篇学习和了解Oozie的文章。 什么是Oozie 简而言之，Apache Oozie 是用于 Hadoop 平台的一种工作流调度引擎。 Oozie有什么作用 在Hadoop中执行的任务有时候需要把多个Map/Red…

一、故障情景 基于Hive的数据仓库中需要做一张累积快照表，记录了客户发生各个行为的具体日期，比如激活日期、注册日期、申请日期、创建订单日期等等。 这张表需要以激活日期作为分区时间，便于业务查询。 激活日期将近500个日…

Hive中SQL的优化技巧，核心思想是避免数据倾斜。 1、避免在同一个查询中同时出现count, distinct,group by 2、left join 时把小数据量的表放在前面 3、尽量使用子查询 参数配置 SET…

reduce 官方文档描述： Reduces the elements of this RDD using the specified commutative and associative binary operato…