阿里妹导读：为了保证系统的在线交易服务顺利运转，最初几年，阿里都是在双11大促来临之前大量采购机器储备计算资源，导致了双11之后资源大量闲置点现象。是否能把计算任务与在线服务进行混合部署，在现有弹性资源基础上提升集群资源…

阿里妹导读：为了保证系统的在线交易服务顺利运转，最初几年，阿里都是在双11大促来临之前大量采购机器储备计算资源，导致了双11之后资源大量闲置点现象。是否能把计算任务与在线服务进行混合部署，在现有弹性资源基础上提升集群资源…

前言 前几篇文章分别从使用和源码层面对Quartz做了简单的分析，在分析的过程中也发现了Quartz不足的地方；比如底层调度依赖数据库的悲观锁，谁先抢到谁调度，这样会导致节点负载不均衡；还有调度和执行耦合在一起，导致调度…

TBSchedule是什么 TBSchedule是一个支持分布式的调度框架，让批量任务或者不断变化的任务能够被动态的分配到多个主机的JVM中,在不同的线程组中并行执行,所有的任务能够被不重复,不遗漏的快速处理。基于Zoo…

在很多场景中，我们为了保证数据的最终一致性，需要很多的技术方案来支持，比如分布式事务、分布式锁等。有的时候，我们需要保证一个方法在同一时间内只能被同一个线程执行。在单机环境中，Java中其实提供了很多并发环境下的线程安全…

        为了Spark Streaming应用能在生产中稳定、有效的执行，每批次数据处理时间（批处理时间）必须非常接近批次调度的时间…

本篇结构： 划分调度阶段 实例解析 一、划分调度阶段 Spark 调度阶段的划分是由 DAGScheduler 实现的，它会从最后一个 RDD 出发遍历整个依赖树，从而划分调度阶段，调度阶段的划分是以操作是否为宽依赖进行…

导语：工作中常常和Spark on YARN, Hadoop on YARN打交道，经常在各种日志中摸爬滚打，为提升效率，总结一下YARN的知识点，希望能形成一个比较系统的方法论。本文由三问三答一例组成。 1、为什么要使…

3.2 Spark调度机制 Spark调度机制是保证Spark应用高效执行的关键。本节从Application、job、stage和task的维度，从上层到底层来一步一步揭示Spark的调度策略。 3.2.1 Appli…

Spark Mesos 架构图 Apache Mesos采用Master/Slave架构，主要由Mesos Master、Mesos Slave、Framework和Executor四部分组成，整体架构如下如所示。其中M…

本篇结构： 创建 Task 创建 TaskSetManager 并 向 DriverEndpoint 发送消息 分配资源 发送消息告诉 Executor 去执行 Task 一、创建 Task 当调度阶段运行后，在 DAG…

Hadoop – Azkaban 作业调度 – 哥不是小萝莉 – 博客园 http://www.cnblogs.com/smartloli/p/5191155.html 在调度 Had…