项目地址：https://github.com/chenhg5/go… 有时候我们为了更好的利用计算机资源，可以把一些耗时长的任务队列化异步执行。举个对应简单的生活中例子就是大多数餐厅里面点菜都是先找地方做，…

常见的数据倾斜是怎么造成的？ Shuffle的时候，将各个节点上相同的key拉取到某个节点的一个task进行处理，比如按照key进行聚合或join等操作，如果某个key对应的数据量特别大的话，就会发生数据倾斜现象。数据倾…

settings.gradle println '=====在初始化阶段执行====' build.gradle println '=====在配置阶段执行====' task configured { println …

这篇文章是我本身的一个进修总结，并非异常仔细，连系给出的链接能够有更仔细的熟悉 先引见几个观点，便于明白 关于堆和栈（作为内存地区来讲） 堆（heap）：寄存object、array、function等不确定内存大小的数…

Go CD 是属于在持续集成，持续交付过程中使用的自动化构建工具，可以执行编译，自动化测试，自动部署等等。 在此之前，已经使用过Jenkins工具了，Go CD 的功能和Jenkins差不多，但又有其特点。 Go CD中…

如何在开发ETL过程中，设置参数，或者不设置参数，跟依赖的mapreduce平台之间是什么关系？ dfs.block.size   决定HDFS文件block数量的多少(文件个数),它会间接的影响Job Tra…

学习本系列前可以下载相关的github项目gradleLearnDemo。 地址：https://github.com/sososeen09/gradleLearnDemo 自定义task包含两个组件： 1）自定义的ta…

启动Spark Speculative后，有时候运行任务会发现如下提示： WARN TaskSetManager: Lost task 55.0 in stage 15.0 (TID 20815, spark047216…

今天我们来总结下Gradle 中task的相关知识点，gradle中的project和task真的是太太太重要了。在Gradle中可以有很多的Project，Project就是抽出来的一个个独立的模块，所有的Projec…

update h5perf_task set run_state = 0 where id in (SELECT t.id from (SELECT * FROM h5perf_task WHERE run_state …

在上一篇文章中我们介绍了如何自定义简单的任务。本文将通过如下四个简单任务来说明任务之间的依赖关系。 task compile << { println "Compiled" } task unitTest &…

目录 1.系统架构 2.环境搭建 2.1本地环境下kafka批量导入数据 2.2 kafka-manager的安装与配置 3.1 Spark Streaming 性能调优(一): 解决并行度 3.2 Spark Stre…