Batch文件能完成一些批量重复操作。不想在每次用到重新编写一个.bat文件，所以这里用一个工具（.bat）去生成一个用于具体批量操作的.bat文件。 工具的batch代码在文档的最后面。新建一个文本文档，将代码黏贴到文…

ren *.jpg *.jpp *.jpg为原本的文件后缀 *.jpp是需要修改的文件后缀

最近研究离线批处理任务的加工，发现Spring Batch是一个非常不错的选择。其应用场景介于数据库存储过程与Hadoop大数据加工之间。可以处理日常的批处理任务，监控任务的执行情况。从现在开始，我们就慢慢深入研究下Sp…

1. 前言 Spark Streaming在处理不断流入的数据时通过每间隔一段时间(batch interval)将这段时间内的流入的数据积累为一个batch，然后以这个batch内的数据作为job DAG的输入rdd提…

Spark Streaming内部的基本工作原理如下：接收实时输入数据流，然后将数据拆分成多个batch，比如每收集1秒的数据封装为一个batch，然后将每个batch交给Spark的计算引擎进行处理，最后会生产出一个结…

0x01 前言     上篇文章Spark Streaming和Kafka集成深入浅出介绍了Spark Streaming的基本内容及和kafka的集成，其中也提到了开启反压的缘由…

1. 前言 随着Druid上的DataSource的数量和数据量增加，使用原来的 Hadoop MR索引任务已经不能满足对大数据量写入Druid的需求，急需找到更快的写入方式。就是本文介绍的druid-spark-bat…