今天解读的内容是来自 Spark Summit East 2017 关于 Spark Streaming 应用程序开发的一个介绍： What No One Tells You About Writing a Stream…

Kafka Coordinator.

Spring for Apache Kafka 2.2 已经发布，该版本修复了一些问题。 目前，2.1.x版本与2.0.0 kafka-clients jar兼容（从2.1.9开始），但此版本需要2.0.0（并提供2.0…

1.算法学习 《Algorithms Part 1》第一周问题集（1） 《Algorithms Part 1》第一周问题集（2） 《Algorithms Part 1》第一周问题集（3） 《Algorithms Part…

用kafka connect做ETL，会造成数据丢失或者数据重复吗？如果是的话，有什么办法解决吗

Log4j Java的爱好者们，一定对log4j是特别的熟悉，基本大多数项目都会选择log4j、slg4j来进行log记录。 但是对于log4j.properties的配置可能理解的不是特别熟悉，所有我准备整理一下，同时…

第一，谈谈final， finally， finalize的区别。 最常被问到。final修饰符（关键字）如果一个类被声明为final，意味着它不能再派生出新的子类，不能作为父类被继承。因此一个类不能既被声明为 abst…

TIPS本文基于Spring Cloud Greenwich SR1 + spring-cloud-starter-stream-rocketmq 0.9.0理论兼容：Spring Cloud Finchley+ + s…

.1 kafka+zookeeper集群环境以安装 1.2 下载flume 本文使用flume1.7 下载地址:http://flume.apache.org/download.html 二.配置flume 2.1 上传…

夜黑风高，正是复盘的良机 上次说到我深爱的客户的网络限制深深滴伤害了我，就讲一下如何诊断出来的。 背景当然是MySQL 5.6升级到MySQL 5.7导致系统整体性能下降，才引发的整个故事。 首先为什么要升级，因为MyS…

纽约时报有很多内容生成系统，我们使用第三方数据来编写故事。另外，我们有 161 年的新闻行业积累和 21 年的在线内容发布经验，所以大量的在线内容需要被搜索到，并提供给不同的服务和应用使用。 另一方面，有很多服务和应用需…

日志存在于不同的机器不同的目录，所以首先机器上面要有收集日志的 Agent，这些 Agent 被生动的叫做：Shippers（直译：发货商），好理解，将日志像货物一样发送出去。 我第一次听到 ELK 的时候，以为它就是 …