现在开源流处理框架越来越多,大家都熟知的有 Spark Streaming, NiFi, Flink等等。 Kafka Streams 也是其中一员。 那么在众多的流处理框架中,Kafka Streams 有哪些独特的优…
标签:kafka
Apache Kafka -8 与Spark集成
Apache Kafka教程 之 与Spark集成 http://blogxinxiucan.sh1.newtouch.com/ 原文地址: http://blogxinxiucan.sh1.newtouch.com/2…
Spark与Kafka整合原理
spark和kafka整合有2种方式 1、receiver 顾名思义:就是有一个线程负责获取数据,这个线程叫receiver线程 解释: 1、Spark集群中的某个executor中有一个receiver线程,这个线程负…
SparkStreaming+Kafka 实现基于缓存的实时wordcount程序
我的原创地址:https://dongkelun.com/2018/06/14/updateStateBykeyWordCount/ 前言 本文利用SparkStreaming和Kafka实现基于缓存的实时wordcou…
新书《深入理解Kafka:核心设计与实践原理》上架,感谢支持~
新书上架 初识 Kafka 时,笔者接触的还是 0.8.1 版本,Kafka 发展到目前的 2.x 版本,笔者也见证了Kafka的蜕变,比如旧版客户端的淘汰、新版客户端的设计、Kafka 控制器的迭代优化、私有协议的变更…
3.1 Spark Streaming 性能调优(一): 提高并行度
目录 1.系统架构 2.环境搭建 2.1本地环境下kafka批量导入数据 2.2 kafka-manager的安装与配置 3.1 Spark Streaming 性能调优(一): 解决并行度 3.2 Spark Stre…
SparkStreaming入门教程(三)高级输入源:Flume、Kafka整合SparkStreamigaming
SparkStreaming+Kafka SparkStreaming整合Kafka有两种方式,一种是基于接收器的方法,另一种是直接方法(无接收器)。 Receiver方式:由Spark executors中的Recei…
SparkStreaming+Kafka 实现统计基于缓存的实时uv
我的原创地址:https://dongkelun.com/2018/06/25/KafkaUV/ 前言 本文利用SparkStreaming+Kafka实现实时的统计uv,即独立访客,一个用户一天内访问多次算一次,这个看…
[Kafka]整合到Spark Streaming
整合Kafka到Spark Streaming——代码示例和挑战 – stark_summer的专栏 – 博客频道 – CSDN.NET http://blog.csdn.net/st…
flume与kafka集成遇到的问题与解决思路
0x00 背景知识 基本上想去用flume的同学都知道点flume的用途了。flume是一个分布式,可靠的,易用的,可以将不同源的日志进行,收集,汇总,或者存储的中间件。 0x01 使用场景 数据来源:系统现有日志,有p…
Kafka Streams 入门实例1 WordCount
WordCount WordCount 堪称大数据界的HelloWorld,相信不管是Hadoop还是Spark等大数据工具的上手实例,第一个十有八九是WordCount。 Kafka Stream也不例外。作为集成在K…