Kafka kafka是个日志处理缓冲组件,在大数据信息处理中使用。和传统的消息队列相比较简化了队列结构和功能,以流形式处理存储(持久化)消息(主要是日志)。日志数据量巨大,处理组件一般会处理不过来,所以作为缓冲曾的ka…
标签:kafka
kafka-connect出现error Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.collect.Sets$SetView.iterator()Lcom/google/common/collect/UnmodifiableIterator
我就是bug届的扛把子呀~ 借助google各种英文文献终于找到一个靠谱的,最欣喜的事莫过于google一个问题时看到绿色的对号! 虽然这篇参考没有对号,但借助二人的谈话,我终于知晓点门路了,把问题解决了,至于原因,我还…
【Kafka官方文档翻译】3. 快速入门
官方原文地址:https://kafka.apache.org/quickstart 中文翻译地址:http://ifeve.com/kafka-quickstart/
Kafka Connect JDBC Connector学习文档
前言: 最近需要调研Kafka Connect可连接哪些数据源,特此学习官网并翻译了下文档。 Confluent JDBC Connector官网地址(官网布局可能有些凌乱) 本文为纯理论学习,实践请看下文 Kafka …
BottledWater-PG:PostgreSQL集成Kafka的实时数据交换平台
一 安装 BottledWater-PG的安装前文已经表述,本文不赘述直接进入集成应用阶段。 二 启动KafKa #启动zookeeper [root@bogon kafka_2.11-0.10.2.0]# bin/zo…
Spark Streaming连接Kafka入门教程
转载请务必注明原创地址为:https://dongkelun.com/2018/05/17/sparkKafka/ 前言 首先要安装好kafka,这里不做kafka安装的介绍,本文是Spark Streaming入门教程…
mac上搭建kafka并利用spark streaming实时消费
hello.jpg Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。 APP流行起来之后,企业就有了大量用户的行为数…
kafka stream入门1
kafka stream入门1 最近本人在单位经常有对于大量心跳数据进行汇总计算,然后更加计算汇总出不同种类的中间数据集合,来提供后期的处理的需求。 原先的方案是自己写了不少的job,然后利用zookeeper等进行jo…
Spark Streaming+Kakfa细节剖析
Spark Streaming+Kakfa细节剖析 本文基于 Kafka 1.1.0 和 Spark 2.3.0 版本源代码进行分析 Kafka 消费接口 Kafka消费接口包含:低级和高级API,这个区分主要针对bro…
Spark Streaming(三)集成Kafka
Kafka从0.8版本到0.10版本提供了一种新的消费者api,所以根据你的kafka版本不同相应的有2种包可用,分别是spark-streaming-kafka-0-8 和spark-streaming-kafka-0…
spark结构化流--kafka
我们的场景是通过spark-streaming读取kafka数据,实时持久化到hdfs上。并按day和hour分区。就像这种格式: kafka:0.10.2.0 hdfs:2.7.3 spark:2.2.0 核心代码如下…
Spark Streaming 重启后Kafka数据堆积调优
问题: 当应用由于各种其它因素需要暂停消费时,下一次再次启动后就会有大量积压消息需要进行处理,此时为了保证应用能够正常处理积压数据,需要进行相关调优。 另外对于某个时刻,某个topic写入量突增时,会导致整个kafka集…