Docker在很多时候都可以帮助我们快速搭建想要的开发环境，免去了很多安装配置上的麻烦。在涉及到Apache Kafka的快速demo时，使用Docker Hub上提供的镜像也是一个很好的选择。 Kafka & …

kafka 这家伙比较依赖zookeeper，安装zookeeper的教程看上篇文章 下载地址:http://kafka.apache.org/downloads.html 解压：tar -zxvf xx.tar.gz …

整合Kafka到Spark Streaming——代码示例和挑战 – stark_summer的专栏 – 博客频道 – CSDN.NET http://blog.csdn.net/st…

Structured Streaming 与0.10及以上版本的Kafka整合来对Kafka中的读书进行读取和写入操作。 Linking 对于使用SBT/Maven定义的Scala/Java应用程序，请将你的应用程序与如…

完整工程用例 最近一直在用directstream方式消费kafka中的数据，特此总结，整个代码工程分为三个部分 一. 完整工程代码如下(某些地方特意做了说明, 这个代码的部分函数直接用的是spark-streaming…

       HDFS connector允许以各种格式将Kafka topic中的数据导出到HDFS文件中，并与Hive集成，使数据可以被HiveQL查询。   &nb…

我的原创地址：https://dongkelun.com/2018/06/19/sparkSubmitKafka/ 前言 Spark Streaming本身是没有Kafka相关的jar包和API的，如果想利用Spark …

各种TimeoutException问题 会抛出org.apache.kafka.common.errors.TimeoutException: message可能为各种： Batch Expired Failed to…

我的原创地址：https://dongkelun.com/2018/06/25/KafkaUV/ 前言 本文利用SparkStreaming+Kafka实现实时的统计uv，即独立访客，一个用户一天内访问多次算一次，这个看…

input { kafka { auto_offset_reset => "earliest" codec => "plain" group_id => "es1" topics => ["myt…

kafka stream入门1 最近本人在单位经常有对于大量心跳数据进行汇总计算，然后更加计算汇总出不同种类的中间数据集合，来提供后期的处理的需求。 原先的方案是自己写了不少的job，然后利用zookeeper等进行jo…

有关于kafka集群搭建的教程，网上已经太多太多。不想赘述，大家可以自行查阅。这里记录一下本人搭建集群过程中的几点问题。 本文中涉及到的 zookeeper版本：3.4.12 kafka版本：2.0.1 【问题】是否可以…