refer to: https://dtflaneur.wordpress.com/2015/10/05/installing-kafka-on-mac-osx/ 安装 Run the cmd on terminal: …

之前一段时间通过SparkStreaming+Kafka处理上网日志数据的一些记录，做个备忘。 KafkaUtils.createDirectStream or KafkaUtils.createStream creat…

集群规划，3个容器，由最初的centos:latest镜像开始制作 主机名 IP地址 kafka-node1 172.19.0.71 kafka-node2 172.19.0.72 kafka-node3 172.19.…

1.安装kafka 执行命令：brew install kafka 2.修改server.properties 执行命令：vi /usr/local/etc/kafka/server.properties 增加一行配置如…

kafka是基于scala语言开发，所以需要java运行环境，下载前请先确认是否已经安装并配置java环境 下载安装 下载 最新版的kafka软件 wget http://apache.opencas.org/kafka…

当kafka中的数据丢失时，Spark程序消费kafka中数据的时候就可能会出现以下异常： Lost task 12.0 in stage 398.0 (TID 2311, localhost, executor dri…

1.下载镜像 这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像 docker pull wurstmeister/zookeeper docker pull w…

准备工作： 安装 spark 安装 zookeeper 安装 kafka 开始工作 1. 启动zookeeper 打开终端，切换到 zookeeper HOME 目录， 进入conf文件夹，拷贝一份 zoo_sample…

项目中用到storm+kafka+zookeeper，在实际应用中zk和kafka常出问题，这里记录下在使用zk过程中的问题。 注：zk版本是3.4.8，kafka是0.8.2.0。zk、storm和kafka都是运行在…

我就是bug届的扛把子呀～ 借助google各种英文文献终于找到一个靠谱的，最欣喜的事莫过于google一个问题时看到绿色的对号！ 虽然这篇参考没有对号，但借助二人的谈话，我终于知晓点门路了，把问题解决了，至于原因，我还…

现在开源流处理框架越来越多，大家都熟知的有 Spark Streaming, NiFi, Flink等等。 Kafka Streams 也是其中一员。 那么在众多的流处理框架中，Kafka Streams 有哪些独特的优…

Kafka 单机环境搭建 从官网下载kafka_2.11-0.9.0.1和kafka_2.11-0.10.2.0两个版本， 这两个版本升级较大。而且对于Spark，有两个不同的jar包依赖，所以需要在测试环境中准备这两个…