refer to: https://dtflaneur.wordpress.com/2015/10/05/installing-kafka-on-mac-osx/ 安装 Run the cmd on terminal: …
标签:kafka
spark应用开发-streaming&kafka
之前一段时间通过SparkStreaming+Kafka处理上网日志数据的一些记录,做个备忘。 KafkaUtils.createDirectStream or KafkaUtils.createStream creat…
Docker中搭建Kafka集群以及让外网访问
集群规划,3个容器,由最初的centos:latest镜像开始制作 主机名 IP地址 kafka-node1 172.19.0.71 kafka-node2 172.19.0.72 kafka-node3 172.19.…
mac brew kafka
1.安装kafka 执行命令:brew install kafka 2.修改server.properties 执行命令:vi /usr/local/etc/kafka/server.properties 增加一行配置如…
kafka环境搭建1-单机版
kafka是基于scala语言开发,所以需要java运行环境,下载前请先确认是否已经安装并配置java环境 下载安装 下载 最新版的kafka软件 wget http://apache.opencas.org/kafka…
[SPARK-19680] OffsetOutOfRangeException 解决方案
当kafka中的数据丢失时,Spark程序消费kafka中数据的时候就可能会出现以下异常: Lost task 12.0 in stage 398.0 (TID 2311, localhost, executor dri…
docker下安装kafka和kafka-manager
1.下载镜像 这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像 docker pull wurstmeister/zookeeper docker pull w…
SparkStreaming+Zookeeper+Kafka入门程序
准备工作: 安装 spark 安装 zookeeper 安装 kafka 开始工作 1. 启动zookeeper 打开终端,切换到 zookeeper HOME 目录, 进入conf文件夹,拷贝一份 zoo_sample…
Zookeeper运维小结--CancelledKeyException
项目中用到storm+kafka+zookeeper,在实际应用中zk和kafka常出问题,这里记录下在使用zk过程中的问题。 注:zk版本是3.4.8,kafka是0.8.2.0。zk、storm和kafka都是运行在…
kafka-connect出现error Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.collect.Sets$SetView.iterator()Lcom/google/common/collect/UnmodifiableIterator
我就是bug届的扛把子呀~ 借助google各种英文文献终于找到一个靠谱的,最欣喜的事莫过于google一个问题时看到绿色的对号! 虽然这篇参考没有对号,但借助二人的谈话,我终于知晓点门路了,把问题解决了,至于原因,我还…
Kafka Streams 还是 Spark Streaming
现在开源流处理框架越来越多,大家都熟知的有 Spark Streaming, NiFi, Flink等等。 Kafka Streams 也是其中一员。 那么在众多的流处理框架中,Kafka Streams 有哪些独特的优…
Spark Streaming和Spark Struct Streaming + Kafka环境部署测试
Kafka 单机环境搭建 从官网下载kafka_2.11-0.9.0.1和kafka_2.11-0.10.2.0两个版本, 这两个版本升级较大。而且对于Spark,有两个不同的jar包依赖,所以需要在测试环境中准备这两个…