kafka 介绍 Kafka的github和官网。 搭建 配置zookeeper 2181 zookeeper的配置要求参考这处文档 搭建主要参考这篇教程。 配置kafka 9092 搭建主要参考这篇教程及官方tutor…

目前Spark的最新版本是2.3.0，更新了Spark streaming对接Kafka的API，但是最新的API仍属于实验阶段，正式版本可能会有变化，本文主要介绍2.3.0的API如何使用。 This version …

本节介绍一下如何配置Spark Streaming 来接收kafka的数据。有两个方法： 1、老的方法 -使用Receivers 和kafka的高级API 2、新的方法（ Spark 1.3 开始引入）-不使用Recei…

准备工作：配置Java环境、 Zookeeper 集群部署 下载Kafka安装包 到 http://kafka.apache.org/downloads.html 下 载 kafka 的 安 装 包 kafka_2.11…

此教程假设你刚刚开始没有任何 Kafka 或 ZooKeeper 数据。Kafka的控制台脚本在类Unix和Windows平台不同，Windows平台使用bin\windows\\代替bin/，脚本的扩展名改为.bat。…

Kafka 简介 作为一个消息中间件，Kafka 以高扩展性、高吞吐量等特点，在互联网项目中被广泛采用。 不清楚 Kafka 的同学，可以先看看这篇文章： http://blog.csdn.net/suifeng3051…

场景 最近, 运维部门的同事碰到一个问题, 向Kafka 中 某个Topic 发送消息总是失败. 调查下来发现, Zookeeper 中记录的该Topic 的Partition Leader 是一个非法的Broker. …

参考 kafka 技术分享 如何确定Kafka的分区数，key和consumer线程数，以及不消费问题解决 kafka性能参数和压力测试揭秘 kafka producer线程与吞吐量 1.partition数量配置 pa…

环境准备 Kafka 版本：kafka_2.10-0.10.2.0（2.10表示Scala版本 0.10.2.0表示Kafka版本） 官方下载地址：http://kafka.apache.org/downloads Zo…

由于目前作者使用的 kafka 版本是 0.10.1，因此本章翻译以0.10.1版本的官方文档进行翻译，官方原文地址：https://kafka.apache.org/0101/documentation.html 1.…

kafka集群搭建 网络上的博客质量参差不齐，对新手很不友好，我参考了一些博客文档后，重新写了一遍kafka的搭建教程，包括zookeeper的搭建教程，还附上了遇到的一些常见错误的解决方案。 我使用了3台虚拟机，因为k…

消息生产者：producer 消息消费者：consumer 主题：即Topic，由用户定义并配置在Kafka服务端，用于建立生产者和消费者之间的订阅关系：生产者发送消息到指定Topic下，消费者从这个Topic下消费消息…