1、删除kafka存储目录(server.properties文件log.dirs配置,默认为”/tmp/kafka-logs”)相关topic目录 2、Kafka 删除topic的命令是: ./…
标签:kafka
2.1 本地环境下kafka批量导入数据
目录 1.系统架构 2.环境搭建 2.1本地环境下kafka批量导入数据 2.2 kafka-manager的安装与配置 3.1 Spark Streaming 性能调优(一): 解决并行度 3.2 Spark Stre…
kafka快速开始教程
此教程假设你刚刚开始没有任何 Kafka 或 ZooKeeper 数据。Kafka的控制台脚本在类Unix和Windows平台不同,Windows平台使用bin\windows\\代替bin/,脚本的扩展名改为.bat。…
kafka位置偏移量写到zookeeper的三种方式
导读 为什么要将kafka位置偏移量写到zookkerper? 方式一:使用Spark API 方式二:使用kafka API 方式三:使用zookeeper API 为什么要将kafka位置偏移量写到zookeeper…
Kafka zookeeper配置说明
1、dataDir、dataLogDir # the directory where the snapshot is stored # data路径,这个路径要事先创建,zookeeper的持久化都存储在这两个目录里 d…
Kafka入门系列—6. Kafka 常用命令及Java API使用
常用命令 启动Zookeeper ./zkServer.sh start-foreground 可选参数: ./zkServer.sh {start|start-foreground|stop|restart|statu…
kafka2:性能优化
参考 kafka 技术分享 如何确定Kafka的分区数,key和consumer线程数,以及不消费问题解决 kafka性能参数和压力测试揭秘 kafka producer线程与吞吐量 1.partition数量配置 pa…
Kafka 中Zookpeer 的作用-原理与实战
场景 最近, 运维部门的同事碰到一个问题, 向Kafka 中 某个Topic 发送消息总是失败. 调查下来发现, Zookeeper 中记录的该Topic 的Partition Leader 是一个非法的Broker. …
如何在kafka中创建topic
[Toc] 如何在kafka中创建topic 在使用kafka发送消息和消费消息之前,必须先要创建topic,在kafka中创建topic的方式有以下3种: 如果kafka broker中的config/server.p…
Kafka解惑之topic创建(2)
欢迎支持笔者新作:《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》,同时欢迎关注笔者的微信公众号:朱小厮的博客。 前言 上一篇How to create a topic in kafka(1)中的…
ZooKeeper为kafka做负载均衡
消息生产者:producer 消息消费者:consumer 主题:即Topic,由用户定义并配置在Kafka服务端,用于建立生产者和消费者之间的订阅关系:生产者发送消息到指定Topic下,消费者从这个Topic下消费消息…
Kafka与Redis比较
转一篇比较Kafa与Redis的文章,从日志聚合分析了二者的性能。 《Kafka vs. Redis: Log Aggregation Capabilities and Performance》 https://logz…