启动kafka时，报错”Failed to instantiate SLF4J LoggerFactory..Reported exception:.. java.lang.NoClassDefFoundEr…

前提条件 三台Linux虚拟机，这里Linux使用的是CentOS7  安装好zookeeper集群，可参考ZooKeeper集群的安装 集群规划 node2 node3 node4 zk zk zk kafk…

1、Yahoo与Linked in

作者：Zarten 知乎专栏：Python爬虫深入详解 知乎ID： Zarten 简介： 互联网一线工作者，尊重原创并欢迎评论留言指出不足之处，也希望多些关注和点赞是给作者最好的鼓励 ！ kafka-python为Apa…

1 知道 Flume 的 Channel 是啥吗 Channel 被设计为 Event 中转临时缓冲区，存储 Source 收集并且没有被 Sink 读取的 Event，为平衡 Source 收集和 Sink 读取的速度…

上一节我们讲了librdkakfa对topic-partition的封装, 任何一个partition都必须要属于一下topic; 我们这节就来分析一上librdkafka对topic的封装 rd_kafka_itopi…

1. 修改config 下的 server.properties文件 vi server.properties 配置zookeeper集群 zookeeper.connect=node8:2181,node9:2181,…

从线程池使用谈起 创建并使用一个线程池 线程池这一概念，想必所有开发者都不陌生。它的应用场景十分广泛，可以被广泛的用于高并发的处理场景。Java 在 juc 包内提供了许多线程池相关的类，可以帮我们快速的构建一个线程池。…

《Designing Data-Intensive Applications》的核心部分都已经翻译完成了。此书是分布式系统架构必读书，出版于2017年，中文版目前还没有面世。我找了其中比较吸引我的那几章，阅读的同时，顺手…

Spark Streaming 支持多种实时输入源数据的读取，其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源，由于我们的业务场景没有涉及，在此将不会讨论。本篇文章主要着眼于我们目前的业…

先做一个简单的自我介绍，博主本人就读于上海某高校计算机专业，科班出身。热爱存储与虚拟化技术，在相关领域有一定的技术积累，包括数据库、rocksdb存储引擎、文件系统、NVMe驱动、虚拟化以及kernel by pass技…

如何为Kafka挑选合适的分区数？很多人都为这个问题伤过脑筋。 从吞吐量方面考虑，增加合适的分区数可以很大程度上提升整体吞吐量，但是超过对应的阈值之后吞吐量不升反降。如果应用对吞吐量有着一定程度上的要求，建议在投入生产环…