kafka通过topic来分主题存放数据，主题内有分区，分区可以有多个副本，分区的内部还细分为若干个segment。 　　所谓的分区其实就是在kafka对应存储目录下创建的文件夹，文件夹的名字是主题名加上分区编号，编…

前言 最近为了解决Spark2.1的Bug，对Spark的源码做了不少修改，需要对修改的代码做编译测试，如果编译整个Spark项目快的话，也得半小时左右，所以基本上是改了哪个子项目就单独对那个项目编译打包。 Spark官…

服务端启动命令 # -daemon 表示后台进行 # config/server.properties 指定配置文件 kafka-server-start.sh -daemon config/server.propert…

时间轮由来已久，Linux内核里有它，大大小小的应用里也用它; Kafka里主要用它来作大量的定时任务，超时判断等; 这里我们主要分析 Kafka中时间轮实现中用到的各个类. TimerTask 所在文件：core/sr…

RPC和MQ开源很多 一、Rabbit Rabbit的模式包括， fanout, pub/sub, direct, topic, rpc等。 本质上是topic一种模式。 除开rpc，其他都是topic模式的子集。 Rp…

最近很多球友都说在准备面试，不知道准备点啥，尤其是spark，实际上星球里浪尖分享的内容真的都掌握了，应对一般面试绝对没问题，但是遗憾的事情是很多人都是处于不会主动搜集资料，主动梳理知识，主动记忆整理知识，而是伸手要粮的…

生产者详解 上文中生产者代码如下： Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props…

作者：小明1链接：https://www.nowcoder.com/discuss/255625来源：牛客网 7月参加了百度提前批面试，参加了8轮面试，拿到了两个部门的Offer。今天刚刚做了人才特质测评，分享一下面试过…

Low level consumer: At least once consuming edenhill/librdkafka https://arnaud-lb.github.io/php-rdkafka/phpdoc…

该客户端透明的处理Kafka代理的失败，并透明的适应它获取的主题分区在集群内的迁移。该客户端还与代理进行交互，允许消费者组用消费者组来负载平衡消费。 消费都维持到必要代理的的TCP连接以获取数据。在使用后关闭消费者失败会…

怎么成为一个架构师？ 如果只是职称上面的，那就错了。 什么样的能力，能称得上架构师呢？ 1.大靠山：能解决问题，做最后的技术保障。 2.灯塔：避免走弯路，能判断技术选型的适应范围。 3.善分享：愿意帮助他人的心态，不怕被…

采用Apache Kafka等流平台，有个很重要的问题是：将使用哪些主题？特别是，如果要将一堆不同的事件作为消息发布到Kafka，是将它们放在同一主题中，还是将它们拆分为不同的主题？ 主题最重要的功能是允许使用者指定它想…