kafka简单介绍 Kafka 是 LinkedIn 开源的一种高吞吐量的分布式发布订阅消息系统，kafka的诞生就是为了处理海量日志数据，所以kafka处理消息的效率非常高，即使是非常普通的硬件也可以支持每秒数百万的消…

Spring Cloud是一系列框架的有序集合。利用Spring Boot的开发模式简化了分布式系统基础设施的开发，都可以用Spring Boot的开发风格做到一键启动和部署。Spring Cloud将目前比较成熟、经得…

BoltDB是相当出名的纯Go实现的KV读写引擎, 用户有etcd, consul等. 我最近阅读了它的源代码, 以下是我的一点看法. 先说优点, BoltDB源码相当清晰, 没有黑魔法, 就是经典的B+Tree实现, …

一、Python基础 Python简明教程（Python3） Python3.7.4官方中文文档 Python标准库中文版 廖雪峰 Python 3 中文教程 Python 3.3 官方教程中文版 Python3 Coo…

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。下面介绍有关…

配置 集群配置 3个Node 3个节点； cpu: 40c memory: 256G 带宽: 4G JVM配置 -Xmx30G -Xms30G -XX:MaxPermSize=48m -server -XX:+UseG1…

[Toc] 如何在kafka中创建topic 在使用kafka发送消息和消费消息之前，必须先要创建topic，在kafka中创建topic的方式有以下3种： 如果kafka broker中的config/server.p…

SDN分布式集群 修改后记得 maven clean install 分布式事务之2PC和3PC storm – 可靠机制 kafka 分布式消息系统：Kafka Kafka剖析（一）：Kafka背景及架构介…

为什么搭建Kafka需要zookeeper? – 开源中国社区 http://www.oschina.net/question/181141_2157270?sort=time kafka的官方文档有说明。z…

python连接kafka 最近项目中总是跟java配合，我一个写python的程序员，面对有复杂数据结构的java代码转换成python代码，确实是一大难题，有时候或多或少会留有一点坑，看来有空还得看看java基础。这…

（1）kafka和flume都是日志系统。kafka是分布式消息中间件，自带存储，提供push和pull存取数据功能。flume分为agent（数据采集器）[source channel sink]。 （2）kafka做…

       我创建了一个pipeline，如下所示： （1）将tweets流数据写入Kafka的topic （2）Confluent的HDFS Sin将tweets流写入到HDF…