如何设计一个靠谱的消息中间件 在前面的三篇文章中，我们从微观到宏观，再从宏观到微观的了解了一遍Nsq： Nsq的几个组件 一条消息如何从生产到被消费 Nsq的一些细节 现在让我们利用现有知识，试着总结一下，如何设计一个靠…

动机 我们设计Kafka能够作为处理大公司可能拥有的所有实时数据馈送的统一平台。为此，我们必须考虑相当广泛的用例。 它必须拥有高吞吐量以支技大规模流式事件，比如实时日志聚合。 它需要优雅的处理大量数据积压，以便能够支持来…

微服务自成立以来就以不同的方式相互沟通。有些人更喜欢使用HTTP REST API，但这些API有自己的排队问题，而有些则更喜欢较旧的消息队列，比如RabbitMQ，它们带有扩展和操作方面的问题。 以Kafka为中心的架…

前言 生产环境下，为了尽可能的提升kafka的整体吞吐量，可以对kafka的相关配置参数进行调优，以达到提升整体性能的目的 提升kafka的整体性能有多方面可以进行优化，比如生产端的优化，broker端的配置参数优化，消…

豆瓣：Making Sense of Stream Processing 前段时间读了 I heart Logs 这本小册子，感觉意犹未尽，于是跟随 @阿莱克西斯 的脚步，又看了下这本书。 本书作者还有一本更广为人知的书…

【岗位要求】 1.计算机或相关专业本科或以上学历 2.扎实的数据结构与算法基础 3.熟悉JAVA、Linux操作系统，良好的Shell脚本编程能力 4.使用过Hadoop、zookeeper、kafka、或spark者优…

集群规划： 用三台虚拟机搭建， ip 服务 192.168.10.100 zk，kafka 192.168.10.101 zk，kafka 192.168.10.102 zk，kafka kafka下载地址： http:…

本系列内容： Kafka环境搭建与测试 Python生产者/消费者测试 Spark接收Kafka消息处理，然后回传到Kafka Flask引入消费者 WebSocket实时显示 版本： spark-2.4.3-bin-h…

图片本地没保存，需要在我博客看详情： http://www.54tianzhisheng.cn/2018/01/05/SpringBoot-Kafka/) 前提 假设你了解过 SpringBoot 和 Kafka。 1、…

连接kafka时需要输入kafka节点名和端口： 例如： kafka-topics.sh –bootstrap-server hadoop102:9092 –list kafka-topics.s…

基于Flink流处理的动态实时(二) 等有时间了继续写,正好今天有空就写一下服务器配置zookpeer和kafka (单机的) 我用的是：zookeeper-3.4.10.tar.gz 和kafka_2.11-2.1.0…

摘要： 当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法，也代表…