Librdkafka用纯C写成,作者在C API基础上作了C++的简单封装; 说到C, 自然里面离不开大量的指针操作, 内存操作, 引用计数等等, 作者一一为我们作了实现; 基础数据结构里面也说到了很多,比如 链表, 各…
分类:kafka
荐书:Operating Systems: Three Easy Pieces
今天介绍一本书,书名叫做:《Operating Systems: three easy pieces》。如果日常工作中和底层打交道的话会遇到很多操作系统相关的问题,比如: 为何系统会出现 load 值高 cpu 利用率却…
Apache 流框架 Flink,Spark Streaming,Storm对比分析(二)
本文由网易云 发布 本文内容接上一篇Apache 流框架 Flink,Spark Streaming,Storm对比分析(一) 2.Spark Streaming架构及特性分析 2.1 基本架构 基于是spark cor…
Kafka中的消息操作的层级调用关系
Kafka里有关log操作的类比较类, 但是层次关系还是很清晰的,实际上就是上次会把操作代理给下一层; 是时候放出这张图了 相关的一些类我们在前面的章节中都有介绍过 1. Kafka的日志管理模块–LogMa…
阿里面试题剖析,如何保证消息队列的高可用?
面试题 如何保证消息队列的高可用? 面试官心理分析 如果有人问到你 MQ 的知识,高可用是必问的。上一讲提到,MQ 会导致系统可用性降低。所以只要你用了 MQ,接下来问的一些要点肯定就是围绕着 MQ 的那些缺点怎么来解决…
Kylin 初体验总结
基础知识 OLAP(on-Line AnalysisProcessing)的实现方式 ROLAP: 基于关系数据库的OLAP实现(Relational OLAP)。ROLAP将多维数据库的多维结构划分为两类表:一类是事实…
最难学的10大编程语言排行榜,Java只排第三,第一名出乎意料
2018年12月的TIOBE编程语言排行榜已经出炉,Python重回前三,Go语言跌出前十,Visual http://Basic.NET涨幅明显,保持第五名。 TIOBE排行榜是根据互联网上有经验的程序员、课程和第三方…
Kudu:一个融合低延迟写入和高性能分析的存储系统
Kudu 是一个基于 Raft 的分布式存储系统,它致力于融合低延迟写入和高性能分析这两种场景,并且能很好的嵌入到 Hadoop 生态系统里面,跟其他系统譬如 Cloudera Impala,Apache Spark 等…
拼多多&快手研发面经
拼多多&快手研发面经 本文首发于微信公众号:程序员江湖 快手:Java研发工程师 面试共有三轮 技术面试两轮,一面40分钟,二面1个小时。 拼多多:业务平台研发工程师 在武汉进行的现场面试。共三面,耗时两个小时。…
大数据处理为何选择Spark,而不是Hadoop
一.基础知识 1.Spark Spark是一个用来实现快速而通用的集群计算的平台。 在速度方面,Spark扩展了广泛使用的MapReduce计算模型,而且高效地支持更多计算模式,包括交互式查询和流处理。 Spark项目包…
阿里P8架构师谈:消息中间件介绍、典型使用场景以及使用原则
大型分布式架构里一定会涉及到消息中间件,今天先谈谈消息中间件。作者:陈睿|优知学院创始人 常用的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ。 一、kafka 1…
卡夫卡:我的本质是恐惧
编者按:本文节选自《卡夫卡全集》部分段落,由叶廷芳先生主编;慧田君刊载此文仅用做学习交流分享,转载者请注明来自 哲学爱好者公众号「zhexue-ht」。 从恋人的存在中寻找生活下去的理由,这依然是耻辱。 有时我认为:假如…