最近在看zab, vr, raft, paxos 这些一致性协议的对比, 想找出共同点. 然后zab, vr 经常提到他们的一个primary backup system, 与replicate state machin…
标签:kafka
简单介绍 10 个常见的软件架构
简评:简单科普一下常见的 10 个架构。 有没有想过如何设计大型企业及系统?在开发之前,我们必须要选择一个合适的架构,以保证我们软件的功能和质量。今天就简单介绍一下常用的 10 个架构。 什么是架构? 一直以来,在软件行…
奇岚推荐 | 卡夫卡博物馆:我们爱他的软弱,因那软弱是我们所有人的
K。博物馆的门口是两个两米高的巨大的连接在一起的字母K。布拉格卡夫卡博物馆像一本小说,它的封面就是这两个巨大的K。如暗号,心照不宣;如烙印,触目惊心。 我是一只寒鸦——一只卡夫卡鸟。 我的翅膀已经萎缩,对我来说不存在高空…
hadoop之Spark强有力竞争者Flink,Spark与Flink:对比与分析
hadoop之Spark强有力竞争者Flink,Spark与Flink:对比与分析Spark是一种快速、通用的计算集群系统,Spark提出的最主要抽象概念是弹性分布式数据集(RDD),它是一个元素集合,划分到集群的各个节…
大数据开发工程师必备那些技能
成为一名大数据开发工程师,你需要具备以下这些技能 Linux 因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoo…
一次Java线程池误用引发的血案和总结
这是一个十分严重的问题 自从最近的某年某月某天起,线上服务开始变得不那么稳定。在高峰期,时常有几台机器的内存持续飙升,并且无法回收,导致服务不可用。 例如GC时间采样曲线: 和内存使用曲线: 图中所示,18:50-19:…
2019最新后端开发人员的路线图
简评:之前,后端开发路线图仅仅是一个技术推荐,且没有明确的方向指明应该遵循的顺序,这份重新制作的指南将会给你一个更好的方向。 现在的 Web 开发与几年前完全不同了,有很多不同的东西可以轻易地把人拒之门外,这也是我们决定…
基于Flink流处理的动态实时(二)
在基于Flink流处理的动态实时(一)的基础上 我写了centos7中安装zookpeer和kafka(单机)的原因是因为不确定公司到底是想用kafka还是rockermq,所以在还没有正式的开发的时候去玩玩kafka。…
从卡夫卡到村上春树
这几天的阅读真可谓是酣畅淋漓,自己一个人在图书馆,没有任何外界的打扰,没有学业上的任何压力与焦虑。我昨天读了乔治·奥威尔的《1984》,今天又读了卡夫卡《判决》《变形记》等一系列短篇,又一次真正体会到文学的伟大与魅力之无…
零基础学习Hadoop该如何下手?
零基础学习Hadoop该如何下手?很多同学是通过学习hadoop来学习大数据的,学习资料可能是以图书为主要参考方向,《hadoop权威指南》的确是一本很好的入门大数据图书,但大数据系统本身是分布式系统,所以我以为分布…
基于AMQP实现的golang消息队列MaxQ
背景 饿厂此前一直是重度rabbitmq使用者,在使用的过程中遭遇了大量的问题,性能问题、故障排查问题等。Rabbitmq是用erlang开发的,该语言过于小众,实在无力在其之上再做运维和开发。痛定思痛,我们于是决定自研…
滴滴AI Lab招聘机器学习/高级算法工程师(20K-40K/月)
公司:滴滴 AI Lab 简历投递: yushenjie_i@didichuxing.com 主题注明姓名+联系电话+投递职位+景略集智 薪资区间:20k-40k/月 地址:北京市海淀区中关村软件园 机器学习工程师/专家…