最近要为公司的消息队列中间件进行选型,市面上相关的开源技术又非常多,如ActiveMQ、RabbitMQ、ZeroMQ、Kafka,还有阿里巴巴的RocketMQ等。 这么多技术,如何进行选型呢? 首先对于阿里的Rock…
分类:kafka
究竟什么是ZooKeeper?
ZooKeeper相信大家已经听过这个词了,不知道大家对他了解多少呢?我第一次听到ZooKeeper的时候是在学Eureka的时候,同样ZooKeeper也可以作为注册中心。 后面听到ZooKeeper的时候,是因为Zo…
[硬广] 华为2012实验室分布式数据团队招聘
分布式数据库团队隶属于华为2012实验室-中央软件院-分布式数据实验室,实验室由华为Fellow胡子昂亲自筹建,团队成员来自IBM、TeraData、神通数据库、阿里巴巴等,目前在进行华为自研的分布式数据项目。我本人也是…
硅谷之路57:深入浅出Spark(八)如何处理实时数据
Spark支持流处理,可以从socket、kafka等数据源获取数据,进行MapReduce,machine learning等计算,最后将结果存储在HDFS、Cassandra等。为什么使用Spark呢?因为Spark…
网易面试经历,已拿offer。
网易一面: 自我介绍 实习期间项目相关,然后转到Spring Spring 在项目中用了哪些特性,IOC,及Kafka监听接口相关实现。 ThreadPool,Jdk原生线程池,四个参数详细解释原理,当线程池中poolS…
解决业务代码里的分布式事务一致性问题
原文标题:一种提高微服务架构的稳定性与数据一致性的方法 微服务架构解决了很多问题,但是同时引入了很多问题。本文要探讨的是如何解决下面这几个问题。 有大量的同步 RPC 依赖,如何保证自身的可靠性? 依赖的微服务调用失败了…
面试字节跳动(今日头条)的一点小经验
今天正式入职了字节跳动。工号超吉利,尾数是4个6。然后办公环境也很好,这边一栋楼都是办公区域。公司内部配备各种小零食、饮料,还有免费的咖啡。15楼还有健身房。而且公司包三餐来着。下午三点半左右还会有阿姨推着小车给大家送下…
大数据系列教程(一):Hadoop集群坏境搭建配置
前言 关于时下最热的技术潮流,无疑大数据是首当其中最热的一个技术点,关于大数据的概念和方法论铺天盖地的到处宣扬,但其实很多公司或者技术人员也不能详细的讲解其真正的含义或者就没找到能被落地实施的可行性方案,更有很多数据相关…
Spring for Apache Kafka 2.2 发布
Spring for Apache Kafka 2.2 已经发布,该版本修复了一些问题。 目前,2.1.x版本与2.0.0 kafka-clients jar兼容(从2.1.9开始),但此版本需要2.0.0(并提供2.0…
40个大数据学习资源,个个是干货,最后7个最给力
“数据是驱动商业向前发展的核心,更是人类社会的未来。” 尽管将马云的这句话断章取义地拿出来说会显得唐突,但这话所表达的意思却显而易见。今天给大家分享的这40个教程,送给对未来抱有远见的乐观主义拼搏者,涵盖了大数据入门的大…
应该在同一个Kafka主题中放入几种事件类型吗?
采用Apache Kafka等流平台,有个很重要的问题是:将使用哪些主题?特别是,如果要将一堆不同的事件作为消息发布到Kafka,是将它们放在同一主题中,还是将它们拆分为不同的主题? 主题最重要的功能是允许使用者指定它想…
以Kafka Connect作为实时数据集成平台的基础架构有什么优势?
Kafka Connect是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具,可以更快捷和简单地将大量数据集合移入和移出Kafka的连接器。Kafka Connect为DataPipeline提供了一…