《Kafka入门与实践》作者:牟大恩点此链接购买纸书本书以Kafka 0.10.1.1版本以基础,对Kafka的基本组件的实现细节及其基本应用进行了详细介绍,同时,通过对Kafka与当前大数据主流框架整合应用案例…
标签:kafka
创业公司做数据分析(一):先来捋捋思路!
了解“认知心理学”的朋友应该知道:人类对事物的认知,总是由浅入深。然而,每个人思考的深度千差万别,关键在于思考的方式。通过提问三部曲:WHAT->HOW->WHY,可以帮助我们一步步地从事物的表象深入到事物的…
变形记 La Metamorfosis
如果忘记了自己,仅记住生命。这样的人可能就是萨姆沙吧。 小说从萨姆沙一天清晨醒来发现了自己变成了大甲虫开始。隆起的褐色腹部,颤动着的腿,碗似的大甲虫形象一下就出现在了我的面前,我甚至还能听到细密的腿抖动时发出的沙沙的声音…
面经感悟:四面字节跳动、八面腾讯(附赠面试复习资料)
欢迎大家关注Java技术面试经验分享,里面大量BATJ面试题,Java技术干货、行业杂谈,也欢迎大家投稿~ Java架构之无码不欢 zhuanlan.zhihu.com 5月份,身边朋友跟我分享面试字节跳动和腾讯的经历…
Flink端到端Exactly-once
Exactly-once语义 Flink自1.4.0开始实现exactly-once的数据保证,即在任何情况下都能保证数据对应用产生的效果只有一次,不会多也不会少。具体实现依赖于抽象类TwoPhaseCommitSink…
大数据分析是做什么的?
随着大数据时代的到来,在大数据观念不断提出的今天,加强数据大数据挖掘及时的应用已成为大势所趋。大数据分析处理是对纷繁复杂的海量数据价值的提炼,而其中最有价值的地方在于预测性分析,即可以通过数据可视化、统计模式识别、数…
Hadoop面试中6个常见的问题及答案
Hadoop面试中6个常见的问题及答案 准备好面试了吗?呀,需要Hadoop的知识!!?不要慌!这里有一些可能会问到的问题以及你应该给出的答案。 Q1.什么是Hadoop? Hadoop是一个开源软件框架,用于存储大量数…
秒杀架构模型设计
前言:秒杀系统相信很多人见过,比如京东或者淘宝的秒杀,小米手机的秒杀,那么秒杀系统的后台是如何实现的呢?我们如何设计一个秒杀系统呢?对于秒杀系统应该考虑哪些问题?如何设计出健壮的秒杀系统?本期我们就来探讨一下这个问题: …
不可多得的后端架构师技术图谱!内附参考资料!
数据结构 二叉树 完全二叉树 平衡二叉树 二叉查找树(BST) 红黑树 B-,B+,B*树 LSM 树 队列 集合 链表、数组 字典、关联数组 栈 树 BitSet 常用算法 KPM 算法 选择排序 冒泡排序 插入排序 …
简单说说自己理解的SparkStream
先说说SparkStream是什么呢? 它是一个准流式计算框架,是微批处理的;说到流式计算框架,就会想到storm流式计算框架,所以下面来看下两者的区别: 1、storm实时流计算框架,是一条一条处理数据;SparkSt…
kafka client源码阅读:KafkaProducer
基于2.1.0 构造函数初始化accumulator,这是一个发送的缓冲队列管理器 this.accumulator = new RecordAccumulator(logContext, config.getInt(P…
Lambda plus: 云上大数据解决方案
本文会简述大数据分析场景需要解决的技术挑战,讨论目前主流大数据架构模式及其发展。最后我们将介绍如何结合云上存储、计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景。 大数据处理的挑战 现在已经有…