零、时间轮定义 简单说说时间轮吧，它是一个高效的延时队列，或者说定时器。实际上现在网上对于时间轮算法的解释很多，定义也很全，这里引用一下 朱小厮博客 里出现的定义： 参考下图，Kafka中的时间轮（TimingWheel…

谁是花和尚？ 花和尚是一个定居西雅图的程序员，拥有多年系统设计和开发经验。喜欢研究和总结System Design, 并传授给大家。花和尚在MITBBS一篇 “我的System Design总结”…

欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 如果说 2018 年是技术大爆炸年，那么 Apache Kafka 绝对是其中闪亮的新星。 自Kafka 从首发之日起，已经走过了快八个年头。Kafka 已经从…

一、大数据通用处理平台 Spark Hadoop 二、分布式存储 HDFS 三、资源调度 Yarn Mesos 四、机器学习工具 Spark Mlib TensorFlow (Google系) Amazon Machin…

一、大数据平台 大数据在工作中的应用有三种： 与业务相关，比如用户画像、风险控制等； 与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴； 与工程相关，如何实施、如何实现、解决什么业务问题，这是数据工程师…

提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是…

经常有初学者在QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/…

一、Hadoop的应用业务分析 大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及的业务和技术的许多领域。 目前主流的三大分布式计算系统分别为:Hadoop、Spark和Strom：…

笔不是作家的工具，而是他的器官。——卡夫卡 看山小时候读过《变形记》，虽然当时只读懂了奇异和荒诞，但看到变成甲虫的格里高尔孤独痛苦地死去时，看山还是觉得很难过，甚至害怕某天醒来，自己也变成了甲虫。 刘妈妈总是摸摸看山的脑…

埋点作为商业智能（BI）和人工智能（AI）体系中重要的一环，是公司提升产品工程质量、实施 AB Testing、个性化推荐服务重要的数据来源。在传统的纯 Web 和 Native 开发的产品中，埋点从技术的角度来说未必多…

本周的文章主要包括从 Java 的高效文件处理到深入理解 Paxos。此外还有关于 Apache Spark、Apache HDFS 和 Apache Kafka，以及 Dropbox 的冷存储系统 和 Twitter …

日志存在于不同的机器不同的目录，所以首先机器上面要有收集日志的 Agent，这些 Agent 被生动的叫做：Shippers（直译：发货商），好理解，将日志像货物一样发送出去。 我第一次听到 ELK 的时候，以为它就是 …