Twitter从闪电变成了美丽的苍鹭

Twitter的需求

• 实时趋势发现：疫苗问题
• 实时讨论：苹果发布会
• 实时推荐：广告
• 实时搜索：地震

Storm

如何统计单词的出现次数？

如何加速统计单词的出现次数？

Storm的架构是什么？

worker是什么？

Worker的数据流是什么?

集群的上限是多少？

什么是瓶颈？ Zooper做的事太多了！！！

• kafka数据：2s
• 心跳：3s

怎么破心跳风暴？ 独立的心跳进程

资源如何分配？

上游数据过快怎么办？

• 下游随即丢失（worker收到数据太多，为了防止雪崩）
• 上游重发
• 无法细粒度控制

内存成为瓶颈会如何？

• 20%-30%的CPU利用率
• 没有CPU和内存的细粒度隔离和调度

数据很多会发生什么？

• 一个一个处理
• 缺乏批量处理能力

Heron的设计目标

Stream Manager是如何传输的？

参考文献：Twitter Heron: Streaming at Scale

完整视频查看： BitTiger

更多精彩内容， 请扫描下面二维码，关注微信公众账号“论码农的自我修养”