性能调优是一个永无止境的追求，没有最好，只有最适合，是机器资源和业务需求的一种平衡。Storm性能优化包括硬件层面的优化、代码层面的优化、Topology并行度的优化、Storm集群配置参数和Topology运行参数的优…

做 运维 感觉像网管怎么办？新工作运维3个多月，天天就是维护重启服务器，更新代码……感觉这样下去几年后就没有什么竞争力了…… 这是知乎的一个热门运维问题，也是很多刚进入运维工作的同学面临的心境。 确实，【 运维 】可能是…

现如今，我们来到了数据时代，数据信息化与我们的生活与工作息息相关。此篇文章简述利用大数据框架，实时处理数据的流程与相关框架的介绍，主要包括： 数据实时处理的概念和意义 数据实时处理能做什么 数据实时处理架构简介 数据实时…

最近实习的时候被要求实现这一需求做个小demo，于是做完后记录一下做个小小的总结 相关链接： canal项目地址 canal文件下载地址 canal官方部署教程 在Windows安装运行Kafka Kafka实战 Kaf…

本系列内容： Kafka环境搭建与测试 Python生产者/消费者测试 Spark接收Kafka消息处理，然后回传到Kafka Flask引入消费者 WebSocket实时显示 版本： spark-2.4.3-bin-h…

近来由于项目需要，要使用到kafka作为数据的中转站，所有的数据都会进入到kafka，再流向数据使用方，有在线的Spark，有离线的spark sql；但作为离线的使用，一般数据存入于hdfs之上，为了分析的方便。我一贯…

消息队列目前流行的有三种 1. RabbitMQ 2. ActiveMQ 3. Kafka 这三种都非常强大，RabbitMQ目前用的比较多，也比较流行，阿里也在用 ActiveMQ是阿帕奇出品，但是性能上和RMQ相比相…

年少时，读卡夫卡的作品，读到一半，总觉得是在不知所云些什么，如今再读卡夫卡的《城堡》,多少明白了些什么。《城堡》是卡夫卡的未完成的作品，并且，在去世前，他特意嘱咐挚友——奥地利作家布罗德在他死后销毁他的所有作品。但是，在…

高级Java工程师年薪有多少？需要具备哪些能力？对于加入到IT开发行业的人来说，高薪是他们追求的目标，而Java是他们实现高薪的神器。从市场的招聘趋势以及职业发展角度来看，成为Java高级工程师是程序员奋斗的终极目标。那…

Spring Apache Kafka (spring-kafka)提供了基于卡夫卡的消息传递解决方案的高级抽象。传统的请求响应模型中，响应容易被堵塞，造成两个系统耦合，调用者需要等待到响应返回才能继续做自己的工作，这在…

今天，我们要逐步开始讨论rabbitmq稍微高级点的耍法了。了解这一步，对我们设计高并发的系统非常有用。当然，还可以使用kafka。不过还是算了，有几个硬性条件不支持，还是用rabbitmq吧。 循环分发： 启动一个发送…

ELK的简单科普文章，加入了自己的一些理解。 内容包括ELK的基本介绍， 应用场景， 架构设计， 监控及自监控， 业界进展及推荐资料等。 用户故事 场景一 作为一个运维工程师， 某天虚拟机出现故障， 想看看虚拟机是否有异…