概述 通过中心化采集获取kafkaconsumer端的offset指标。kafka的offset指标可以从两个地方获取 zk目录 kafka的内置topic Older versions of Kafka ( pre 0…

解决业务代码里的分布式事务一致性问题 – 知乎专栏

1. 问题描述 使用aiokafka消费kafka和aioredis写入redis。在峰值时候，kafka每秒有5万条数据。 之前是同步操作的，用的kafka-python和redis。每次poll一千条消息，然后批量写…

一、大数据通用处理平台 Spark Hadoop 二、分布式存储 HDFS 三、资源调度 Yarn Mesos 四、机器学习工具 Spark Mlib TensorFlow (Google系) Amazon Machin…

最近实习的时候被要求实现这一需求做个小demo，于是做完后记录一下做个小小的总结 相关链接： canal项目地址 canal文件下载地址 canal官方部署教程 在Windows安装运行Kafka Kafka实战 Kaf…

我们一般都是使用bin/kafka-server-start.sh脚本来启动; 从bin/kafka-server-start.sh可以知道此脚本用法: echo "USAGE: $0 [-daemon] server.…

启动zookeeper 在本地2181端口启动ZK。zookeeper集群启动参考 https://blog.csdn.net/qiushisoftware/article/details/79043379 bin/zo…

Kudu 是一个基于 Raft 的分布式存储系统，它致力于融合低延迟写入和高性能分析这两种场景，并且能很好的嵌入到 Hadoop 生态系统里面，跟其他系统譬如 Cloudera Impala，Apache Spark 等…

由于我们项目中经常会用到一些文本流，所以今天分享下QTextStream文本流的简单用法。 QTextStream是一个非常强大的类，它可以对IO设备，QString，QByteArray等类进行方便的读写操作。 在文本…

前言 生产环境下，为了尽可能的提升kafka的整体吞吐量，可以对kafka的相关配置参数进行调优，以达到提升整体性能的目的 提升kafka的整体性能有多方面可以进行优化，比如生产端的优化，broker端的配置参数优化，消…

我引了格鲁塞曼论《群魔》作者的一本书的一句话： “陀思妥耶夫斯基是一个流血的童话。”卡夫卡听后道：“没有不流血的童话。” ——《卡夫卡谈话录》 1 卡夫卡在笔记本上写着：真正的道路在一根绳索上，与其说它是供人行走的，倒不…

计算机领域技术更迭非常之快，内容博大精深。涉及到分布式架构，更是分支众多，知识庞杂。很多新人在最初往往找不到头绪，不知道从何处下手来一步步提升自己的技术水准。 本文将介绍要成为1个技术大牛的18般兵器谱，以及这条打怪升级…