kafka通过topic来分主题存放数据，主题内有分区，分区可以有多个副本，分区的内部还细分为若干个segment。 　　所谓的分区其实就是在kafka对应存储目录下创建的文件夹，文件夹的名字是主题名加上分区编号，编…

下面是根据最近的工作内容来思考做事的方式，说是系统架构稍微有点标题党了，但是我感觉也可以说是广义的系统架构。 一、做铺垫 目前笔者在基础数据部门做实时计算相关的内容，近期接触到的主要工作是Kafka日志拆分，也就是把最基…

之前写了一篇关于datax的一些介绍和一些简单的操作,有的时候可能我们的需求可能datax实现不了,不过datax是支持二次开发的,我们可以自己开发来。今天就说下写入读取数据然后写入到kafka中 这个我之前已经写好了,…

Kafka Coordinator.

夜黑风高，正是复盘的良机 上次说到我深爱的客户的网络限制深深滴伤害了我，就讲一下如何诊断出来的。 背景当然是MySQL 5.6升级到MySQL 5.7导致系统整体性能下降，才引发的整个故事。 首先为什么要升级，因为MyS…

为什么使用队列，为什么使用RabbitMQ队列 消息队列用于系统之间解耦，通过高性能消息中间件，提升系统吞吐量，降低导致系统耦合。 当前有各种消息队列，RabbitMQ、Kafka、ActiveMQ等，为什么使用Rabb…

本篇汇总2019届应届生实习经验分享，希望能给想找实习的你一点帮助~~ 1、美团点评 Java后台开发 作者：给个offer养家糊口 链接：https://www.nowcoder.com/discuss/85502 来…

超级账本公布了新一批进入孵化的项目-Hyperledger Indy，该项目专注于区块链生态系统的数字身份工具。Indy由Sovrin基金会牵头推进，Sovrin基金会成立于2016年，致力于为去中心化的身份提供解决方案…

谈到大数据，对技术有点了解的人很容易想到Hadoop。的确，尽管Hadoop只是一个对数据进行存储和分析处理的平台，但仍有不少人把Hadoop和大数据对等起来。实际上，Hadoop的确在很大程度上扮演着大数据代言人的角色…

前言 Flink 在流程序中支持不同的 Time 概念，就比如有 Processing Time、Event Time 和 Ingestion Time。 下面我们一起来看看这几个 Time： Processing Ti…

“err”:”localhost could not be resolved (3: Host not found)” 解决办法： 修改config/server.prop…

我秀中国物联网地图服务平台目前接入的监控车辆近百万辆，每天采集GPS数据7亿多条，产生日志文件70GB，使用传统的数据处理方式非常耗时。 比如，仅仅对GPS做一些简单的统计分析，程序就需要几个小时才能跑完一天的数据，完全…