乐队主页,可以试听:No tengas miedo, by Kant Freud Kafka 在熊猫哥哥印象里,康德就是用一大堆看不懂的话组成了一块又一块看不懂的黑色方块的人,弗洛伊德就是用一大堆看得懂的话组成了一块又一…
分类:kafka
案例讲解kafka的多分区watermark机制
最近还是有很多球友和微信群友反馈浪尖说watermark不理解,没办法浪尖又来了。 watermark依赖的背景,可以是: 事件时间,必须要在事件时间这个概念之上理解watermark。 watermark更形象的理解可…
大数据开发学习路线,如何一步一步成为大数据工程师
大数据开发工程师,很多人都向往的职业,但总有这样那样的理由,在逼迫这自己放弃。明明知道大数据良好的前景,明明知道学完大数据可以找到一份很好的工作,但就是不会对自己下狠心。 点击链接加入群聊【大数据学习交流群】:对于小白学…
携程实时计算平台架构与实践丨DataPipeline
文 | 潘国庆 携程大数据平台实时计算平台负责人 本文主要从携程大数据平台概况、架构设计及实现、在实现当中踩坑及填坑的过程、实时计算领域详细的应用场景,以及未来规划五个方面阐述携程实时计算平台架构与实践,希望对需要构建实…
秋招收工,获京东/拼多多/华为/阿里Java岗offer,总结我的面经
秋招结束,已经获取京东,拼多多,OPPO,小米,华为,阿里Offer。这次不多说太多,分享下Java面试的一些高频问点面经,希望对还在找工作的朋友有所帮助!不要收藏大于点赞啊,老哥们点个赞吧,分享不易哈哈哈! 计算机网络…
说一下Dubbo 的工作原理?注册中心挂了可以继续通信吗?
面试题 说一下的 dubbo 的工作原理?注册中心挂了可以继续通信吗?说说一次 rpc 请求的流程? 面试官心理分析 MQ、ES、Redis、Dubbo,上来先问你一些思考性的问题、原理,比如 kafka 高可用架构原理…
流式处理平台Wormhole在致诚穿梭机项目中的应用
导语:穿梭机是致诚与宜信基础研发部合作开发的包含实时清洗、衍生变量计算、和数据融合入库等功能的一体化系统。 一、简介 一般而言,大数据处理流程主要包括数据采集、数据处理、数据存储、数据挖掘和数据应用等环节,大数据处理流程…
RAID 6 应用于消息队列
The Problem Kafka 是一个很流行的消息队列。但是在使用中,我们发现目前的消息队列设计仍然有改进的空间 问题出在从在线业务系统往kafka master写入的过程中。kafka给业务系统提出了两难的选择 当…
不懂这些BAT大厂面试“潜规则”,难怪被面试官虐的怀疑人生
一、写在前面 不少Java程序员兄弟,在在应聘一些中大型互联网公司的Java工程师岗位时,经常会遇到如下困惑。 这些同学说自己也做了精心准备,网上搜集了不少Java面试题。 然而实际去互联网公司面试才发现,人家问的,和你…
大数据浪潮下,诸葛io平台的技术演化之路
本文作者主要以诸葛io背后的大数据平台设计为重点展开讲解。 从本质上来讲,大数据平台的目标都是完成对数据的采集、清洗、加工、加载、建模分析,可视化的过程。 一、大数据平台的通用架构 1. 数据采集 采集是指集中企业待分析…
消息队列技术点梳理(思维导图版)
消息队列作为服务/应用之间的通信中间件,可以起到业务耦合、广播消息、保证最终一致性以及错峰流控(克服短板瓶颈)等作用。本文不打算详细深入讲解消息队列,而是体系化的梳理消息队列可能涉及的技术点,起到提纲挈领的作用,构造一个…
百万用户同时在线的高并发直播弹幕系统是如何实现的?
作者简介: 王静波,毕业于西安交通大学,曾任职于网易和新浪微博,微博工作期间负责开放平台业务和技术体系建设。2015 年 9 月加入美图,就职于架构平台部,目前负责部分核心业务和基础设施的研发工作,包括弹幕服务、Feed…