前言 最近为了解决Spark2.1的Bug,对Spark的源码做了不少修改,需要对修改的代码做编译测试,如果编译整个Spark项目快的话,也得半小时左右,所以基本上是改了哪个子项目就单独对那个项目编译打包。 Spark官…
标签:kafka
七牛大数据平台的演进与大数据分析实践
作者:孙健波 看到题图大家可能会感到熟悉,又或者会觉得部分有些陌生,这是一张汇集了目前大数据生态下大多数成熟组件的架构图。众所周知,大数据生态很复杂,对于个人来说,要全部学会可能要花费好几年时间。而对于企业来说,要最大程…
Java程序员阿里-京东-美团-滴滴面试题,教你如何成功拿到offer
最近有些学员去目前主流的大型互联网公司面试(阿里巴巴、京东、美团、滴滴),面试回来之后会发给老师一些面试题来讨论。有些同学轻松过关,拿到offer,但是有一些是来询问老师答案的。 小编特意整理了一下,很多问题其实答案很简…
MQ(4) —— 如何设计一个靠谱的消息中间件
如何设计一个靠谱的消息中间件 在前面的三篇文章中,我们从微观到宏观,再从宏观到微观的了解了一遍Nsq: Nsq的几个组件 一条消息如何从生产到被消费 Nsq的一些细节 现在让我们利用现有知识,试着总结一下,如何设计一个靠…
大数据学习路线,0基础小白怎么学习大数据?
大数据的领域非常广泛,往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多,这同样使得初学者难以选择从何处下手。希望能为你开始学习大数据的征程提供帮助,以及在大数据产业领域找到工作指明道路。推荐下我自己的…
使用ElasticSearch搭建日志系统
如果: • 你有很多台机器 • 你有各种各样的Log 只要满足这两个条件其中之一,那么一套日志系统是很有必要的。优秀的日志系统可以让你及时发现问题,轻松追查故障原因,进而提高生产力。 本文简单介绍一下怎么用Elastic…
史上最全的“大数据”学习资源(上)
摘要: 当今“大数据”一词的重点其实已经不仅在于数据规模的定义,它更代表着信息技术发展进入了一个新的时代,代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难,代表着大数据处理所需的新的技术和方法,也代表…
网易大数据体系之时序数据技术
本文转载自:DataFunTalk 作者:范欣欣,网易大数据技术专家 目录 时序数据平台主要业务场景 时序数据平台体系架构 时序数据平台核心技术 PART01 时序数据平台主要业务场景 上图为数据的整体架构,大部分公司都…
spark-submit提交Spark Streamming+Kafka程序
我的原创地址: spark-submit提交Spark Streaming+Kafka程序 dongkelun.com 前言spark-submit提交Spark Streaming+Kafka程序前言 Spark S…
【1.2】DStream 生成 RDD 实例详解
本系列内容适用范围: * 2017.07.11 update, Spark 2.2 全系列 √ (已发布:2.2.0) * 2017.10.02 update, Spark 2.1 全系列 √ (已发布:2.1.0, 2…
继续南山聊代码!Apache Kafka × Apache Flink Meetup · 深圳站
8 月 31 日,Apache Flink Meetup 深圳站来啦,继续南山聊代码!本次 Meetup 由 Apache Flink(以下简称 Flink)与 Apache Kafka 联合举办,邀请到来自 Confl…
Feature观察:简化操作会成为以后推荐的指标吗?
整理时间:2017.7.21 整理范围:App Store新游推荐 新游纵览 本周上榜新游中动作与体育类游戏占多数,出现了《Leap On!》、《Motorsport Manager Mobile》等作品。此外,本周新游…