原文:Architectural Patterns for Near Real-Time Data Processing with Apache Hadoop 评估好哪一种流架构模式最适合你的案例,是成功生产开发的先决条…
分类:kafka
CDH集成kafka
添加kafka(把包放到cm主机目录) 1.下载kafka包http://archive.cloudera.com/kafka/parcels/latest/ 把包放到parcel-repo 目录 2.下载csd包htt…
kafka 消费者分区分配
kafka 消费者分区分配,在 kafka-2.2 里有三种实现 RangeAssignor: 每次对一个主题分配消费者,分区数能整除消费者数,则每个消费者得到分区数一样,如果有余数,排在前面的消费者在有多的剩余分区情况…
BoltDB的优点与缺点
BoltDB是相当出名的纯Go实现的KV读写引擎, 用户有etcd, consul等. 我最近阅读了它的源代码, 以下是我的一点看法. 先说优点, BoltDB源码相当清晰, 没有黑魔法, 就是经典的B+Tree实现, …
大数据领域三个大的技术方向
大数据领域三个大的技术方向: 1、Hadoop大数据开发方向 2、数据挖掘、数据分析&机器学习方向 3、大数据运维&云计算方向 大数据学习什么 大数据新手学习交流群,如果有想学习大数据或者交流经验的都可以…
「美团」Java岗150道面试题:集合+JVM+设计模式+spring+Redis等
前言 在过2个月即将进入9月了,然而面对今年的大环境而言,跳槽成功的难度比往年高了很多,很明显的感受就是:对于今年的java开发朋友跳槽面试,无论一面还是二面,都开始考验一个Java程序员的技术功底和基础。对源码解读和核…
最近面试Java后端开发的感受:如果就以平时项目经验来面试,通过估计很难
在上周,我密集面试了若干位Java后端的候选人,工作经验在3到5年间。我的标准其实不复杂:第一能干活,第二Java基础要好,第三最好熟悉些分布式框架,我相信其它公司招初级开发时,应该也照着这个标准来面的。 我也知道,不少…
秋招提前批|晚来的百度提前批面经,后台开发面了8轮
作者:小明1链接:https://www.nowcoder.com/discuss/255625来源:牛客网 7月参加了百度提前批面试,参加了8轮面试,拿到了两个部门的Offer。今天刚刚做了人才特质测评,分享一下面试过…
友盟分享 | 移动大数据平台架构思想以及实践经验
摘要 : 友盟大数据平台的架构借鉴了Lambda架构思想,数据接入层让Kafka集群承担,后面由Storm消费,存储在MongoDB里面,通过Kafka自带的Mirror功能同步,两个Kafka集群,可以分离负载;计算有…
Apache Hive VS Spark:不同目的,同样成功!
全文共 2283字,预计学习时长 5分钟 图片来源:pexels.com/photo/sliced-lemon-952354/ Hive和Spark凭借其在处理大规模数据方面的优势大获成功,换句话说,它们是做大数据分析的…
linux 安装与kafka 集成
.1 kafka+zookeeper集群环境以安装 1.2 下载flume 本文使用flume1.7 下载地址:http://flume.apache.org/download.html 二.配置flume 2.1 上传…
12月中旬值得一读的10本技术新书(Go Web编程、Linux、TensorFlow等)!文末有福利!
12月12日,阿里云云栖社区机构号 联合人邮异步社区为大家带来十本技术书籍(Go Web编程、Linux、TensorFlow等)。以下为书籍详情,文末还有福利哦! 书籍名称:《Go Web编程》 内容简介 本书全面介绍…