overview 有赞的自研版 NSQ 在高可用性以及负载均衡方面进行了改造,自研版的 nsqd 中引入了数据分区以及副本,副本保存在不同的 nsqd 上,达到容灾目的。此外,自研版 NSQ 在原有 Protocol S…
标签:有赞技术团队
浅析 Spark Shuffle 内存使用
在使用 Spark 进行计算时,我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况,而且很大一部分情况是发生在 Shuffle 阶段。那么在 Spark Shuffle 中具体是哪些地方会使用比…
组织级敏捷转型的四个阶段
物理结构对系统是至关重要的,但它们很少是杠杆点,因为改变物理结构通常不太容易而且见效慢。恰当的杠杆点,需要从一开始就被设计好。一旦实体的结构建立起来了,要想找到杠杆点,就需要理解系统的限制和瓶颈,在尽可能发挥它们的最大效…
Flume在有赞大数据的实践
一、前言 Flume 是一个分布式的高可靠,可扩展的数据采集服务。 Flume 在有赞的大数据业务中一直扮演着一个稳定可靠的日志数据“搬运工”的角色。本文主要讲一下有赞大数据部门在 Flume 的应用实践,同时也穿插着我…
Druid Segment Balance 及其代价计算函数分析
一. 引言 Druid 的查询需要有实时和历史部分的 Segment,历史部分的 Segment 由 Historical 节点加载,所以加载的效率直接影响了查询的 RT(不考虑缓存)。查询通常需要指定一个时间范围[St…
Spark Streaming在数据平台日志解析功能的应用
一、日志解析功能的背景: 通过日志,我们可以获得很多有用的信息,最常见的日志信息包括应用产生的访问日志、系统的监控日志,本文所针对的日志是大数据离线任务产生的运行日志。目前日志解析功能依附于有赞大数据平台,也就是有赞的d…
有赞美业店铺装修前端解决方案
一、背景介绍 做过电商项目的同学都知道,店铺装修是电商系统必备的一个功能,在某些场景下,可能是广告页制作、活动页制作、微页面制作,但基本功能都是类似的。所谓店铺装修,就是用户可以在 PC 端进行移动页面的制作,只需要通过…
HBase 读流程解析与优化的最佳实践
一、前言 本文首先对 HBase 做简单的介绍,包括其整体架构、依赖组件、核心服务类的相关解析。再重点介绍 HBase 读取数据的流程分析,并根据此流程介绍如何在客户端以及服务端优化性能,同时结合有赞线上 HBase 集…
为什么选择使用 OKR 进行项目过程管理
延续上次讨论的透过 OKR 进行项目过程管理的内容,有位朋友给了反馈,但是碍于回覆的字数有限,无法说明的更多,索性将内容弄得多点,变成一篇文章 😂😂😂 一、OKR OKR …
效能改进之项目例会导入实践
众所周知,在项目管理的过程中,我们需要非常注重沟通,而每日例会作为沟通管理中的一项最佳实践,非常适配互联网项目短频快的特点。成功地在项目中建立例会制度,能带来以下好处: 1)让研发人员相互之间了解各自的任务完成情况,以便…
Druid在有赞的实践
一、Druid介绍 Druid 是 MetaMarket 公司研发,专为海量数据集上的做高性能 OLAP (OnLine Analysis Processing)而设计的数据存储和分析系统,目前Druid 已经在Apac…
CAP一致性协议及应用解析
一、一致性 1.1 CAP 理论 C 一致性:分布式环境中,一致性是指多个副本之间,在同一时刻能否有同样的值 A 可用性:系统提供的服务必须一直处于可用的状态。即使集群中一部分节点故障。 P 分区容错性:系统在遇到节点故…