作者 | 张逸 无论是采集数据,还是存储数据,都不是大数据平台的最终目标。失去数据处理环节,即使珍贵如金矿一般的数据也不过是一堆废铁而已。数据处理是大数据产业的核心路径,然后再加上最后一公里的数据可视化,整个链条就算彻底…
标签:kafka
Apache Flink SQL
本篇核心目标是让大家概要了解一个完整的 Apache Flink SQL Job 的组成部分,以及 Apache Flink SQL 所提供的核心算子的语义,最后会应用 TumbleWindow 编写一个 End-to-…
微服务之间调用的最佳设计
在微服务架构中,需要调用很多服务才能完成一项功能。服务之间如何互相调用就变成微服务架构中的一个关键问题。服务调用有两种方式,一种是RPC方式,另一种是事件驱动(Event-driven)方式,也就是发消息方式。消息方式是…
apache pulsar与apache Kafka
1、Yahoo与Linked in
机械师实时调度示例(I) - 实时规划
OptaPlanner创办人Geoffrey De Smet及其团队,在Red Hat 技术峰会上主题会场上,演示了一个通过OptaPlanner实现实时规划与调度的示例。Geoffrey及其团队专门为此分三篇博文描述了…
Redlock:Redis分布式锁最牛逼的实现
普通实现 说道Redis分布式锁大部分人都会想到:setnx+lua,或者知道set key value px milliseconds nx。后一种方式的核心实现命令如下: - 获取锁(unique_value可以是U…
深入剖析Linux IO原理和几种零拷贝机制的实现
前言 零拷贝(Zero-copy)技术指在计算机执行操作时,CPU 不需要先将数据从一个内存区域复制到另一个内存区域,从而可以减少上下文切换以及 CPU 的拷贝时间。它的作用是在数据报从网络设备到用户程序空间传递的过程中…
还记得那个被谷歌卖的波士顿动力么|数据工匠(6.6)
还记得那个被谷歌卖的波士顿动力么|数据工匠(6.6) Kafka在大数据生态系统中的价值 近几年, Apache Kafka的应用有了显著的增长。Kafka最新的客户包括Uber, Twitter, Netflix, L…
【搜狐大数据中心招聘】Hadoop/Spark工程师
【岗位要求】 1.计算机或相关专业本科或以上学历 2.扎实的数据结构与算法基础 3.熟悉JAVA、Linux操作系统,良好的Shell脚本编程能力 4.使用过Hadoop、zookeeper、kafka、或spark者优…
最新阿里内推Java后端面试题
阿里一面题目: 1、osi七层网络模型,五层网络模型,每次层分别有哪些协议: 2、死锁产生的条件, 以及如何避免死锁,银行家算法,产生死锁后如何解决 3、如何判断链表有环 4、虚拟机类加载机制,双亲委派模型,以及为什么要…
网易有道后端实习面经
总的来说不算太难,面试官也是根据你简历上写的点来问,对于实习生没有太为难,然后对于后端开发有一个基础的认识就OK。 一面 大概面了50分钟,从java基础、项目、框架、设计模式等各个方面做了提问。对于技术难点没有太深究,…
Apache Beam: 下一代的大数据处理标准
声明:本文发表于《程序员》杂志2016年11月刊,如欲转载,请首先获取CSDN授权。 Apache Beam(原名Google DataFlow)是Google在2016年2月份贡献给Apache基金会的Apache孵化…