Prerequisites Flink的RPC服务是基于Akka Remote实现的。一个简单的Akka Remoting ActorSystem的配置如下: akka { actor { provider = remo…
标签:flink
Apache Kafka Connector
此连接器可访问由Apache Kafka提供的事件流。 Flink提供特殊的Kafka连接器,用于从/到Kafka主题读取和写入数据。 Flink Kafka Consumer集成了Flink的检查点机制,以提供一次性处…
Docker构建Flink集群
Docker是在硬件资源不富裕的的情况下获得集群体验的一个非常不错的方式,本篇文章实现通过docker-compose编排Flink 高可用(HA)模式集群。集群构建两个JobManager和N个TaskManager,…
Flink的首次体验(集群模式)
首先要感谢一下我的好基友@小程故事多 他在技术道路上给了我很多指引,非常感谢他的帮助,希望以后我俩更是基情无限,哈哈!~~~ Flink官网地址(目前没有文档让我很迷茫……) 使用版本:v1.0.2 下载后解压…
Hbase - 自定义Rowkey规则
在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制TableInputFormat来实现我们的需求了,我们还可以采用Flink的DataSet的方式读取,另外下面还有…
Flink-Table-SQL source
source作为Table&SQL API的数据源,同时也是程序的入口。当前Flink的Table&SQL API整体而言支持三种source:Table source、DataSet以及DataStre…
Flink的并发执行(Parallel Execution)
Flink的并发执行 本章描述如何在Flink中配置程序的并发执行,一个Flink程序可以由不同的task(如:transformations/opterators,data sources及data sinks等)组成…
实时计算 Flink SQL 核心功能解密
实时计算 Flink SQL 核心功能解密 Flink SQL 是于2017年7月开始面向集团开放流计算服务的。虽然是一个非常年轻的产品,但是到双11期间已经支撑了数千个作业,在双11期间,Blink 作业的处理峰值达到…
转-深入理解Flink核心技术
链接:https://zhuanlan.zhihu.com/p/20585530 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 本文由本人发表于《程序员》杂志,原文链接在此:深入理解A…
Flink官方入门项目简介
本文作者:林伟兵,叩丁狼高级讲师。原创文章,转载请注明出处。 1. Flink简介 Flink 提供了三个核心的用户API: Batch Streaming Talbe & SQL 本文不介绍Flink是什么…
Flink 原理与实现:深入理解Flink核心技术
Apache Flink(下简称Flink)项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性,希望能够帮助读者对Flink有…
Flink VS Spark
本文基于Spark最新2.4版本及Flink最新1.6,从生态圈,部署模式,架构原理,基础API,流处理等方面对比二者相似及不同之处,由于笔者水平限制,不当之处,敬请批评指正。 Spark和Flink均出自世界顶尖大学实…