新手安装配置请参考:在Windows中 基于Oracle GoldenGate (OGG)进行Oracle->Oracle数据库同步配置(超详细) 一、 ODBC 数据源设置 1、打开ODBC数据源应用 SQL S…
标签:数据源
StreamSets使用指南
最近在调研Streamsets,照猫画虎做了几个最简单的Demo鉴于网络上相关资料非常少,做个记录。 1.简介 Streamsets是一款大数据实时采集和ETL工具,可以实现不写一行代码完成数据的采集和流转。通过拖拽式的…
springboot集成redis配置多数据源
【前言】在开发需求中,很多情况一个数据源是不能够满足业务需求的,常常需要我们去配置多个数据源去综合使用完成业务需要的功能 其实多数据源本质就是多个redisTemplate 【代码】 1、依赖(这里以gradle项目为例…
Tableau(二)Tableau数据源
Reference:tableau教程 w3c school 数据源 1. Tableau数据源 Tableau可以连接到广泛使用的所有常用数据源.Tableau的本机连接器可以连接到以下类型的数据源。 *文件系统,如C…
Kettle中ETL的效率优化
背景 Kettle是什么? Kettle是一款开源的ETL工具,目前由Pentaho公司在管理。该工具包含一个可视化界面,可以用来设计、运行、调试ETL,被很多公司广泛采用。 Github 传送门 Community 传…
实践 Druid 作为 SpringBoot 工程的数据源添加 SQL 监控
在大型业务系统上线后,为了保证系统能够更好地持续稳定运行,及时发现各种故障(代码缺陷、SQL性能问题、服务器CPU/磁盘参数指标和各类业务异常等),因此需要针对系统开发各种监控功能。在微服务架构下的各类业务平台中,针对S…
Spark Streaming原理介绍
Spark Streaming简介 Spark Streaming是Spark 核心API的一个扩展,可以实现高吞吐量的、具备容错机制的 实时流数据的处理。支持从多种数据源获取数据,包括Kafk、Flume、Twitte…
Spark SQL(三)DataSource
使用Spark SQL的DataFrame接口,用户可以方便快速的从多种不同数据源(json/parquet/rdbms等),经过混合处理(比如json join parquet),再将处理结果以特定的格式(比如json…
急性子的Hadoop入门教程,涨工资就靠它了
阿里巴巴采用了 15 个节点组成的 Hadoop 集群,用于处理从数据库中导出的商业数据的排序和组合。 Ebay 使用了 32 个节点组成的集群,包括 8 * 532 个计算核心以及 5.3 PB 的存储。 Facebo…
赵丽颖固然漂亮,可这份Hadoop核心教程也不差呀
**阿里巴巴****采用了 15 个节点组成的 Hadoop 集群,用于处理从数据库中导出的商业数据的排序和组合。 **Ebay ****使用了 32 个节点组成的集群,包括 8 * 532 个计算核心以及 5.3 PB…
12.spark sql之读写数据
简介 Spark SQL支持多种结构化数据源,轻松从各种数据源中读取Row对象。这些数据源包括Parquet、JSON、Hive表及关系型数据库等。 当只使用一部分字段时,Spark SQL可以智能地只扫描这些字…
Hadoop-Flume基础理论入门(1)
log 一.基本概念 flume是一个分布式日志采集系统,可对接各种数据输入源,具有高可用,可平滑扩展的特点; flume用于简单示意图 flume像是一个 管道,可以接入多种数据源,比如系统日志,文件系统及http请求…