H2教程看到： Connecting to a Database using JDBC有疑问： Adding Database Drivers

本文讲解Spark中的RDD和DataFrame之间的互相转换，主要内容包括以下几点： 1、RDD转DataFrame原因及方式 2、DataFrame转RDD原因及方式 3、DataFrame转RDD的案例 1、RDD…

在日常开发中，经常会遇到对数据进行脱敏处理的需求。像隐藏身份证或者手机号中间几位。比如对于：13812345678这个手机号，我们会使用*号替换中间4位来达到隐藏的目的，就像这样：138****5678。这是一个很常见也…

高斯混合模型 混合高斯模型描述数据点以一定的概率服从k种高斯子分布的一种混合分布。Spark.ml使用EM算法给出一组样本的极大似然模型。 参数： featuresCol: 类型：字符串型。 含义：特征列名。 k: 类型…

背景 监控是Spark非常重要的一部分。Spark的运行情况是由ListenerBus以及MetricsSystem 来完成的。通过Spark的Metrics系统，我们可以把Spark Metrics的收集到的信息发送到…

一、Spark单机版安装 Spark部署模式主要是四种：Local模式（单机模式，是本文讲的方式，仅供熟悉Spark和scala入门用）、Standalone模式（使用Spark自带的简单集群管理器,计算数据不是特别庞大…

要想通过ES API对es的操作，必须获取到TransportClient对象，让后根据TransportClient获取到IndicesAdminClient对象后，方可以根据IndicesAdminClient对象提…

https://www.cnblogs.com/kevingrace/p/9456563.html

https://libraries.io/github/SeelozInc/opentsdb-spark opentsdb-spark Module for accessing OpenTSDB data through…

RDD是什么？ RDD（Resilient Distributed Dataset）是一个弹性分布式数据集，简单的说就是弹性加分布式的数据集。 在rdd里的数据可以并行在分布式集群中进行计算； 弹性就是说RDD中的数据可…

连接spark 1. 连接spark 1.1. 简单连接spark 1.2. 连接spark集群 1.3. 集群python环境 1.4. config参数 2. 提交作业 1. 连接spark 1.1. 简单连接spa…

前言：基础的机器学习算法，可能在神经网络，深度学习的浪潮所淹没，但是本文重点在于工程实践，重点在于分布式的实现理解，如何在在于通用架构中（spark\Hadoop生态系统）去实现有价值的系统或者算法。 K 均值算法：就是…