在实际的项目环境中，成熟的技术体系对关系型数据库的依赖远远超过hdfs，而且对大数据运算的结果，实践中也倾向于保存到数据库中，以便进行多种方式的可视化。所以本次实践主要完成spark从mysql中读取和写入数据。一般这个…

近日莫名遭遇异常一枚，如下： org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 271.0 failed…

Spark技术实战之基础篇 -Scala语言从入门到精通为什么要学习Scala?源于Spark的流行，Spark是当前最流行的开源大数据内存计算框架，采用Scala语言实现，各大公司都在使用Spark：IBM宣布承诺大力…

spark工作原理 spark运行原理 Spark Streaming Storm的ack是干嘛的 kalfka干嘛的 job提交到yarn上的工作流程 10x+5y+z = n，x+y+z的最小值 ArryList、L…

前言 版本 guava 版本 Spark 2.2.0 12.0.1 HBase 1.0.0-cdh5.6.0 20.0 由于guava的版本在16.0以后，不向后兼容，所以Spark程序中集成HBase是会报找不到依赖的…

Spark Application’s Configuration 提示：有关如何配置Spark和用户程序的详细信息，请参阅官方文档中的Spark Configuration。 必要参数 在Spark应用程序运行之前，必…

*Spark Spark 函数 Spark (Python版) 零基础学习笔记（一）—— 快速入门 1.map与flatMap 的区别; 使用map产生的 list 是分层的，第一层是 List 文件文本的第一行，第二层…

前言 中午的时候看到了Spark团队新作MLFlow，因为我本身也在做类似的解决方案MLSQL,自然要看看Meitai是怎么做的。所以第一时间把MLFlow相关文档 浏览了一遍，并且将MLFlow源码 clone下来大致…

本文简要介绍一下Spark。首先通过交互式shell介绍Spark API，然后是如何使用Scala编写应用程序。 要注意的是，Spark 2.0之前，Spark的主要编程接口是弹性分布式数据集（RDD）。而Spark …

大家刚开始用Spark Streaming时，心里肯定嘀咕，对于一个7*24小时运行的数据，cache住的RDD,broadcast 系统会帮忙自己清理掉么？还是说必须自己做清理？如果系统帮忙清理的话，机制是啥？ 前言 …

综述 其实Spark的构建已经做得很好了，但是由于大家已知的原因，很多东西不能很顺利的拿到。估计你要给老外说花了很多时间在build Spark上面，他只有一个反应“unbelievable”。 在这里特别要感谢一下OS…

统计地区人数 提取出第四个字段，然后是一个wordcount程序； 具体代码 package io.github.sparktrain import org.apache.spark.{SparkConf, SparkC…