练习0（并行化创建RDD） 先启动spark-shell 通过并行化生成rdd scala> val rdd1 = sc.parallelize(List(63,45,89,23,144,777,888)) rdd…

机器学习调试：模型选择和超参数调整 模型选择（又名超参数调整） 在机器学习中非常重要的任务就是模型选择，或者使用数据来找到具体问题的最佳的模型和参数，这个过程也叫做调试。调试可以在独立的如逻辑回归等估计器中完成，也可以在…

背景： 项目需要在spark任务提交服务器节点上自动提交任务到spark集群上。因此创建了一个固定时间监控任务项目，使用timer定时监控oracle数据库中是否有spark提交任务，如果有spark提交任务，就使用ja…

前言 在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境中，我们已经部署好了一个Spark的开发环境。 在Spark集群 + Akka + Kafka + Scala 开发(2)…

一、启动脚本分析 独立部署模式下，主要由master和slaves组成，master可以利用zk实现高可用性，其driver，work，app等信息可以持久化到zk上；slaves由一台至多台主机构成。Driver通过向…

目的是将phoenix做存储，spark做计算层。这样就结合了phoenix查询速度快和spark计算速度快的优点。在这里将Phoenix的表作为spark的RDD或者DataFrames来操作，并且将操作的结果写回ph…

转载请注明出处。更多文章请访问 大数据随笔 – hadoop/spark/hive 1.概述 数据准确性，稳定性，时效性是数据开发中需要重点关注的，一般称之为数据质量。保证数据质量往往会占用数据开发工程师的很…

启动之后发现slave上正常启动了DataNode,DataManager，但是过了几秒后发现DataNode被关闭 以slave1上错误日期为例查看错误信息： more /opt/hadoop-2.9.0/logs/h…

建筑物配置信息： case class BuildingConfig(buildingid: String, building_height: Long, gridcount: Long, gis_display_nam…

checkpoint在spark中主要有两块应用：一块是在spark core中对RDD做checkpoint，可以切断做checkpoint RDD的依赖关系，将RDD数据保存到可靠存储（如HDFS）以便数据恢复；另外…

内存问题排查 说完了 CPU 的问题排查，再说说内存的排查，通常，内存的问题就是 GC 的问题，因为 Java 的内存由 GC 管理。有2种情况，一种是内存溢出了，一种是内存没有溢出，但 GC 不健康。 内存溢出的情况可…

1、安装jdk   2、安装idea   3、安装maven   4、安装scala  windows下 下载msi安装文件，因为当前spark使用的scala版本为 2.10.4…