前面我们讲过了了关于spark整体构架原理,在spark中 ,当执行我们的application,也就是我们写的程代码,我们回想一下,之前我们写的spark应用的第一行是不是先构造一个sparkConf,接着通过spar…
标签:new
spark flatMap 使用
/** Return a new RDD by first applying a function to all elements of this RDD, and then flattening the results…
【Spark】简单入门——HelloWorld
环境 IntelliJ IDEA + Maven + Spark_2.1.1 JDK_1.8.0_131 Scala_2.11.0 语言 Java Scala 目的 读取README.md文件并显示文件内容 过程 新建工…
spark streamingcontext 一些注意点
有两种创建StreamingContext的方式: val conf = new SparkConf().setAppName(appName).setMaster(master); val ssc = new Stre…
spark-streaming中使用spark-sql做关联查询
实现: 首先基于topic,创建出kafka的DStream流 val sparkConf = new SparkConf().setAppName(appParams.appName) val sc = new Spa…
ArrayList赋值积累
最近频繁使用ArrayList来回赋值,发现了ArrayList赋值中的一下经验; 首先 代码如下: ArrayList<Integer> a = new ArrayList<>(); Array…
Git项目迁移
为了保留历史提交记录或远程所有分支信息等,最好使用 git clone —bare old @git -> cd you@git -> git push —mirror new@git; 若你本地有stash…
为什么android API 中有很多对象的创建都是使用new关键字
为什么android API 中有很多对象的创建都是使用new关键字? 比起工厂方法、builder模式,java 中不提倡直接使用构造方法创建对象(new),为什么android API 中还是有很多对象的创建都使用构…