在学习iOS过程中,慢慢地接触到了Objective-C里高级语法,了解到AOP编程的独特之处,感受到了其强大。想借此暂时简单记录下现在对于Objc运行时语法的运用。 首先,使用运行时API,就要包含 #import &…
标签:import
spark使用广播变量
import java.io.{File, FileReader} import java.util import org.apache.spark.SparkConf import org.apache.spark.b…
Geotrellis学习-入门
什么是Geotrellis Geotrellis是一个基于Apache spark的用于处理栅格数据的scala库和框架。 可以高效地读写和操作栅格数据,实现了很多地图运算和失栅转换工具。 可以将栅格数据渲染成PNGs图…
逻辑回归原理及spark例子
之前在乐视网的时候组内有同事的挖掘工作用到逻辑回归,最近利用零散时间看了下逻辑回归的原理。主要参考了https://www.cnblogs.com/pinard/p/6029432.html 这篇文章,感觉写的比较清晰。…
Structured Spark Streaming - explode 多列
package ohmysummer import ohmysummer.model.SourceCan import ohmysummer.pipeline.kafka.WmKafkaDeserializer impo…
SparkStreaming入门教程(二)基础输入源:TCP+HDFS 实时读取文件数据并处理
本文全部手写原创,请勿复制粘贴、转载请注明出处,谢谢配合! 初始化SparkStreaming 前面我们架构原理上讲到,SparkStreaming依赖于StreamingContext和SparkContext 因此首…
一段读取 excel 自动生成 hive load shell 脚本的代码
自动化是程序员的天性,这里是一段小代码自动化手工重复的工作。 package collect; import com.google.common.base.Charsets; import com.google.comm…
HDFS中的Java API的使用
上传文件 PutFile.java import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import …
hadoop WordCount实例
环境:ubuntu14、JAVA_HOME、HADOOP_HOME 环境搭建可见:Ubuntu安装hadoop 1.编写WordCount.java 包含Mapper类和Reducer类 import java.io.I…
JAVA操作Hbase
实际开发中可以利用javaAPI去操作控制Hbase 【准备】 1:开启集群,一次开启(zookeeper,hdfs,hbase) 2:创建项目,导入jar 3:代码实现 import org.apache.hadoop…
hadoop入门(一)
分布式的hadoop的安装 参考:https://www.jianshu.com/p/117243649c18、https://www.jianshu.com/p/21c992596497 wordcount 参考官方d…
奔跑的大象,Hadoop之WordCount源代码
Hadoop.jpg 本文有新版和旧版两个版本的源代码。 hadoop_logo.png WordCount旧版源代码 //package org.apache.hadoop.examples; import java.…