Hive数据源实战
Spark SQL支持对Hive中存储的数据进行读写。操作Hive中的数据时,必须创建HiveContext,而不是SQLContext。HiveContext继承自SQLContext,但是增加了在Hive元数据库中查找表,以及用HiveQL语法编写SQL的功能。除了sql()方法,HiveContext还提供了hql()方法,从而用Hive语法来编译sql。
使用HiveContext,可以执行Hive的大部分功能,包括创建表、往表里导入数据以及用SQL语句查询表中的数据。查询出来的数据是一个Row数组。
将hive-site.xml拷贝到spark/conf目录下,将mysql connector拷贝到spark/lib目录下
将数据保存到表中
Spark SQL还允许将数据保存到Hive表中。调用DataFrame的saveAsTable命令,即可将DataFrame中的数据保存到Hive表中。与registerTempTable不同,saveAsTable是会将DataFrame中的数据物化到Hive表中的,而且还会在Hive元数据库中创建表的元数据。
默认情况下,saveAsTable会创建一张Hive Managed Table,也就是说,数据的位置都是由元数据库中的信息控制的。当Managed Table被删除时,表中的数据也会一并被物理删除。
registerTempTable只是注册一个临时的表,只要Spark Application重启或者停止了,那么表就没了。而saveAsTable创建的是物化的表,无论Spark Application重启或者停止,表都会一直存在。
调用HiveContext.table()方法,还可以直接针对Hive中的表,创建一个DataFrame。
案例:查询分数大于80分的学生的完整信息
Java版本
public class HiveDataSource {
public static void main(String[] args) {
// 首先还是创建SparkConf
SparkConf conf = new SparkConf().setAppName("HiveDataSourceJava");
// 创建JavaSparkContext
JavaSparkContext sparkContext = new JavaSparkContext(conf);
// 创建HiveContext,注意,这里,它接收的是SparkContext作为参数,不是JavaSparkContext
HiveContext hiveContext = new HiveContext(sparkContext.sc());
// 第一个功能,使用HiveContext的sql()方法,可以执行Hive中能够执行的HiveQL语句
// 判断是否存在student_infos表,如果存在则删除
hiveContext.sql("drop table if exists student_infos");
// 判断student_infos表是否不存在,如果不存在,则创建该表
hiveContext.sql("create table if not exists student_infos(name string, age int)");
// 将学生基本信息数据导入student_infos表
hiveContext.sql("load data local inpath '/opt/module/datas/sparkstudy/sql/resource/student_infos.txt' into table student_infos");
// 用同样的方式给student_scores导入数据
hiveContext.sql("DROP TABLE IF EXISTS student_scores");
hiveContext.sql("CREATE TABLE IF NOT EXISTS student_scores (name STRING, score INT)");
hiveContext.sql("LOAD DATA "
+ "LOCAL INPATH '/opt/module/datas/sparkstudy/sql/resource/student_scores.txt' "
+ "INTO TABLE student_scores");
// 第二个功能,执行sql还可以返回DataFrame,用于查询
// 执行sql查询,关联两张表,查询成绩大于80分的学生
DataFrame goodStudentInfoDF = hiveContext.sql("select i.name, i.age, s.score " +
"from student_infos i join student_scores s " +
"on s.name = i.name " +
"where s.score > 80");
// 第三个功能,可以将DataFrame中的数据,理论上来说,DataFrame对应的RDD的元素,是Row即可
// 将DataFrame中的数据保存到hive表中
// 接着将DataFrame中的数据保存到good_student_infos表中
hiveContext.sql("drop table if exists good_student_info");
goodStudentInfoDF.saveAsTable("good_student_info");
// 第四个功能,可以用table()方法,针对hive表,直接创建DataFrame
// 然后针对good_student_infos表,直接创建DataFrame
DataFrame goodStudentInfo = hiveContext.table("good_student_info");
List<Row> collect = goodStudentInfo.javaRDD().collect();
for(Row row : collect) {
System.out.println(row.getString(0) + ", " + row.getInt(1) + ", " + row.getInt(2));
}
}
}
Scala版本
object HiveDataSource {
def main(args: Array[String]): Unit = {
// 首先还是创建SparkConf
val conf = new SparkConf().setAppName("HiveDataSourceScala")
// 创建SparkContext
val sparkContext = new SparkContext(conf)
// 创建HiveContext,注意,这里,它接收的是SparkContext作为参数,不是JavaSparkContext
val hiveContext = new HiveContext(sparkContext)
// 第一个功能,使用HiveContext的sql()方法,可以执行Hive中能够执行的HiveQL语句
// 判断是否存在student_infos表,如果存在则删除
hiveContext.sql("drop table if exists student_infos")
// 判断student_infos表是否不存在,如果不存在,则创建该表
hiveContext.sql("create table if not exists student_infos(name string, age int)")
// 将学生基本信息数据导入student_infos表
hiveContext.sql("load data local inpath '/opt/module/datas/sparkstudy/sql/resource/student_infos.txt' into table student_infos")
// 用同样的方式给student_scores导入数据
hiveContext.sql("DROP TABLE IF EXISTS student_scores")
hiveContext.sql("CREATE TABLE IF NOT EXISTS student_scores (name STRING, score INT)")
hiveContext.sql("LOAD DATA " + "LOCAL INPATH '/opt/module/datas/sparkstudy/sql/resource/student_scores.txt' " + "INTO TABLE student_scores")
// 第二个功能,执行sql还可以返回DataFrame,用于查询
// 执行sql查询,关联两张表,查询成绩大于80分的学生
val goodStudentInfoDF = hiveContext.sql("select i.name, i.age, s.score " + "from student_infos i join student_scores s " + "on s.name = i.name " + "where s.score > 80")
// 第三个功能,可以将DataFrame中的数据,理论上来说,DataFrame对应的RDD的元素,是Row即可
// 将DataFrame中的数据保存到hive表中
// 接着将DataFrame中的数据保存到good_student_infos表中
hiveContext.sql("drop table if exists good_student_info")
goodStudentInfoDF.write.saveAsTable("good_student_info")
// 第四个功能,可以用table()方法,针对hive表,直接创建DataFrame
// 然后针对good_student_infos表,直接创建DataFrame
val goodStudentInfo = hiveContext.table("good_student_info")
goodStudentInfo.rdd.collect().foreach(
row => println(row.getString(0) + ", " + row.getInt(1) + ", " + row.getInt(2))
)
}
}