大数据分析系列（一）：使用R连接Hive

2019年6月7日 179次阅读 来源: 做一个专注的技术人

本文地址：http://www.jianshu.com/p/651fb104088c，转载请说明出处。　　
　　从事大数据方面的工作已经有一段时间了，对于Hadoop的各种组件也有了比较全面的了解，有幸也用R做过一些数据分析的项目，免不了要将R和Hadoop进行结合。
　　做过数据分析的人应该对于R都比较熟悉，它的强项在于可以通过各种模型（拿来即用）对数据进行加工、建模和分析。但处理大数据不是它的强项。对于大规模数据的处理，Hadoop可以算是最佳的工具。Hadoop生态圈提供了丰富的组件可以处理数据。比如

  • HDFS提供分布式存储

  • Hive提供类似SQL的接口对数据进行处理

  • Spark可以提供全内存的数据处理

等等。但Hadoop在数据分析和挖掘领域提供的组件还比较弱，虽然Spark提供了MLLIB组件提供算法支持，但仍然比较有限，且更不说R强大的图形绘制功能。有时候我们需要拥有大数据的处理能力，同时又想使用R语言灵活而强大的数据分析和展示能力，那么自然就会想将两者结合起来。R和Hadoop的结合一般有如下几种方式（可能不全_）：

  • R直接读取HDFS的数据

  • R连接Hive使用Hadoop的数据

  • R通过SparkR使用Spark来处理Hadoop的数据

本文主要介绍Ｒ连接Hive组件，通过SQL语句获取Hadoop上的数据。关于Hive的基础知识和使用方法这里不做过多介绍。

R连接Hive是通过JDBC接口来进行操作。Hive组件通过一个名为HiServer2的服务来提供JDBC接口。假设启动HiServer2的机器的IP地址为192.168.1.101，端口号为10000（默认端口），那么在192.168.1.101上运行beeline工具可以测试JDBC服务是否正常。beeline是Hive组件提供的一个sql客户端，可以通过JDBC接口连接到Hive服务。用beeline测试的结果如下:

    $beeline -u jdbc:hive2://192.168.1.101:10000 -n mr

mr为hive的用户名。如果连接成功表示Hive的JDBC服务运行正常，这是我们使用R连接Hive的前提条件。

以上步骤完成以后，我们就可以开始使用R语言来访问Hive了。这里推荐使用RStudio工具来进行开发。下图是实际所用的R的版本。

《大数据分析系列（一）：使用R连接Hive》 R语言的版本

R语言访问关系型数据库需要下载如下包：

  • rJava：R调用Java的类所需要的包

  • DBI：R访问关系型数据库的接口

  • RJDBC：RJDBC访问数据库的包

以上包可以通过执行如下脚本安装：

  install.package("rJava")
  install.package("DBI")
  install.package("RJDBC")
  library('rJava')
  library('DBI')
  library('RJDBC')

下载所需要的R包以后，还需要将集群中Hive JDBC的驱动包拷贝出来放在R程序所在的本地。具体步骤为：

  • 在hive的安装目录lib下面一般有一个jdbc-standalone的jar，类似如下名字：
    hive-jdbc-1.2.1000.2.4.2.0-258-standalone.jar
  • 在hadoop的安装目录lib下有一个hadoop-common的jar，类似如下名字：
    hadoop-common-2.7.1.2.4.2.0-258.jar

以上jar包的名字根据Hadoop的版本不同而不同，将以上两个jar包拷贝到R所在的系统目录下，假设目录为D:\RHive，在R中可以通过setwd函数将工作目录切换到jar包所在的目录：

  setwd("D:\\RHive")

然后执行如下R脚本完成到Hive的连接：

drv <- JDBC(“org.apache.hive.jdbc.HiveDriver”, “hive-jdbc-1.2.1000.2.4.2.0-258-standalone.jar;hadoop-common-2.7.1.2.4.2.0-258.jar”)  //加载驱动
conn <- dbConnect(drv, “jdbc:hive2://192.168.56.102:10000”, “mr”, “”)   //建连接
dt = dbGetQuery(conn,“select * from student limit 10”)   //测试连接

上述脚本中conn为JDBC连接，dbGetQuery可以执行Hive查询，返回的结果在R中即为dataframe的数据结构。后续就可以使用R中的各种函数或者模型来对Hive中的数据进行处理了。更方便的是可以使用ggplot工具直接图形展示Hive中的数据，方便的对数据进行探索。

    原文作者：做一个专注的技术人
    原文地址: https://www.jianshu.com/p/651fb104088c
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞