scala – 如何使用spark 2访问hbase

2023年11月2日 258次阅读

我写了一个程序,使用spark 1.6和spark-hbase-connecotr访问HBase(sbt依赖：“it.nerdammer.bigdata”％“spark-hbase-connector_2.10”％“1.0.3”).但是当使用spark 2时它不起作用.*.我搜索过这个问题,得到了一些结论：

>有几个连接器用于使用spark连接hbase

> hbase-spark. hbase-spark由HBase官方website提供.但我发现它是在scala 2.10和spark 1.6上开发的.项目的pom.xml中的属性如下：

<properties>
  <spark.version>1.6.0</spark.version>
  <scala.version>2.10.4</scala.version>
  <scala.binary.version>2.10</scala.binary.version>
  <top.dir>${project.basedir}/..</top.dir>
  <avro.version>1.7.6</avro.version>
  <avro.mapred.classifier></avro.mapred.classifier>
</properties>

> hbase-spark-connecotr：我访问他们的website并且没有关于spark 2.0的信息. jar的名字是spark-hbase-connector_2.10,它告诉我们jar是由spark 1 *使用的scala 2.10编译的.但是,当我将jar的名称更改为spark-hbase-connector_2.11(由scala 2.11编译,与spark 2相同)时,我的IEDA(一种IDE)告诉我没有名为spark-hbase-connecotr_2.11的jar.所以没有火花2的支持.
> hortonworks-spark：我访问了他们的网站.一些言论说是不支持火花2. *.

你知道第三方提供的罐子有完整的文件解决问题吗？我应该用什么软件包来连接hbase使用spark 2. *？我感谢您的任何建议.谢谢！

最佳答案 我选择使用
newAPIHadoopRDD来访问火花中的hbase

点赞