1、在hive中注册udf函数 add jar hdfs://hdp-hdfs01/apps/udf.jar; –添加jar,jar存放在hdfs上 create function your_ud…
标签:jar
spark程序jar与spark lib jar冲突,加载顺序
用户编写的spark程序打包成jar后提交到yarn执行时,经常会遇到jar包中明显存在某个类,但任务提交到yarn运行时却找不到类或方法(java.lang.NoSuchMethodError)的问题。本文总结下产生此…
Spark加载PMML进行预测
背景:Spark由2.0.0升级至2.2.1,导致之前同事写的Spark加载PMML的工具jar在调度上跑作业出错 期望:将Spark2.0.0版加载PMML工具jar升级到支持Spark2.2.1 解决: 旧版用法 s…
Spark GraphX 对图进行可视化
Spark 和 GraphX 对并不提供对数据可视化的支持, 它们所关注的是数据处理. 但是, 一图胜千言, 尤其是在数据分析时. 接下来, 我们构建一个可视化分析图的 Spark 应用. 需要用到的第三方库有: Gra…
Spark 任务提交
提交的应用程序 Spark的bin目录中的Spark -submit脚本用于在集群上启动应用程序。它可以通过一个统一的接口使用所有Spark支持的集群管理器,这样您就不必为每一个都配置您的应用程序。 绑定应用程序的依赖关…
hive基于json格式创建hive表
创作不易,转载请注明出处。如有疑问,请加微信wx15151889890,谢谢。 [本文链接:]https://www.jianshu.com/p/29677c052296 由于前段的数据是json格式的,因此想基于jso…
Spark jar包问题
通常我们将spark任务编写后打包成jar包,使用spark-submit进行提交,因为spark是分布式任务,如果运行机器上没有对应的依赖jar文件就会报ClassNotFound的错误。 下面有二个解决方…
本地连接 NOSASL 验证的 Hive 服务
本地连接Hive, 验证方式是 NOSASL,可选Java或Python模式。 Java 查看服务器的Hive版本: 登录可使用Hive的机器; 查看Hive的Jar包:ls /usr/lib/hive/lib/; 找到…
Hive自定义函数以及beeline客户端
hive自定义函数的使用 # 创建自定义函数(注意,此处的hdfs一定要写成别名OpsCluster1) ## create function 函数名 as 'udf类的全路径(包名+类名)' using jar "自己…
sqoop mysql 导入hive CDH
mysql 驱动jar包 使用版本 CDH sqoop lib 包路径,sqoop 需要找到jar 包联接mysql /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0…
Hive mac 客户端工具DbVisualizer配置
1、下载连接Hive的GUI SQL工具 下载地址:https://www.dbvis.com/download/10.0 需要jar hive-jdbc-uber-2.4.0.0-169.jar (https://gi…
黑猴子的家:Hive和HBase整合集成
1、HBase Jar包拷贝到Hive/lib目录下 因为在操作Hive的同时对HBase也会产生影响,所以Hive需要持有操作HBase的Jar包,那么接下来拷贝Hive所依赖的Jar包(或者使用软连接的形式) [vi…