本文全部手写原创,请勿复制粘贴、转载请注明出处,谢谢配合! 初始化SparkStreaming 前面我们架构原理上讲到,SparkStreaming依赖于StreamingContext和SparkContext 因此首…
标签:org
org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient Logging initializedusing configuration in file:/…
Spark SQL以编程方式连接到Hive Metastore 报错:org.apache.spark.sql.AnalysisException: Table or view not found
使用SparkSQL连接Hive数据库报错:找不到表 Table or view not found: bp_ods.ods_bp_user_behavior Exception in thread "main" org…
HDFS中的Java API的使用
上传文件 PutFile.java import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import …
hadoop WordCount实例
环境:ubuntu14、JAVA_HOME、HADOOP_HOME 环境搭建可见:Ubuntu安装hadoop 1.编写WordCount.java 包含Mapper类和Reducer类 import java.io.I…
JAVA操作Hbase
实际开发中可以利用javaAPI去操作控制Hbase 【准备】 1:开启集群,一次开启(zookeeper,hdfs,hbase) 2:创建项目,导入jar 3:代码实现 import org.apache.hadoop…
org.apache.hadoop.yarn.proto.YarnProtos$LocalResourceProto.hashLong(J)I
问题背景 解决完FileNotExsit的问题后,重新Build Cube,发现在fact table distinct阶段还是报错,错误如下: 错误 java.lang.NoSuchMethodError: org.a…
hadoop入门(一)
分布式的hadoop的安装 参考:https://www.jianshu.com/p/117243649c18、https://www.jianshu.com/p/21c992596497 wordcount 参考官方d…
奔跑的大象,Hadoop之WordCount源代码
Hadoop.jpg 本文有新版和旧版两个版本的源代码。 hadoop_logo.png WordCount旧版源代码 //package org.apache.hadoop.examples; import java.…
Sqoop导入HBase,并借助Coprocessor协处理器同步索引到ES
1.环境 Mysql 5.6 Sqoop 1.4.6 Hadoop 2.5.2 HBase 0.98 Elasticsearch 2.3.5 2.安装(略过) 3.HBase Coprocessor实现 HBase Ob…
hadoop-java客户端搭建&WordCount
java客户端&开发环境搭建 win7下开发环境配置 1 先官网下hadop,然后配置HADOOP_HOME. 2 用csdn下的包替换HADOOP_HOME里的bin目录 此文件已经存于网盘 要注意版本对应. …
自定义UDF函数,从hive保存到mongodb
(可以通过idea工具调试UDF函数,第二步中会提供参考) 一、自定义UDF函数: 1、首先是pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <proj…