运行wordcount实例 在/tmp目录下生成两个文本文件，上面随便写两个单词。 cd /tmp/ mkdir file cd file/ echo "Hello world" > file1.txt cp fi…

什么是hadoop hive spark https://code.dblock.org/2017/04/02/getting-started-with-spark-hadoop-hdfs-hive.html 视频教学 …

spark standalone spark-1.5.0-bin-hadoop2.6 spark-env.sh配置 export SPARK_MASTER_IP=172.16.31.11 export SPARK_MAS…

第一次需要执行初始化命令 schematool -dbType mysql -initSchema 查看初始化后信息  schematool -dbType mysql -info

首先，hive不支持单条数据的insert和update。 Hive的insert语句能够从查询语句中获取数据，并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees（雇员信息全量表）…

摘要： 今天在使用hive的client工具beeline时遇到了一个Invalid URL的错误。环境信息如下： hiveclient: bd23 hiveserver2: cloud011 hiveclient所在主…

yarn中提交的任务只能一个接着一个执行不能并发执行。 最终通过看RM的日志发现问题，遇到问题解决不了的时候一定要看日志。 问题解答请点击

1. 外部表（external table） 有external修饰，表数据保存在HDFS上，该位置由用户指定。删除表时，只会删除表的元数据，所以外部表不是有Hive完全管理的 2. 内部表(internal table…

1.regexp_replace 正则表达式替换函数 语法: regexp_replace(string A, string B, string C) 返回值: string 说明：将字符串A中的符合java正则表达式B…

1.mapreduce时候卡住不动 我用的是hadoop2.6.0，启动的时候用的命令./start-dfs.sh,这时候我们打开配置好的hive,启动，创建表，都没有问题，查询只要不涉及mapreduce的操作的时候，…

入门 起点：SparkSession Spark中所有功能的入口点就是这个SparkSession类。要创建一个基本的SparkSession，只需使用SparkSession.builder()： import org…

目录 小文件处理的参数 数据倾斜参数 分区表参数 并行执行参数 代码块中的参数值都是cdh 5.7的默认值. 查看hive配置的方式为 [root@namenode1 ~]# hive -e "set"| grep hi…