2017.10.19~20 坐在床下被蚊子咬死了，靠着电脑屏幕微弱的灯光打死了一只飞到跟前的蚊子 毛不易唱歌好好听啊。 分出去300G装ubuntu，结果搁在这里装了后就很久没用过了，最近因为实习原因重新开始用，万事开头…

hive内部表与外部表 hive的内部表与外部表之间的区别 区别 创建表过程 删除表过程 内部表 会将数据移动到数据仓库指向的路径 元数据和实际数据一起删除 外部表 仅记录数据所在的路径，不会对数据的位置坐任何改变 只删…

#Hive建外部External表（外部表external table）： CREATE EXTERNAL TABLE `table_name`(  `column1` string,  `colum…

1、何为大数据技术生态圈？ 摘自https://www.zhihu.com/question/27974418/answer/38965760 传统的文件系统是单机的，不能横跨不同的机器。HDFS（Hadoop Dist…

1.基本数据类型 tinyint/smallint/int/bigint 整数类型 float/double 浮点数类型 boolean 布尔类型 string 字符串类型 2.复杂的数据类型 Array 数组类型，有一…

自动化是程序员的天性，这里是一段小代码自动化手工重复的工作。 package collect; import com.google.common.base.Charsets; import com.google.comm…

构建spark 标签：大数据 花了299在天善学院买了玩转大数据分析的教程。虽然名字是一分钟建立，但那仅仅是在centos单机上安装spark，离建立hadoop、spark、hive三位一体的集群环境差距还不是一点点。…

快乐大数据第5次课 hive（1）工作原理Hive的执行入口是Driver，执行的SQL语句首先提交到Drive驱动，然后调用compiler解释驱动，最终解释成MapReduce任务去执行。无法实现实时更新，只能向现有…

操作系统 因为公司的服务器上用的RedHat Linux 6，所以本安装指南也是基于RedHat完成的，但是其它版本，如Ubuntu、CentOS等也可参考，无本质上的差异。 服务器集群 本次测试环境只有3台服务器，所以…

说明 认证(authentication)：验证用户所用的身份是否是对的 授权(authorization)：验证用户所用身份操作是否有权限 目前hive（版本0.12.0）支持简单的权限管理，默认情况下是不开启，这样所…

#cd training #tar -zxvf apache-hive-2.1.1-bin.tar.gz # rm -rf apache-hive-2.1.1-bin.tar.gz # mv apache-hive-2.…

接前一篇文章，这里只说怎样连接Hive。 配置 Hive Connector etc/catalog/hive.properties connector.name=hive-hadoop2 hive.metastore.…