基本数据类型 tinying/smallint/int/bigint:整数类型 float/double:浮点数类型 boolean:布尔类型 string:字符串类型 hive>create table pers…

在thinkphp中，有自带的分页可以直接使用，但自带的分页最大的缺陷就是跳转后查询条件就没有了。 若要将查询条件带入分页，则在分页参数中加入条件。 foreach($fenye as $key=>$val) { …

GROUPING SETS 该关键字可以实现同一数据集的多重group by操作。事实上GROUPING SETS是多个GROUP BY进行UNION ALL操作的简单表达，它仅仅使用一个stage完成这些操作。GROU…

** 生成与关系数据库表结构对应的hive表结构。** 1、命令案列 [victor@node1 sqoop-1.4.7]$ bin/sqoop create-hive-table \ --connect jdbc:my…

这是一篇spark环境的安装文档，不知道为什么查了下网上的安装步骤总是感觉怪怪的，有把环境变量配置到spark-env.sh的，有配置了yarn然后启动spark-standalone服务的，虽然不能保证我的方法是最标准…

函数签名 函数返回值类型 使用描述 ascii(string str) int 返回字符串的第一个字符的ascii数字 示例： ascii('abc') 返回97即字符a的ascii值

（1）获取当前的时间戳（以秒位单位）：unix_timestamp()，返回值类型位BIGINT。例如： select unix_timestamp() from dim_user limit 1;   &nb…

Hive学习 标签（空格分隔）： Hadoop Hive 官网地址：https://hive.apache.org/ 下载地址：http://www-us.apache.org/dist/hive/hive-2.1.1/…

hadoop序列化和反序列化 1 什么是序列化和反序列化 序列化就是将内存中的对象或数据，转换成字节数组，以便于存储（持久化）和网络传输。 反序列化就是将字节数组转换成内存对象。 2 JDK中的序列化和反序列化 使用ja…

Hive数据倾斜总结 倾斜的原因： 使map的输出数据更均匀的分布到reduce中去，是我们的最终目标。由于Hash算法的局限性，按key Hash会或多或少的造成数据倾斜。大量经验表明数据倾斜的原因是人为的建表疏忽或业…

首先确保Hadoop环境和Hive环境兼容且配置好，我这里Hive的元数据库使用的MySQL。 编辑$HIVE_HOME/conf/hive-site.xml，对server2适当配置并启动server。 使用serve…

Hive Metastore有三种配置方式，分别是： Embedded Metastore Database (Derby) 内嵌模式 Local Metastore Server 本地元存储 Remote Metast…