一.hive的数据类型

基本类型：整数类型，浮点类型，布尔类型，字符串类型；

复杂的数据类型(新增)：
 数组类型array:
                  创建表：    create table student (sid int,game string,grade array<float>); 
                  插入数据：{1,tom,[80,90,95]}
Map类型：
                        create table student1 (sid int,game string,grade map<string,float>);

                        {1,tom,<'大学语文',85>}
Array和Map嵌套
                     create table student3 (sid int,same string,grades array<map<string,float>>);
                      {1,tom,[<'大学语文',80>,<'大学英语'，90>]}
                      
Struct类型：
                   create table student4 (sid int,info struct<name:string,age:int,sex:string>);
                   {1,{'tom',10,'男'}}

二.表的类型和表的创建

#内部表,分区表,外部表,桶表
内部表：
     1.与数据库中的表在结构上类似的
     2.每一个table在Hive中都有相同的目录存储数据
     3.所有的表数据（不包括External Table）都保存在这个目录里面
     4.删除的时候，元数据和数据都会被清除
        create table t1  {tid int ,name string,age int};  #保存在默认位置
        create table t2  {tid int ,name string,age int} loaction '/mystable/hive/t2'; #指定文件的位置
        create table t3  {tid int ,name string,age int} row format delimited fields terminated by ',';
        create table  t4
            as
            select * from   t1; #根据t1表的查询结果创建t4表,也就复制表
            create table t5
            row format delimited fields terminated by ','
              as
            select * from   t1;

#分区表
    #将大表依据某一列划分成小表
     create table partition_table (sid int ,sname srting)
     partitioned by {gender string}
     row format delimited fields terminated by ',';
    #向分区表中插入数据
    insert into  table  partition_table  partition{gender='M'} SELECT * From  select * from t1 where gender='M';

#外部表
    1.指向已经在HDFS中存在的数据,可以创建分区表
    2.它和内部表在元数据的组织上是相同的
    3.外部表只是一个连接（相当于桌面的快捷方式）
    4.外部表只是一个过程，加载数据和创建表同时完成，并不会移动数据到数据仓库的目录中
      只是与外部数据建立一个链接，当删除一个外部表的时候，仅删除该链接
    #创建外部表
    create  external table external_student
    (sid int ,sname srting)
    row format delimited fields terminated by ',' #指定文件分隔符
    loaction '/input'; #指定文件位置
#桶表(哈希规则)
    1.经过哈希运算，把一整块数据打散存储数据
    2.降低热块 提升查询效率
    #创建桶表
    create table bucket_table(sid int ,sname srting)
    clustered by(sname) into  5 buckets;
#视图
    简化复杂查询
其他通用的操作
    #生成执行计划
    explain hql句子; 从下往上，从左往右
    #添加新的列
    alter table  t1,add columns(z int);
    #删除表
    drop table t1；

三.文件数据的导入

#数据的操作和插入
load data local inpath '/root/data/student01.txt' into table t2; #没有分隔符可以创建分隔符
load data       inpath '/root/data/student01.txt' overwrite into table t3; #没有分隔符可以创建分隔符
#数据导入分区表
load data local inpath '/root/data/student01.txt' into table partition_table partition(gender='M'); #指定分区表的条件

四.Hive的函数类型和简单举例

#Hive内置的函数
数学函数：
    round,ceil向上取整，floor向下取整
字符串函数：
    lower,upper,length,concat
    ,substr #substr(a,b) 从a中，第b位开始，取右边所有的字符；substr(a,b,c) 从a中，第b位开始，取c个的字符；
    ,trim  #去除空值
    ,lpad-左填充,rpad-右填充 #lpad('abc',10,'*') → ******abc
收集函数：
    size(map(<key,value>,<key,value>)) #size(map(1,'Tom',2,'Mary')) → 2
格式转化函数：
    cast cast(1 as float);cast('2018-05-26' as date)
#日期函数
    to_date(=date) #to_date('2015-04-23 11:23:11') → '2015-04-23'
    year,month,day,weekofyear,datediff
    ,date_add,date_sub #date_add('2015-04-23',2)
#条件函数
    coalesce()#从左到右返回第一个不为空的数值 select coalesce(a,b,c);
    case when 表达式
#聚合函数
    count,sum,avg(),max(),min() 
#表生成函数
    explode() #select explode(map(1,'tom',2,'marry',3,'mike'))
自定义函数UDF
    继承Java类,重写函数 

五.数据的查询操作（与sql没有太大的区别）

#数据查询
    #简单的查询
        select * from t_sec_createrole ; #查询不需要程序转化
        select roleid,serverid from t_sec_createrole ; #需要转化成mapreduce程序
        select roleid,roleid*1 from t_sec_createrole ; #支持算数表达式
        select roleid,roleid*1,roleid*1+nvl(roleid,0) from t_sec_createrole ; #将空值转化为0
        #查询为空值的行
        select * from t_sec_createrole where  is null;
        #使用distinct 来去除重复值
        select distinct roleid from t_sec_createrole ;  
        #Fetch Task应对简单查询的功能
        set hive.fetch.task.conversion=more;
        #使用where条件进行过滤,严格区分大小写
        select * from t_sec_createrole  where serverid=1 and gamechannel=15;
        #模糊查询
        select * from t_sec_createrole  where rolename like 'S%';
        #查询包含特殊字符_的查询
        select * from t_sec_createrole  where rolename like '%\\_%';
        #查询结果的排序
        select roleid,serverid from t_sec_createrole  order by serverid ;oder by +列+表达式+别名+序号
        select roleid,serverid from t_sec_createrole  order by 4 ; #根据第四列数据进行排序
            需要开启功能 set hive.groupby.orderby.position.alias=ture 
    #连接查询(多表查询)
    #等值查询
        select roleid,pay
        from createrole as a ,recharge as b 
        where a.roleid=b.roleid
    #不等值查询
        select e.empo,e.name,e.sal
        from  emp e ,salgrade s 
        where  e.sal between s.losal  and s.hisal
    #外连接(左外连接,右外连接)
        select * 
          from create as a,gamechannel as b 
        where a.channelid=gamechannel
    #子查询
        #只支持from和where的子查询,子查询是空值可以使用in,但是不能使用not in 
        select roleid from  createrole where roleid  not in (select roleid from recharge)