表 1、重命名表重命名表的语句如下: ALTER TABLE table_name RENAME TO new_table_name 2、修改表属性: ALTER TABLE table_name SET TBLPROP…
分类:Hive
从 Hive常用命令记录
1.进入hive客户端 >hive 2.查看数据库 >show databases; 3.查看表 >show tables; 4.对表进行的查询操作与sql几乎相同,需要注意的是尽量不要查看或操作过多数…
De novo 基因组GO 注释小窗口
关于GO 注释的心得体会 目前对于GO功能注释的思路有 以下常见的三种: 1、BLAST+InterProScan => BLAST2GO 可以先通过使用 blastp 进行nr注释,那么问题就来了,nr 数据库截…
hive insert into语句 和 insert overwrite语句
刚开始学hive,查hiveinsertinto语句和insertoverwrite语句区别的时候百度出来第一条写错了,差点被坑。。。。。 1.insert into是增加数据 2.insert overwrite是删除…
P03_Hive 安装
安装hive包 [CDH下载地址](http://archive.cloudera.com/cdh5/cdh/5/) 1、将hive-0.13.1-cdh5.3.10.tar.gz使用WinSCP上传到sparkproj…
SpringBoot+HBase查询
最近手里有个项目是SpringBoot搭建的,主要使用spring-data-hadoop-hbase来实现。 参考了几篇网上的文章,用的都是xml方式,当然官网给的sample也是xml方式,具体可以参考 https:…
hive sql ddl
数据库 数据库,仅仅是表的一个目录、命名空间,如果没有指定则默认使用default数据库。 create database xx; create database if not exists xx; show datab…
Hive插入多个分区时OOM故障解决记录
一、故障情景 基于Hive的数据仓库中需要做一张累积快照表,记录了客户发生各个行为的具体日期,比如激活日期、注册日期、申请日期、创建订单日期等等。 这张表需要以激活日期作为分区时间,便于业务查询。 激活日期将近500个日…
hive报错:Permission denied: user=root, access=WRITE, inode="/user":hdfs:hdfs:drwxr-xr-x
[root@dn001 ~]# hive Logging initialized using configuration in file:/etc/hive/conf/hive-log4j.properties SLF4…
[译]Hive学习指南(二)
Hive SQL的能力 Hive’s SQL提供了基本SQL操作。这些操作作用于表和分区,具有以下能力: 可使用WHERE过滤表中的行 可使用SELECT选择表中指定的列 可进行表连接 可使用group by…
hive sql优化实例
Hive中SQL的优化技巧,核心思想是避免数据倾斜。 1、避免在同一个查询中同时出现count, distinct,group by 2、left join 时把小数据量的表放在前面 3、尽量使用子查询 参数配置 SET…
hive中的时间处理函数
日期函数UNIX时间戳转日期函数: from_unixtime语法: from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳(从…