软件环境: linux系统: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8 </br> 主机配置: 一共m1, m2, m3这三部机, 每部主机的用户名都为cent…
分类:Hive
Hive(一) 创建数据库 创建表
1.创建/删除/修改 数据库 创建数据库 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATI…
统计PV、UV
使用Hive日常工作基本上都会碰到统计PV、UV的需求,有如下日志表格式表: create table user_log ( log_time string, user_id string, .... ) 统计一段时间内…
利用Sqoop实现Hbase的数据与MySQL数据的互导
1. MySQL数据导入到HBase中 在服务器(主机名为repo)的mysql数据库中的”test”库中有一张”student”表,其中内容如下: sid sname s…
HBase统计表行数的方法
count命令 count ‘t1′ count ‘t1′, INTERVAL => 100000 count ‘t1′, CACHE => 1000 count ‘t1′, INTERVAL => 1…
HIVE安装与使用-内嵌模式
一、Hive简介 什么是Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并 提供类SQL查询功能。 本质是将SQL转换为MapReduce程序。 Hive本身不存储数据,…
hive基于json格式创建hive表
创作不易,转载请注明出处。如有疑问,请加微信wx15151889890,谢谢。 [本文链接:]https://www.jianshu.com/p/29677c052296 由于前段的数据是json格式的,因此想基于jso…
尚硅谷大数据技术之Hive 第13章 常见错误及解决方案
1)SecureCRT 7.3出现乱码或者删除不掉数据,免安装版的SecureCRT 卸载或者用虚拟机直接操作或者换安装版的SecureCRT 2)连接不上mysql数据库 (1)导错驱动包,应该把mysql-conne…
zeppelin-0.7.3与spark2.3, hive, hbase配置
1. 安装 1.1下载页面会提供两种二进制包: zeppelin-0.7.3-bin-netinst.tgz 默认只会提供Spark的Interpreter zeppelin-0.7.3-bin-all.tgz 会提供各…
推荐几个SQL在线学习网站
适合的群体:SQL初学者,想要复习一下SQL基础知识的朋友,能无障碍阅读基础英文的朋友。 SQL算是声明式的数据操纵语言,基本上感觉是对着数据库管理系统在喊:给我什么样的数据!似乎大部分人都不认为SQL十分困难。的确,入…
大数据学习之Hive和HBase之间的不同
科多大数据带你学习Hive和HBase之间的不同。 Apache Hive是一个构建在hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被…
用python脚本来提高工作效率
作为一名数据分析师,日报、周报、月报数据一个也不能少。 相应的, 就要在数据库中提取大量的数据, 并处理大量的Excel表格。 自己在工作中使用的最多的就是Hive-SQL查询语句,很多时候,每天的运行的SQL语句只需要…