爱尚实训 2018-01-25 10:03 目前在练习hadoop的时候发现每次都要在准备基本环境的时候浪费很多时间,俗话说:“工欲善其事,必先利其器”,干脆横下一条心来,花了两周的时间,整理好了各…
标签:集群
Hive with Spark 实战
前言 由于我司的系统已存在稳定的Hive on Hadoop集群以及Spark集群,随着业务发展,需要打通这两者,并能方便大家在其上进行开放,于是有了本文。本文实际是关于”Hive with Spark…
Hive小文件合并迁移
1 需求 Hive数据库内有4张表,每张表有1TB左右数据,按天分区,需要将这4张表的数据迁移到另一个集群。因为两个Hadoop集群都开启了kerberos身份认证,直接进行数据迁移不太好实现,所以需要先将A集群的数据下…
Hive多用户模式安装
环境准备 hadoop集群(hive需要运行在hadoop集群中) 参考: Hadoop完全分布式集群搭建 Hadoop高可用(HA)集群搭建 集群中有一台服务器中安装了MySQL 参考:Linux中安装MySQL hi…
hadoop distcp hftp hdfs跨集群拷贝常见问题归总
在工作中遇到部门间数据合作,需跨不同版本集群拷贝数据,从hadoop 2.6.0-cdh5.7.0 拷贝数据到hadoop 2.7.1, 记录所碰到的问题及解决方案。 distcp基础用法 比如拷贝A集群(src集群)的…