hdfs跨集群导数据+hive建表

2023年12月5日 233次阅读 来源: 我是一只会飞的羊

/usr/hdp/2.6.1.0-129

  1. 修改本地host和集群一样

  2. 本地新建hdfs用户

  3. 切换到hdfs用户（必须），否则会报没有权限错误

  4. hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true -D dfs.checksum.type=CRC32 /user/hive/warehouse/ webhdfs://bgs-5p11-wangjiyu:50070/user/hive/warehouse/

  5. hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true -D dfs.checksum.type=CRC32 hdfs://localhost:9000/user/hive/warehouse/ webhdfs://bgs-5p11-wangjiyu:50070/user/hive/warehouse/

  6. 批量导出建表语句的sh：

#!/bin/bash
hive -e "show tables;" > tables.txt
sleep  2
    cat tables.txt |while read eachline
    do
    hive -e "show create table $eachline" >>tablesDDL.txt
    done
  1. 导出的建表语句批量替换hive表分区存储的路径（替换前面的集群路径），可以在hive中输入 show create table + 表；查看改表的建表语句
    hdfs -f + 建表语句的txt文件
    原文作者：我是一只会飞的羊
    原文地址: https://www.jianshu.com/p/b467c9f8786e
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞