sqoop的整体架构

sqoop1与sqoop2的区别

sqoop1提供用户命令行的方式使用数据迁移功能对数据进行迁移。目前提供的功能由关系型数据库,Hbase, hive, HDFS之间的数据迁移。Sqoop1的缺点是:

  • 基于命令行的操作方式,易出错,且不安全。
  • 数据传输和数据格式是紧耦合的,这使得connector无法支持所有的数据格式
  • 用户名和密码暴漏出来
  • sqoop安装需要root权限

sqoop2在sqoop1的基础之上

  • 对迁移功能的组件进行了更细致的划分。
  • 引入sqoop server,集中化管理Connector等
  • 多种访问方式:CLI,Web UI,REST API
  • 引入基于角色的安全机制
    sqoop2相比sqoop1来说更容易扩展,更易于使用, 更安全。

sqoop1的整体架构

《sqoop的整体架构》 sqoop.png

sqoop2的架构

《sqoop的整体架构》 sqoop2.png

    原文作者:zjlearn
    原文地址: https://www.jianshu.com/p/dd723351b39e
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞