Sqoop增量导入与数据去重 2023年10月20日 Hive 0条评论 391次阅读 0人点赞 sqoop是可以配置job自动运行的,能自动记录上次同步的时间,不过如果任务失败就不方便重跑了(这方面经验不足)。 目前的做法是手动去配置一个固定的同步周期和–last-modify值,这样一来就可能有数据重…