hive查询大数据量得到结果不同

记录一个小操作的bug:
诡异的case:在执行一个select语句后,不同时间得到的查询结果数据量不同
原因:

《hive查询大数据量得到结果不同》 执行状态

此时,
只是sql查询结束,而对于其结果需要写入3.546G的数据,写入数据尚未结束,sql没有完全执行结束。误以为是执行完毕,ctrl+z杀死了进程,导致结果不完整,两次运行时杀死进程的时间不一致,结果数量就有了偏差。

《hive查询大数据量得到结果不同》 运行结束

此状态出现,且下一行回到到shell环境中,查询结果才写完,此时才是完整的一次sql执行。

    原文作者:analanxingde
    原文地址: https://www.jianshu.com/p/91e92e2d698b
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞