Redis原理及实践之Scan

3. scan vs keys

  • keys扫描key的复杂度为O(N),同样scan的复杂度也为O(n)
  • scan提供limit参数,可以控制每次返回结果的最大条数
  • scan同样提供pattern匹配的功能
  • 服务器不需要为游标保存状态,游标的唯一状态就是 scan 返回给客户端的游标整数;
  • 返回的结果可能会有重复,需要客户端去重复,这点非常重要;
  • 遍历的过程中如果有数据修改,改动后的数据能不能遍历到是不确定的;
  • 单次返回的结果是空的并不意味着遍历结束,而要看返回的游标值是否为零;
  • scan命令使用示例
// 第一个参数指定游标,第二个参数指定匹配模式,第三个参数指定返回数据的条数
// 注意: count参数是限定服务器单次遍历的字典槽位数量,而不是限制返回key的数量
127.0.0.1:6379> scan 0 match key99* count 1000
1) "13976"
2)  1) "key9911"
    2) "key9974"
    3) "key9994"
    4) "key9910"
    5) "key9907"
    6) "key9989"
    7) "key9971"
    8) "key99"
    9) "key9966"
   10) "key992"
   11) "key9903"
   12) "key9905"
127.0.0.1:6379> scan 13976 match key99* count 1000
1) "1996"
2)  1) "key9982"
    2) "key9997"
    3) "key9963"
    4) "key996"
    5) "key9912"
    6) "key9999"
    7) "key9921"
    8) "key994"
    9) "key9956"
   10) "key9919"
127.0.0.1:6379> scan 1996 match key99* count 1000
1) "12594"
2) 1) "key9939"
   2) "key9941"
   3) "key9967"
   4) "key9938"
   5) "key9906"
   6) "key999"
   7) "key9909"
   8) "key9933"
   9) "key9992"
......
127.0.0.1:6379> scan 11687 match key99* count 1000
1) "0"
2)  1) "key9969"
    2) "key998"
    3) "key9986"
    4) "key9968"
    5) "key9965"
    6) "key9990"
    7) "key9915"
    8) "key9928"
    9) "key9908"
   10) "key9929"
   11) "key9944"...
  • 关于scan命令为什么采用高位进位的方式进行遍历,可以参考: https://juejin.im/book/5afc2e5f6fb9a07a9b362527/section/5b3d97d9e51d4519634f8512,其主要目的是为了防止Hash扩容/缩容对key遍历造成影响。其实就是当前Hash空间遍历的一个槽位相当于扩容后Hash空间的两个槽位;当前Hash空间的两个槽位相当于缩容后Hash空间的一个槽位。采用高位进位加法的遍历方式在扩容/缩容后Hash空间的遍历顺序是相邻的。
  • 渐进式rehash && scan
    在rehash过程中,redis会同时保留旧数组和新数组,然后在定时任务中以及后续对 hash 的指令操作中渐渐地将旧数组中挂接的元素迁移到新数组上。这意味着要操作处于 rehash 中的字典,需要同时访问新旧两个数组结构。如果在旧数组下面找不到元素,还需要去新数组下面去寻找。scan 也需要考虑这个问题,对与 rehash 中的字典,它需要同时扫描新旧槽位,然后将结果融合后返回给客户端。
  • redis 大key 定位
    • scan扫描过程中定位大key
    • redis自带的大key扫描命令
    // 不带sleep的大key扫描
    redis-cli -h 127.0.0.1 -p 7001 –-bigkeys
    // 带sleep的大key扫描, 每隔100条scan指令休眠0.1s
    redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1
    
    原文作者:DDY26
    原文地址: https://www.jianshu.com/p/abe5d8ae4852
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞