Redis 数据库操作、配置以及慢查询

2019年10月2日 116次阅读 来源: 拿客_三产

Redis 提供了几个面向 Redis 数据库的操作，例如之前已经介绍过或者使用过的 DBSIZE 、SELECT 、FLUSHDB/FLUSHALL 本节将通过具体的使用场景介绍这些命令。

切换数据库

SELECT

自1.0.0可用。

时间复杂度：O(1)。

语法：SELECT index
说明：

切换到指定的数据库，数据库索引号 index 用数字值指定，以 0 作为起始索引值。

默认使用 0 号数据库。

返回值：

OK

示例：
coderknock> SET db_number 0         # 默认使用 0 号数据库
OK
coderknock> SELECT 1                # 使用 1 号数据库
OK
coderknock[1]> GET db_number        # 已经切换到 1 号数据库，注意 Redis 现在的命令提示符多了个 [1]
(nil)
coderknock[1]> SET db_number 1
OK
coderknock[1]> GET db_number
"1"
coderknock[1]> SELECT 3             # 再切换到 3 号数据库
OK
coderknock[3]>                      # 提示符从 [1] 改变成了 [3]

许多关系型数据库，例如 MySQL 支持在一个实例下有多个数据库存在的，但是与关系型数据库用字符来区分不同数据库名不同，Redis 只是用数字作为多个数据库的区分。Redis 默认配置中是有16个数据库：

# 这里是 Redis 配置文件中的配置项
databases 16

#以下是在客户端中进行测试
# 此处可以修改，如果没有修改使用 超过 15 索引的数据库会报错（索引从 0 开始 15 代表有 16 个库）
127.0.0.1:6379> SELECT 16
(error) ERR invalid DB index
127.0.0.1:6379> SELECT 15
OK

Redis3.0 中已经逐渐弱化这个功能，例如 Redis 的分布式实现 Redis Cluster 只允许使用0号数据库，只不过为了向下兼容老版本的数据库功能，该功能没有完全废弃掉，下面分析一下为什么要废弃掉这个“优秀”的功能呢？总结起来有三点：

  • Redis是单线程的。如果使用多个数据库，那么这些数据库仍然是使用一个 CPU ，彼此之间还是会受到影响的。
  • 多数据库的使用方式，会让调试和运维不同业务的数据库变的困难，假如有一个慢查询存在，依然会影响其他数据库，这样会使得别的业务方定位问题非常的困难。
  • 部分Redis的客户端根本就不支持这种方式。即使支持，在开发的时候来回切换数字形式的数据库，很容易弄乱。

建议如果要使用多个数据库功能，完全可以在一台机器上部署多个 Redis 实例，彼此用端口来做区分，因为现代计算机或者服务器通常是有多个 CPU 的。这样既保证了业务之间不会受到影响，又合理地使用了 CPU 资源。

清除数据库

FLUSHALL

自1.0.0可用。

时间复杂度：尚未明确。

语法：FLUSHALL [ASYNC]
说明：

清空整个 Redis 服务器的数据(删除所有数据库的所有 key )。

此命令不会失败。

Redis 4.0 版本提供了ASYNC 可选项，用于将该操作另启一个线程，可以起到异步释放的效果。

返回值：

总是返回 OK 。

示例：
coderknock> DBSIZE            # 0 号数据库的 key 数量
(integer) 9
coderknock> SELECT 1          # 切换到 1 号数据库
OK
coderknock[1]> DBSIZE         # 1 号数据库的 key 数量
(integer) 6
coderknock[1]> flushall       # 清空所有数据库的所有 key
OK
coderknock[1]> DBSIZE         # 不但 1 号数据库被清空了
(integer) 0
coderknock[1]> SELECT 0       # 0 号数据库(以及其他所有数据库)也一样
OK
coderknock> DBSIZE
(integer) 0

FLUSHDB

自1.0.0可用。

**时间复杂度：O(1)。

语法：FLUSHDB [ASYNC]
说明：

清空当前数据库中的所有 key。

此命令不会失败。

Redis 4.0 版本提供了ASYNC 可选项，用于将该操作另启一个线程，可以起到异步释放的效果。

返回值：

总是返回 OK 。

示例：
coderknock> DBSIZE    # 清空前的 key 数量
(integer) 4
coderknock> FLUSHDB
OK
coderknock> DBSIZE    # 清空后的 key 数量
(integer) 0

FLUSHDB/FLUSHALL 命令可以非常方便的清理数据，但是也带来两个问题：

  • FLUSHDB/FLUSHALL 命令会将所有数据清除，一旦误操作后果不堪设想。
  • 如果当前数据库键值数量比较多，FLUSHDB/FLUSHALL 存在阻塞 Redis 的可能性。

所以在使用FLUSHDB/FLUSHALL 一定要小心谨慎。

Redis 的配置文件位于 Redis 安装目录下，文件名为 redis.conf。

可以通过 CONFIG 命令查看或设置配置项，该命令也支持动态设置配置。

查询配置

语法：CONFIG GET CONFIG_SETTING_NAME

示例

127.0.0.1:6379> CONFIG GET loglevel
1) "loglevel"
2) "notice"

使用 * 号获取所有配置项：

示例

127.0.0.1:6379> CONFIG GET *
  1) "dbfilename"
  2) "dump.rdb"
  3) "requirepass"
  4) "admin123"
  5) "masterauth"
  6) "148a6f61787d4ac5:ZnKe123qwe"
  7) "unixsocket"
  8) ""
  9) "logfile"
 10) ""
 11) "pidfile"
 12) ""
 13) "maxmemory"
 14) "0"
 15) "maxmemory-samples"
 16) "5"
 17) "timeout"
 18) "0"
 19) "auto-aof-rewrite-percentage"
 20) "100"
 21) "auto-aof-rewrite-min-size"
 22) "67108864"
 23) "hash-max-ziplist-entries"
 24) "512"
 25) "hash-max-ziplist-value"
 26) "64"
 27) "list-max-ziplist-size"
 28) "-2"
 29) "list-compress-depth"
 30) "0"
 31) "set-max-intset-entries"
 32) "512"
 33) "zset-max-ziplist-entries"
 34) "128"
 35) "zset-max-ziplist-value"
 36) "64"
 37) "hll-sparse-max-bytes"
 38) "3000"
 39) "lua-time-limit"
 40) "5000"
 41) "slowlog-log-slower-than"
 42) "10000"
 43) "latency-monitor-threshold"
 44) "0"
 45) "slowlog-max-len"
 46) "128"
 47) "port"
 48) "6379"
 49) "tcp-backlog"
 50) "511"
 51) "databases"
 52) "16"
 53) "repl-ping-slave-period"
 54) "10"
 55) "repl-timeout"
 56) "60"
 57) "repl-backlog-size"
 58) "1048576"
 59) "repl-backlog-ttl"
 60) "3600"
 61) "maxclients"
 62) "10000"
 63) "watchdog-period"
 64) "0"
 65) "slave-priority"
 66) "100"
 67) "min-slaves-to-write"
 68) "0"
 69) "min-slaves-max-lag"
 70) "10"
 71) "hz"
 72) "10"
 73) "cluster-node-timeout"
 74) "15000"
 75) "cluster-migration-barrier"
 76) "1"
 77) "cluster-slave-validity-factor"
 78) "10"
 79) "repl-diskless-sync-delay"
 80) "5"
 81) "tcp-keepalive"
 82) "0"
 83) "cluster-require-full-coverage"
 84) "yes"
 85) "no-appendfsync-on-rewrite"
 86) "no"
 87) "slave-serve-stale-data"
 88) "yes"
 89) "slave-read-only"
 90) "yes"
 91) "stop-writes-on-bgsave-error"
 92) "yes"
 93) "daemonize"
 94) "no"
 95) "rdbcompression"
 96) "yes"
 97) "rdbchecksum"
 98) "yes"
 99) "activerehashing"
100) "yes"
101) "protected-mode"
102) "yes"
103) "repl-disable-tcp-nodelay"
104) "no"
105) "repl-diskless-sync"
106) "no"
107) "aof-rewrite-incremental-fsync"
108) "yes"
109) "aof-load-truncated"
110) "yes"
111) "maxmemory-policy"
112) "noeviction"
113) "loglevel"
114) "notice"
115) "supervised"
116) "no"
117) "appendfsync"
118) "everysec"
119) "appendonly"
120) "no"
121) "dir"
122) "D:\\redis"
123) "save"
124) "jd 900 jd 300 jd 60"
125) "client-output-buffer-limit"
126) "normal 0 0 0 slave 268435456 67108864 60 pubsub 33554432 8388608 60"
127) "unixsocketperm"
128) "0"
129) "slaveof"
130) ""
131) "notify-keyspace-events"
132) ""
133) "bind"
134) "127.0.0.1"

编辑配置

你可以通过修改 redis.conf 文件或使用 CONFIG set 命令来修改配置。

语法：CONFIG SET CONFIG_SETTING_NAME NEW_CONFIG_VALUE

示例

redis 127.0.0.1:6379> CONFIG SET loglevel "notice"OKredis 127.0.0.1:6379> CONFIG GET loglevel 1) "loglevel"2) "notice"

参数说明

redis.conf 配置项说明如下：

  1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程

​ daemonize no

  1. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定

​ pidfile /var/run/redis.pid

  1. 指定Redis监听端口，默认端口为6379，作者在自己的一篇博文中解释了为什么选用6379作为默认端口，因为6379在手机按键上MERZ对应的号码，而MERZ取自意大利歌女Alessia Merz的名字

​ port 6379

  1. 绑定的主机地址

​ bind 127.0.0.1

  1. 当 客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能

​ timeout 300

  1. 指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose

​ loglevel verbose

  1. 日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null

​ logfile stdout

  1. 设置数据库的数量，默认数据库为0，可以使用SELECT <dbid>命令在连接上指定数据库id

​ databases 16

  1. 指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合

​ save <seconds> <changes>

​ Redis默认配置文件中提供了三个条件：

​ save 900 1

​ save 300 10

​ save 60 10000

​ 分别表示900秒（15分钟）内有1个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。

  1. 指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变的巨大

​ rdbcompression yes

  1. 指定本地数据库文件名，默认值为dump.rdb

​ dbfilename dump.rdb

  1. 指定本地数据库存放目录

​ dir ./

  1. 设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步

​ slaveof <masterip> <masterport>

  1. 当master服务设置了密码保护时，slav服务连接master的密码

​ masterauth <master-password>

  1. 设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH <password>命令提供密码，默认关闭

​ requirepass foobared

  1. 设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息

​ maxclients 128

  1. 指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理 后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区

​ maxmemory <bytes>

  1. 指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no

​ appendonly no

  1. 指定更新日志文件名，默认为appendonly.aof

​ appendfilename appendonly.aof

  1. 指定更新日志条件，共有3个可选值：

    **no**：表示等操作系统进行数据缓存同步到磁盘（快）    

**always**：表示每次更新操作后手动调用fsync()将数据写到磁盘（慢，安全）   

**everysec**：表示每秒同步一次（折衷，默认值）

​ appendfsync everysec

  1. 指定是否启用虚拟内存机制，默认值为no，简单的介绍一下，VM机制将数据分页存放，由Redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中（在后面的文章我会仔细分析Redis的VM机制）

​ vm-enabled no

  1. 虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享

​ vm-swap-file /tmp/redis.swap

  1. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0

​ vm-max-memory 0

  1. Redis swap文件分成了很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的 数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或者64bytes；如果存储很大大对象，则可以使用更大的page，如果不 确定，就使用默认值

​ vm-page-size 32

  1. 设置swap文件中的page数量，由于页表（一种表示页面空闲或使用的bitmap）是在放在内存中的，，在磁盘上每8个pages将消耗1byte的内存。

​ vm-pages 134217728

  1. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的，可能会造成比较长时间的延迟。默认值为4

​ vm-max-threads 4

  1. 设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启

​ glueoutputbuf yes

  1. 指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法

​ hash-max-zipmap-entries 64

hash-max-zipmap-value 512

  1. 指定是否激活重置哈希，默认为开启（后面在介绍Redis的哈希算法时具体介绍）

​ activerehashing yes

  1. 指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的特定配置文件

​ include /path/to/local.conf

Slow log 是 Redis 用来记录查询执行时间的日志系统。

查询执行时间指的是不包括像客户端响应(talking)、发送回复等 IO 操作，而单单是执行一个查询命令所耗费的时间，所以没有慢查询并不代表客户端没有超时问题。

另外，slow log 保存在内存里面，读写速度非常快，因此你可以放心地使用它，不必担心因为开启 slow log 而损害 Redis 的速度。

设置 SLOWLOG

Slow log 的行为由两个配置参数(configuration parameter)指定，可以通过改写 redis.conf 文件或者用 CONFIG GET 和 CONFIG SET 命令对它们动态地进行修改。

第一个选项是 slowlog-log-slower-than ，它决定要对执行时间大于多少微秒(microsecond，1秒 = 1,000,000 微秒)的查询进行记录。

如果 slowlog-log-slower-than 等于 0 会记录所有的命令，slowlog-log-slowerthan 小于0 对于任何命令都不会进行记录。

比如执行以下命令将让 slow log 记录所有查询时间大于等于 100 微秒的查询：

CONFIG SET slowlog-log-slower-than 100

而以下命令记录所有查询时间大于 1000 微秒的查询：

CONFIG SET slowlog-log-slower-than 1000

另一个选项是 slowlog-max-len ，它决定 slow log 最多能保存多少条日志， slow log 本身是一个 FIFO(First Input First Output 先进先出) 队列（在 Redis 中实际是一个列表），当队列大小超过 slowlog-max-len 时，最旧的一条日志将被删除，而最新的一条日志加入到 slow log ，以此类推。

以下命令让 slow log 最多保存 1000 条日志：

CONFIG SET slowlog-max-len 1000

如果要 Redis 将配置持久化到本地配置文件，需要执行 CONFIG rewrite 命令

使用 CONFIG GET 命令可以查询两个选项的当前值：

coderknock> CONFIG GET slowlog-log-slower-than
1) "slowlog-log-slower-than"
2) "10000"
coderknock>  CONFIG GET slowlog-max-len
1) "slowlog-max-len"
2) "128"

redis.conf：

# The following time is expressed in microseconds, so 1000000 is equivalent
# to one second. Note that a negative number disables the slow log, while
# a value of zero forces the logging of every command.
slowlog-log-slower-than 10000

# There is no limit to this length. Just be aware that it will consume memory.
# You can reclaim memory used by the slow log with SLOWLOG RESET.
slowlog-max-len 128

查看 slow log

要查看 slow log ，可以使用 SLOWLOG GET 或者 SLOWLOG GET number 命令，前者打印所有 slow log ，最大长度取决于 slowlog-max-len 选项的值，而 SLOWLOG GET number 则只打印指定数量的日志。

最新的日志会最先被打印：

# 为测试需要，将 slowlog-log-slower-than 设成了 10 微秒

coderknock> SLOWLOG GET
1) 1) (integer) 12                      # 唯一性(unique)的日志标识符
   2) (integer) 1324097834              # 被记录命令的执行时间点，以 UNIX 时间戳格式表示
   3) (integer) 16                      # 查询执行时间，以微秒为单位
   4) 1) "CONFIG"                       # 执行的命令，以数组的形式排列
      2) "GET"                          # 这里完整的命令是 CONFIG GET slowlog-log-slower-than
      3) "slowlog-log-slower-than"

2) 1) (integer) 11
   2) (integer) 1324097825
   3) (integer) 42
   4) 1) "CONFIG"
      2) "GET"
      3) "*"

3) 1) (integer) 10
   2) (integer) 1324097820
   3) (integer) 11
   4) 1) "CONFIG"
      2) "GET"
      3) "slowlog-log-slower-than"

# ...

日志的唯一 id 只有在 Redis 服务器重启的时候才会重置，这样可以避免对日志的重复处理(比如你可能会想在每次发现新的慢查询时发邮件通知你)。

查看当前日志的数量

使用命令 SLOWLOG LEN 可以查看当前日志的数量。

请注意这个值和 slower-max-len 的区别，它们一个是当前日志的数量，一个是允许记录的最大日志的数量。

coderknock> SLOWLOG LEN
(integer) 14

清空日志

使用命令 SLOWLOG RESET 可以清空 slow log 。

coderknock> SLOWLOG LEN
(integer) 14

coderknock> SLOWLOG RESET
OK

coderknock> SLOWLOG LEN
(integer) 0
  • 可用版本：

= 2.2.12

  • 时间复杂度：

O(1)

  • 返回值：

取决于不同命令，返回不同的值。

取决于不同命令，返回不同的值。

最佳实践

慢查询功能可以有效地帮助我们找到Redis可能存在的瓶颈，但在实际使用过程中要注意以下几点：

  • slowlog-max-len 配置建议：线上建议调大慢查询列表，记录慢查询时 Redis 会对长命令做截断操作，并不会占用大量内存。增大慢查询列表可以减缓慢查询被剔除的可能，例如线上可设置为1000以上。
  • slowlog-log-slower-than 配置建议：默认值超过10毫秒判定为慢查询，需要根据Redis并发量调整该值。由于 Redis 采用单线程响应命令，对于高流量的场景，如果命令执行时间在1毫秒以上，那么 Redis 最多可支撑 OPS 不到1000。因此对于高 OPS 场景的 Redis 建议设置为1毫秒。
  • 慢查询只记录命令执行时间，并不包括命令排队和网络传输时间。因此客户端执行命令的时间会大于命令实际执行时间。因为命令执行排队机制，慢查询会导致其他命令级联阻塞，因此当客户端出现请求超时，需要检查该时间点是否有对应的慢查询，从而分析出是否为慢查询导致的命令级联阻塞。
  • 由于慢查询日志是一个先进先出的队列，也就是说如果慢查询比较多的情况下，可能会丢失部分慢查询命令，为了防止这种情况发生，可以定期执行 SLOW get 命令将慢查询日志持久化到其他存储中（例如MySQL），然后可以制作可视化界面进行查询。

我是广告

本人 Redis 方面的讲座已经上线快去看看有没有你感兴趣的吧（说不定会有优惠哟~~数量有限要抓紧呀）：

提升职业竞争力的必备知识 Redis 之初识

提升职业竞争力的必备知识 Redis 之高级特性

提升职业竞争力的必备知识 Redis 之缓存与Session共享

提升职业竞争力的必备知识 Redis 之排行榜与附近的人

    原文作者：拿客_三产
    原文地址: https://segmentfault.com/a/1190000009811106
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞