事务介绍
事务(Transaction) ,是指作为单个逻辑工作单元执行的一系列操作。事务必须满足ACID原则(原子性、一致性、隔离性和持久性)。
简单来说,事务可能包括1~N条命令,当这些命令被作为事务处理时,将会顺序执行这些命令直到完成,并返回结果,如果中途有命令失败,则会回滚所有操作。
举个例子:
我们到银行ATM机取一笔钱,我们的操作可能是如下:
插卡(输入密码)
输入要取的金额
ATM吐钞
后台在你的户头上扣掉相应金额
整个操作是一个顺序,不可分割的整体。上一步完成后才会执行下一步,如果ATM没吐钞却扣了用户的钱,银行可是要关门了。
Redis中的事务
先来看一下事务相关的命令
命令原型 | 命令描述 |
MULTI | 用于标记事务的开始,其后执行的命令都将被存入命令队列,直到执行EXEC时,这些命令才会被原子的执行。 |
EXEC | 执行在一个事务内命令队列中的所有命令,同时将当前连接的状态恢复为正常状态,即非事务状态。如果在事务中执行了WATCH命令,那么只有当WATCH所监控的Keys没有被修改的前提下,EXEC命令才能执行事务队列中的所有命令,否则EXEC将放弃当前事务中的所有命令。 |
DISCARD | 回滚事务队列中的所有命令,同时再将当前连接的状态恢复为正常状态,即非事务状态。如果WATCH命令被使用,该命令将UNWATCH所有的Keys。 |
WATCH key [key …] | 在MULTI命令执行之前,可以指定待监控的Keys,然而在执行EXEC之前,如果被监控的Keys发生修改,EXEC将放弃执行该事务队列中的所有命令。 |
UNWATCH | 取消当前事务中指定监控的Keys,如果执行了EXEC或DISCARD命令,则无需再手工执行该命令了,因为在此之后,事务中所有被监控的Keys都将自动取消。 |
和关系型数据库中的事务相比,在Redis事务中如果有某一条命令执行失败,其后的命令仍然会被继续执行。
我们可以通过MULTI命令开启一个事务,有关系型数据库开发经验的人可以将其理解为BEGIN TRANSACTION
语句。在该语句之后执行的命令都将被视为事务之内的操作,最后我们可以通过执行EXEC/DISCARD
命令来提交/回滚该事务内的所有操作。这两个Redis命令可被视为等同于关系型数据库中的COMMIT/ROLLBACK
语句。
在事务开启之前,如果客户端与服务器之间出现通讯故障并导致网络断开,其后所有待执行的语句都将不会被服务器执行。然而如果网络中断事件是发生在客户端执行EXEC
命令之后,那么该事务中的所有命令都会被服务器执行。
当使用Append-Only模式时,Redis会通过调用系统函数write将该事务内的所有写操作在本次调用中全部写入磁盘。然而如果在写入的过程中出现系统崩溃,如电源故障导致的宕机,那么此时也许只有部分数据被写入到磁盘,而另外一部分数据却已经丢失。Redis服务器会在重新启动时执行一系列必要的一致性检测,一旦发现类似问题,就会立即退出并给出相应的错误提示。此时,我们就要充分利用Redis工具包中提供的redis-check-aof工具,该工具可以帮助我们定位到数据不一致的错误,并将已经写入的部分数据进行回滚。修复之后我们就可以再次重新启动Redis服务器了。
样例
@Test
public void test2Trans() {
Jedis jedis = new Jedis("localhost");
long start = System.currentTimeMillis();
Transaction tx = jedis.multi();
for (int i = 0; i < 100000; i++) {
tx.set("t" + i, "t" + i);
}
List<Object> results = tx.exec();
long end = System.currentTimeMillis();
System.out.println("Transaction SET: " + ((end - start)/1000.0) + " seconds");
jedis.disconnect();
}
得到事务结果result之后,可以检查当中是否有非OK的返回值,如果存在则说明中间执行错误,可以使用DISCARD
来回滚执行结果。
WATCH命令
WATCH
为MULTI
执行之前的某个Key提供监控(乐观锁)的功能,如果Key的值变化了,就会放弃事务的执行。
当事务EXEC
执行完成之后,就会自动UNWATCH
。
Session 1 | Session 2 | ||||||||
| |||||||||
| |||||||||
|
样例
<?php
header("content-type:text/html;charset=utf-8");
$redis = new redis();
$result = $redis->connect('localhost', 6379);
$mywatchkey = $redis->get("mywatchkey");
$rob_total = 100; //抢购数量
if($mywatchkey<$rob_total){
$redis->watch("mywatchkey");
$redis->multi();
//设置延迟,方便测试效果。
sleep(5);
//插入抢购数据
$redis->hSet("mywatchlist","user_id_".mt_rand(1, 9999),time());
$redis->set("mywatchkey",$mywatchkey+1);
$rob_result = $redis->exec();
if($rob_result){
$mywatchlist = $redis->hGetAll("mywatchlist");
echo "抢购成功!<br/>";
echo "剩余数量:".($rob_total-$mywatchkey-1)."<br/>";
echo "用户列表:<pre>";
var_dump($mywatchlist);
}else{
echo "手气不好,再抢购!";exit;
}
}
?>
在上例是一个秒杀的场景,该部分抢购的功能会被并行执行。
通过已销售数量(mywatchkey)的监控,达到了控制库存,避免超卖的作用。
WATCH是一个乐观锁,有利于减少并发中的冲突, 提高吞吐量。
乐观锁与悲观锁
乐观锁(Optimistic Lock)又叫共享锁(S锁),每次去拿数据的时候都认为别人不会修改,所以不会上锁,但是在更新的时候会判断一下在此期间别人有没有去更新这个数据,可以使用版本号等机制。乐观锁适用于多读的应用类型,这样可以提高吞吐量。
悲观锁(Pessimistic Lock)又叫排他锁(X锁),每次去拿数据的时候都认为别人会修改,所以每次在拿数据的时候都会上锁,这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库里边就用到了很多这种锁机制,比如行锁,表锁等,都是在做操作之前先上锁。
Lua脚本与事务
Lua 以可嵌入,轻量,高效著称,Redis于2.6版本之后,增加了Lua语言解析模块,可以用于一些简单的事务与逻辑运算。
命令原型 | 命令描述 |
EVAL script numkeys key[key …] arg [arg…] | 传入并执行一段Lua脚本,script为脚本内容,numkeys表示传入参数数量,key表示脚本要访问的key,arg为传入参数 |
EVALSHA sha1 | 通过SHA1序列调用lua_scripts字典预存的脚本 |
SCRIPT FLUSH | 用于清除服务器中lua有关的脚本,释放lua_scripts字典,关闭现有的lua环境,并重新创建 |
SCRIPT EXISTS sha1 | 输入SHA1校验和,判断是否存在 |
SCRIPT LOAD script | 与EVAL相同,创建对应的lua函数,存放到字典中 |
SCRIPT KILL | 杀掉正在执行的脚本。正在执行的脚本会中断并返回错误,脚本中的写操作已被执行则不能杀死,因为违反原子性原则。此时只有手动回滚或shutdown nosave来还原数据 |
应用原理
客户端将Lua脚本作为命令传给服务端,服务端读取并解析后,执行并返回结果
127.0.0.1:6379> eval 'return redis.call("zrange", "name2", 0 , -1);' 0
1) "1"
Redis启动时会创建一个内建的lua_script哈希表,客户端可以将脚本上传到该表,并得到一个SHA1序列。之后可以通过该序列来调用脚本。(类似存储过程)
redis> SCRIPT LOAD "return 'dlrow olleh'"
"d569c48906b1f4fca0469ba4eee89149b5148092"
redis> EVALSHA d569c48906b1f4fca0469ba4eee89149b5148092 0
"dlrow olleh"
约束
Redis会把Lua脚本作为一个整体执行,由于Redis是单线程,因此在脚本执行期间,其他脚本或命令是无法插入执行,这个特性符合事务的原子性。
TIP
表是Lua中的表达式,与很多流行语言不同。KEYS中的第一个元素是KEYS[1],第二个是KEYS[2](译注:不是0开始)
nil是表的结束符,[1,2,nil,3]将自动变为[1,2],因此在表中不要使用nil。
redis.call会触发Lua中的异常,redis.pcall将自动捕获所有能检测到的错误并以表的形式返回错误内容。
Lua数字都将被转换为整数,发给Redis的小数点会丢失,返回前把它们转换成字符串类型。
确保在Lua中使用的所有KEY都在KEY表中,否则在将来的Redis版中你的脚本都有不能被很好支持的危险。
脚本要保持精简,以免阻塞其他客户端操作
一致性
为了保证脚本执行结果的一致性,重复执行同一段脚本,应该得到相同的结果。Redis做了如下约束:
Lua没有访问系统时间或者其他内部状态的命令。
Lua脚本在解析阶段,如果发现
RANDOMKEY
、SRANDMEMBER
、TIME
这类返回随机性结果的命令,且脚本中有写指令(SET)类,则会返回错误,不允许执行。Lua脚本中调用返回无序元素的命令时,如
SMEMBERS
,Redis会在后台将命令的结果排序后传回脚本Lua中的伪随机数生成函数
math.random
和math.randomseed
会被替换为Redis内置的函数来执行,以保证脚本执行时的seed值不变。
样例
private static String getSCRIPT() {
return "local key = KEYS[1]\n" +
"local localIp = ARGV[1]\n" +
"\n" +
"local gateIp = redis.call(\"HGET\", key, \"gateIp\")\n" +
"if gateIp == localIp then\n" +
" redis.call(\"HSET\", key, \"userStatus\", \"false\")\n" +
" return 1\n" +
"else\n" +
" return 0\n" +
"end";
}
@Test
public void testTrans() {
......
Jedis jedis = new Jedis("localhost");
result = jedis.evalsha(getSCRIPT, keys, args);
......
}