一 什么是Cache
1 Cache
Cache通常意义上是指高速缓存,它与数据库最大的区别是“更快”,可能会快上100倍,而且Cache是全部运行在内存中,而数据库中的数据一般都是存在硬盘中,而IO一直都是网站等大规模系统的瓶颈,如果不使用Cache,完全用数据库,当访问量过大时将导致数据丢失,更严重时会导致系统崩溃,特别是遇到恶意攻击的情况,所以缓存构成了网络的第一道防线。
当用户请求网络资源时,会先访问缓存中的数据,如果缓存中没有,再去访问数据库,请求返回给用户的同时,更新到缓存中。而由于网络请求的定律,80%的请求会集中在20%的数据上,所以缓存会极大的提高服务的响应能力。
2 应用场景
针对数据库的增、删、查、改,数据库缓存技术应用场景绝大部分针对的是“查”的场景。比如,一篇经常访问的帖子/文章/新闻、热门商品的描述信息、好友评论/留言等。因为在常见的应用中,数据库层次的压力有80%的是查询,20%的才是数据的变更操作。所以绝大部分的应用场景的还是“查”缓存。当然,“增、删、改”的场景也是有的。比如,一篇文章访问的次数,不可能每访问一次,我们就去数据库里面加一次吧?这种时候,我们一般“增”场景的缓存就必不可少。否则,一篇文章被访问了十万次,代码层次不会还去做十万次的数据库操作吧。
3 应用举例
读操作流程
有了数据库和缓存两个地方存放数据之后(uid->money),每当需要读取相关数据时(money),操作流程一般是这样的:
(1)读取缓存中是否有相关数据,uid->money
(2)如果缓存中有相关数据money,则返回【这就是所谓的数据命中“hit”】
(3)如果缓存中没有相关数据money,则从数据库读取相关数据money【这就是所谓的数据未命中“miss”】,放入缓存中uid->money,再返回
二 使用
spring中的annotation极大的方便了缓存操作,加上annotation就能够自动实现redis的读取、更新等策略。
比如
@Cacheable(value="users")
public User findByUsername(String username)
此时,会首先在redis中查 users:username 中构成的键值,比如username:张三,那么会到redis中查key=”users:张三”,如果redis中没有,会到数据库中去查,查好后返回前端,同时将数据更新到redis。
这是默认key的情况,当然,也可以手动加上key,比如
@Cacheable(value="users",key="#username")
public User findByUsername(String username,String gender)
此时,会按照key表达式的值,去参数里面去取,这里同样,key=”users:张三”
此外,还有
@Cacheput(value="users",key="#username")
public int insertUser(User user)
会首先查数据,然后更新数据到redis中,key=”users:user.username”
三 改进
项目中存在这样的问题,有的对象有30+字段,但需要缓存的只有3个,查如果全部都存到redis中,无疑将加大redis的负担,能否指定字段呢?其实可以专门定义一个视图对象,里面只存放需要的字段,用来返回,但一来加大了工作量,导致代码膨胀,二来put还是没法操作,所以我们写了各自定义注解,用来指定redis中的存储字段。
使用方式如下
@RedisCacheAble(value="users",names={"name","gender","age"})
public User findByUsername(String username)
如此一来就能只保存User对象中的name,gender,age属性,其它属性为null,减少了redis中对象的存储大小。
同样,还有cacheput
@RedisCachePut(value="users",key="#username",names={"name","gender","age"})
public int insertUser(User user)
四 实现原理
结合annotation以及aop实现
首先,定义annotataion
@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
@Documented
public @interface RedisCacheAble {
String value() default ""; //key名称、前缀
String[] names() default {}; //所需要包含的键值
long timeout() default 30; //过期时间
}
定义切面类,用于接受annotation的响应
@Component // 注册到Spring容器,必须加入这个注解
@Aspect // 该注解标示该类为切面类,切面是由通知和切点组成的。
public class ApiAspect {
@Pointcut("@annotation(cn.com.spdbccc.hotelbank.rediscache.RedisCacheAble)")// 定义注解类型的切点,只要方法上有该注解,都会匹配
public void annotationAble(){
}
@Around("annotationAble()&& @annotation(rd)") //定义注解的具体实现,以及能够接受注解对象,定义 @annotation(rd)就可以直接取到annotation的实例了
public Object redisCacheAble(ProceedingJoinPoint joinPoint, RedisCacheAble rd) throws Throwable {
String preKey = rd.value();
String arg0 = joinPoint.getArgs()[0].toString();
//TODO arg0判断
String key = preKey + ":" +arg0;
//如果redis中已經有值,直接返回
Object rtObject = redisTemplate.opsForValue().get(key);
if (rtObject != null) {
return rtObject;
}
// 执行函数,如果返回值為空,返回
Object sourceObject = joinPoint.proceed();
if (sourceObject == null) {
return null;
}
// 根据values获取object里的值,并生成用于redis存储的对象
Class cl = sourceObject.getClass();
// 插入数据库成功
// 如果values没有值,那么redis对应的value为输入对象;否则根据输入参数重新生成对象
if (rd.names() == null) {
// 存入目标对象
redisTemplate.opsForValue().set(key, sourceObject,rd.timeout(),TimeUnit.MINUTES);
} else {
// 将目标对象特定字段存入redis
Object targetObject = cl.newInstance();
for (String name : rd.names()) {
try {
// 生成值到新的对象中
String upChar = name.substring(0, 1).toUpperCase();
String getterStr = "get" + upChar + name.substring(1);
Method getMethod = cl.getMethod(getterStr, new Class[] {});
Object objValue = getMethod.invoke(sourceObject, new Object[] {});
String setterStr = "set" + upChar + name.substring(1);
Method setMethod = cl.getMethod(setterStr, String.class);
setMethod.invoke(targetObject, objValue);
} catch (Exception e) {
logger.error(e.getMessage(), e);
}
}
// 存入目标对象,key=类名:keyvalue
redisTemplate.opsForValue().set(key, targetObject,rd.timeout(),TimeUnit.MINUTES);
}
return sourceObject;
}
五 项目规范化
我们使用了参数:
@RedisCachePut(value="users",key="#username",names={"name","gender","age"})
但在实际的使用中要求用常量来表示key前缀,比如
public final static String PRE_USER="users"
字符串固然是没有问题,数组貌似是没有办法用常量来定义的,PRE_USERS={“user1″,”user2”},此时会报编译错误,解决方式就是直接使用String类型了,而后在具体的切面处理函数中再转成字符串。
六 分布式中使用
在分布式系统中redis中对象序列化、反序列化无法跨服务,即使对于同一个类名,在不同的服务中,是无法反序列化出来的,必须存储为纯String类型,所以新加了个转换器
public class StringJackson2JsonSerializer<T> extends Jackson2JsonRedisSerializer<T> {
private ObjectMapper objectMapper = new ObjectMapper();
public StringJackson2JsonSerializer(Class<T> type) {
super(type);
// TODO Auto-generated constructor stub
}
public byte[] serialize(Object t) throws SerializationException {
if (t == null) {
return new byte[0];
}
try {
//将对象转为Json String然后再序列化,方便跨服务
return this.objectMapper.writeValueAsBytes(JacksonUtil.objToJson(t));
} catch (Exception ex) {
throw new SerializationException("Could not write JSON: " + ex.getMessage(), ex);
}
}
这个转换器能够将所有的key-value的value存为string类型,这样就解决的跨服务对象传输的问题
七 优化
1 缩减存储字段
在redis中直接存储为String就可以了,所以只要把字段挑出来,存储为HashMap就可以了,所以将代码优化下
Map jsonMap = new HashMap<String,Object>();
......
jsonRedisTemplate.opsForValue().set(key, jsonMap);
2 重定义RedisTemplate
分布式存储需考虑存入json字符串,而原生则不能,而有些情况必须使用底层的RedisTemplate,所以必须定义一个xxTemplate来专职处理该情况,包括hash,set等。
//用来专门处理需要以json字符串存入redis中的redistemplate
@Bean
public RedisTemplate<String, Object> jsonRedisTemplate(RedisConnectionFactory redisConnectionFactory) {
RedisTemplate<String, Object> redisTemplate = new RedisTemplate<String, Object>();
redisTemplate.setConnectionFactory(redisConnectionFactory);
//序列化、反序列化,使用原始的json string存储到redis,方便跨服务
StringJackson2JsonSerializer<Object> jackson2JsonRedisSerializer = new StringJackson2JsonSerializer<Object>(Object.class);
ObjectMapper om = new ObjectMapper();
om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
jackson2JsonRedisSerializer.setObjectMapper(om);
redisTemplate.setValueSerializer(jackson2JsonRedisSerializer);
redisTemplate.setKeySerializer(new StringRedisSerializer())
redisTemplate.afterPropertiesSet();
return redisTemplate;
}
我们专门定义了一个StringJackson2JsonSerializer来处理redis的序列化,在序列化前将对象转为string
public class StringJackson2JsonSerializer<T>
extends Jackson2JsonRedisSerializer<T> {
private ObjectMapper objectMapper = new ObjectMapper();
public StringJackson2JsonSerializer(Class<T> type) {
super(type);
// TODO Auto-generated constructor stub
}
public byte[] serialize(Object t) throws SerializationException {
if (t == null) {
return new byte[0];
}
try {
//将对象转为Json String然后再序列化,方便跨服务
return this.objectMapper.writeValueAsBytes(JacksonUtil.objToJson(t));
} catch (Exception ex) {
throw new SerializationException("Could not write JSON: " + ex.getMessage(), ex);
}
}
}
3 关键操作异步入库
领导又要求将redis的关键操作,比如说存的操作存到数据库,因此要将一些操作记录到数据库,此时显然不能直接存数据库,造成额外的开销,所以需要使用消息队列
八 Git地址
欢迎使用、拍砖:https://github.com/vvsuperman…