应用场景
我们希望能够将数据库查询结果缓存到Redis中,这样在第二次做同样的查询时便可以直接从redis取结果,从而减少数据库读写次数。
需要解决的问题
- 操作缓存的代码写在哪?必须要做到与业务逻辑代码完全分离。
- 如何避免脏读? 从缓存中读出的数据必须与数据库中的数据一致。
- 如何为一个数据库查询结果生成一个唯一的标识?即通过该标识(Redis中为
Key
),能唯一确定一个查询结果,同一个查询结果,一定能映射到同一个key
。只有这样才能保证缓存内容的正确性 - 如何序列化查询结果?查询结果可能是单个实体对象,也可能是一个
List
。
解决方案
避免脏读
我们缓存了查询结果,那么一旦数据库中的数据发生变化,缓存的结果就不可用了。为了实现这一保证,可以在执行相关表的更新查询(update
, delete
, insert
)查询前,让相关的缓存过期。这样下一次查询时程序就会重新从数据库中读取新数据缓存到redis中。那么问题来了,在执行一条insert
前我怎么知道应该让哪些缓存过期呢?对于Redis,我们可以使用Hash Set
数据结构,让一张表对应一个Hash Set
,所有在这张表上的查询都保存到该Set下。这样当表数据发生变动时,直接让Set过期即可。我们可以自定义一个注解,在数据库查询方法上通过注解的属性注明这个操作与哪些表相关,这样在执行过期操作时,就能直接从注解中得知应该让哪些Set过期了。
为查询生成唯一标识
对于MyBatis
,我们可以直接使用SQL
字符串做为key
。但是这样就必须编写基于MyBatis
的拦截器,从而使你的缓存代码与MyBatis
紧紧耦合在一起。如果哪天更换了持久层的框架,你的缓存代码就白写了,所以这个方案并不完美。
仔细想一想,其实如果两次查询调用的类名、方法名和参数值相同,我们就可以确定这两次查询结果一定是相同的(在数据没有变动的前提下)。因此,我们可以将这三个元素组合成一个字符串做为key, 就解决了标识问题。
序列化查询结果
最方便的序列化方式就是使用JDK自带的ObjectOutputStream
和ObjectInputStream
。优点是几乎任何一个对象,只要实现了Serializable
接口,都用同一套代码能被序列化和反序列化。但缺点也很致命,那就是序列化的结果容量偏大,在redis中会消耗大量内存(是对应JSON格式的3倍左右)。那么我们只剩下JSON这一个选择了。
JSON的优点是结构紧凑,可读性强,但美中不足的是,反序列化对象时必须提供具体的类型参数(Class
对象),如果是List
对象,还必须提供List
和List中的元素类型两种信息,才能被正确反序列化。这样就增加了代码的复杂度。不过这些困难都是可以克服的,所以我们还是选择JSON作为序列化存储方式。
代码写在哪
毫无疑问,该AOP
上场了。在我们的例子中,持久化框架使用的是MyBatis
,因此我们的任务就是拦截Mapper
接口方法的调用,通过Around(环绕通知)
编写以下逻辑:
- 方法被调用之前,根据类名、方法名和参数值生成
Key
- 通过
Key
向Redis
发起查询 - 如果缓存命中,则将缓存结果反序列化作为方法调用的返回值 ,并阻止被代理方法的调用。
- 如果缓存未命中,则执行代理方法,得到查询结果,序列化,用当前的
Key
将序列化结果放入redis中。
代码实现
因为我们要拦截的是Mapper
接口方法,因此必须命令spring使用JDK的动态代理而不是cglib
的代理。为此,我们需要做以下配置:
<!-- 当proxy-target-class为false时使用JDK动态代理 -->
<!-- 为true时使用cglib -->
<!-- cglib无法拦截接口方法 -->
<aop:aspectj-autoproxy proxy-target-class="false" />
然后定义两个标注在接口方法上的注解,用于传递类型参数:
@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
@Documented
public @interface RedisCache {
Class type();
}
@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
public @interface RedisEvict {
Class type();
}
注解的使用方式如下:
// 表示该方法需要执行 (缓存是否命中 ? 返回缓存并阻止方法调用 : 执行方法并缓存结果)的缓存逻辑
@RedisCache(type = JobPostModel.class)
JobPostModel selectByPrimaryKey(Integer id);
// 表示该方法需要执行清除缓存逻辑
@RedisEvict(type = JobPostModel.class)
int deleteByPrimaryKey(Integer id);
AOP的代码如下:
@Aspect
@Component
public class RedisCacheAspect {
public static final Logger infoLog = LogUtils.getInfoLogger();
@Qualifier("redisTemplateForString")
@Autowired
StringRedisTemplate rt;
/**
* 方法调用前,先查询缓存。如果存在缓存,则返回缓存数据,阻止方法调用;
* 如果没有缓存,则调用业务方法,然后将结果放到缓存中
* @param jp
* @return
* @throws Throwable
*/
@Around("execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.select*(..))" +
"|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.get*(..))" +
"|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.find*(..))" +
"|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.search*(..))")
public Object cache(ProceedingJoinPoint jp) throws Throwable {
// 得到类名、方法名和参数
String clazzName = jp.getTarget().getClass().getName();
String methodName = jp.getSignature().getName();
Object[] args = jp.getArgs();
// 根据类名,方法名和参数生成key
String key = genKey(clazzName, methodName, args);
if (infoLog.isDebugEnabled()) {
infoLog.debug("生成key:{}", key);
}
// 得到被代理的方法
Method me = ((MethodSignature) jp.getSignature()).getMethod();
// 得到被代理的方法上的注解
Class modelType = me.getAnnotation(RedisCache.class).type();
// 检查redis中是否有缓存
String value = (String)rt.opsForHash().get(modelType.getName(), key);
// result是方法的最终返回结果
Object result = null;
if (null == value) {
// 缓存未命中
if (infoLog.isDebugEnabled()) {
infoLog.debug("缓存未命中");
}
// 调用数据库查询方法
result = jp.proceed(args);
// 序列化查询结果
String json = serialize(result);
// 序列化结果放入缓存
rt.opsForHash().put(modelType.getName(), key, json);
} else {
// 缓存命中
if (infoLog.isDebugEnabled()) {
infoLog.debug("缓存命中, value = {}", value);
}
// 得到被代理方法的返回值类型
Class returnType = ((MethodSignature) jp.getSignature()).getReturnType();
// 反序列化从缓存中拿到的json
result = deserialize(value, returnType, modelType);
if (infoLog.isDebugEnabled()) {
infoLog.debug("反序列化结果 = {}", result);
}
}
return result;
}
/**
* 在方法调用前清除缓存,然后调用业务方法
* @param jp
* @return
* @throws Throwable
*/
@Around("execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.insert*(..))" +
"|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.update*(..))" +
"|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.delete*(..))" +
"|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.increase*(..))" +
"|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.decrease*(..))" +
"|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.complaint(..))" +
"|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.set*(..))")
public Object evictCache(ProceedingJoinPoint jp) throws Throwable {
// 得到被代理的方法
Method me = ((MethodSignature) jp.getSignature()).getMethod();
// 得到被代理的方法上的注解
Class modelType = me.getAnnotation(RedisEvict.class).type();
if (infoLog.isDebugEnabled()) {
infoLog.debug("清空缓存:{}", modelType.getName());
}
// 清除对应缓存
rt.delete(modelType.getName());
return jp.proceed(jp.getArgs());
}
/**
* 根据类名、方法名和参数生成key
* @param clazzName
* @param methodName
* @param args 方法参数
* @return
*/
protected String genKey(String clazzName, String methodName, Object[] args) {
StringBuilder sb = new StringBuilder(clazzName);
sb.append(Constants.DELIMITER);
sb.append(methodName);
sb.append(Constants.DELIMITER);
for (Object obj : args) {
sb.append(obj.toString());
sb.append(Constants.DELIMITER);
}
return sb.toString();
}
protected String serialize(Object target) {
return JSON.toJSONString(target);
}
protected Object deserialize(String jsonString, Class clazz, Class modelType) {
// 序列化结果应该是List对象
if (clazz.isAssignableFrom(List.class)) {
return JSON.parseArray(jsonString, modelType);
}
// 序列化结果是普通对象
return JSON.parseObject(jsonString, clazz);
}
}
这样我们就完成了数据库查询缓存的实现。
UPDATE:
最好为Hash Set设置一个过期时间,这样即使缓存策略有误(导致读出脏数据),过期时间到了以后依然可以与数据库保持同步:
// 序列化结果放入缓存
rt.execute(new RedisCallback<Object>() {
@Override
public Object doInRedis(RedisConnection redisConn) throws DataAccessException {
// 配置文件中指定了这是一个String类型的连接
// 所以这里向下强制转换一定是安全的
StringRedisConnection conn = (StringRedisConnection) redisConn;
// 判断hash名是否存在
// 如果不存在,创建该hash并设置过期时间
if (false == conn.exists(hashName) ){
conn.hSet(hashName, key, json);
conn.expire(hashName, Constants.HASH_EXPIRE_TIME);
} else {
conn.hSet(hashName, key, json);
}
return null;
}
});
相关推荐
主要介绍了Spring AOP实现Redis缓存数据库查询的相关内容,源码部分还是不错的,需要的朋友可以参考下。
系统缓存管理 将redis的操作可视化,提供对redis的基本操作 Sql监控 采用 druid 监控数据库访问性能 技术栈 基础框架:Spring Boot 2.1.0.RELEASE 持久层框架:Spring boot Jpa 安全框架:Spring Security 缓存框架...
主要给大家介绍了关于Spring AOP如何整合redis(注解方式)实现缓存统一管理的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考借鉴,下面随着小编来一起学习学习吧
通用的报表缓存设计项目背景现状态方案代码实现Redis配置注解AOP缓存(关键)业务调用(部分)测试结果:第一次第二次测试结果总结 项目背景 1:用户群体大, 2:业务计算量大,计算逻辑复杂。 现状态 1:主面页面,...
springboot-aop-annotation-redis-demo:源码主要用于学习SpringBoot + AOP + Redis控制Redis自动缓存和删除,通过AOP切面+基于自定义注释解,实现缓存查询,清除操作,缓存层使用RedisTemplate,重新自带的...
此项目是实现以aop的形式,以annotion方式在实现方法上添加redis缓存 注意: 1.如果用maven打成jar包引入,只需修改一下配置问题 2.也可将代码copy到您的项目中。但要修改一些代码和配置文件 3.对象要实现...
今天小编就为大家分享一篇关于SpringBoot AOP控制Redis自动缓存和更新的示例,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
Spring AOP的应用:日志模块的撤销,Redis查询缓存配置,声明式事务管理 春天声明式事务管理; Spring CharacterEncodingFilter过滤器; 使用Mybatis作持久层(ORM)框架:以面向对象的方式对PO类的操作映射成为...
redis客户端集成spring实现aop方式,方便在程序中使用spring的时候更加方便的使用redis内存数据库, 采用aop的方式主要是为了不去污染业务代码,达到业务逻辑更加清晰易于阅读,在使用过程中可以设置 key的有效时间,...
注解redis缓存数据,Spring-session和redis实现分布式session同步(建议按功能模块划分系统)。 6、日志 =========== logback打印日志,业务日志和调试日志分开打印。同时基于时间和文件大小分割日志文件。 9、...
主要介绍了浅谈SpringBoot集成Redis实现缓存处理(Spring AOP实现),小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
2)使用 Redis 实现购物车功能和商品信息的数据缓存功能,提高系统的响应速度并降低数据库的访问压力 3)使用 RabbitMQ 实现订单的异步化处理和系统的日志处理,提升系统对用户操作的响应速度并降低模块之间的耦合...
下载分设置的比较高,不过绝对的...为了在接下来的项目中能够方便的控制和使用 redis,所以也粗略的模仿了下membercache的aop代码,写了一份spring-redis-aop。当然方法有很多种,也许你有更好的 使用方法当然更好哈。
包含HashMap List Set SortedSet String 等多个redis命令操作
基于SSM实现的客户关系管理系统+数据库+项目说明(毕设项目).zip 【项目环境】 操作系统: Windows_7 集成开发工具: Eclipse EE_4.7 编译环境:JDK_1.8 Web服务器:Tomcat_9.0 数据库:MySQL_5.7.23 【系统框架】 ...
plus(快速操作Mybatis)、BeetlSQL(强大的ORM框架)、upload(本地文件上传和七牛云文件上传)、redis(缓存)、ehcache(缓存)、email(发送各种类型邮件)、task(基础定时任务)、quartz(动态管理定时任务)、xxl-job(分布式...
注解redis缓存数据,Spring-session和redis实现分布式session同步(建议按功能模块划分系统)。 6、日志 =========== logback打印日志,业务日志和调试日志分开打印。同时基于时间和文件大小分割日志文件。 9、...
基于SpringBoot+Layui实现电子商城系统源码+数据库+项目说明.zip 【后端技术】 技术 说明 Spring Framework IoC(控制反转)、AOP(面向切面) Spring Boot MVC框架 Spring Security 安全框架 JWT 单点登录 Druid 数据库...
Springboot整合Redis集群,零配置方式;另外用AOP实现了操作缓存的三套自定义注解,有兴趣的小伙伴可以试试看.