布隆过滤器解决缓存穿透
一：概念
缓存穿透：查询一条不存在的数据，缓存中没有，则每次请求都打到数据库中，导致数据库瞬时请求压力过大，多见于爬虫恶性攻击
布隆过滤器：布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。
原理：使用二进制数组，对要存入的key进行多次hash，分配到数组的不同位置，数组的值从0改成1，查询的时候也进行多次hash，命中到数组的位置的值都是1则key可能存在，如果有一个不是1则key一定不存在
布隆过滤器存在误判的情况，因为之前存入的key的hash值可能跟这次的一样，误判率一般设置为0.01，误判率越低，则执行的hash函数越多，执行效率越低
二：使用
1.引入redisson客户端依赖，配置文件中添加redis地址
<dependency><groupId>org.redisson</groupId><artifactId>redisson-spring-boot-starter</artifactId><version>3.17.3</version>
</dependency>redisson:address: redis://ip:portpassword: password
2.配置redisson客户端
/*** redisson客户端使用Bloom过滤器拦截无效请求，解决缓存穿透* 项目初始化的时候初始化布隆过滤器(例如把商品编号都放进去)，用户发过来的请求(带商品编号)先经过布隆过滤器过滤，过滤掉的返回null**/
@Configuration
public class RedissinConfig {@Value("${redisson.address}")private String addressUrl;@Value("${redisson.password}")private String password;@Beanpublic RedissonClient redissonClient() {Config config = new Config();config.useSingleServer().setAddress(addressUrl).setRetryInterval(5000).setTimeout(10000).setPassword(password).setConnectTimeout(10000);return Redisson.create(config);}@Beanpublic RBloomFilter<String> bloomFilter(RedissonClient redissonClient) {RBloomFilter<String> bloomFilter = redissonClient.getBloomFilter("bloom");bloomFilter.tryInit(1000000L, 0.01);return bloomFilter;}}3.项目启动后在监听器中初始化布隆过滤器
/*** @author shentong* @since 2022/3/8 9:34 PM 监听器，在项目启动的时候执行一些初始化操作*/
@Slf4j
@Component
public class StartupListener implements ApplicationListener<ContextRefreshedEvent> {@Autowiredprivate RBloomFilter bloomFilter;@Overridepublic void onApplicationEvent(ContextRefreshedEvent contextRefreshedEvent) {try {log.info("项目启动了！！！！");bloomFilter.add("9");bloomFilter.add("6");bloomFilter.add("8");}catch (UnknownHostException e) {log.error(e.toString());}}
}
bloom过滤器初始化之后redis数据库中会产生一个hash值，和一个二进制数组
hash值
二进制数组
测试
/*** 布隆过滤器在监听器中已经初始化过,所以直接查询，7在bollom中不存在则直接过滤掉*/
@Test
public void testBloom2() {if (!bloomFilter.contains("7")) {System.out.println("不存在key");return;}Object blooom = redisCache.getCacheObject("7");if (blooom != null) {System.out.println("从缓存中查到了数据");}else {System.out.println("从数据库中查到了数据");String bloom = "布隆过滤器";redisCache.setCacheObject("7", bloom);}
}
测试打印出 不存在key
如何redis中删除了key，或者添加了key，可以用定时器起一个线程查询redis中所有的key重新放到布隆过滤器中
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！