Redis高级数据类型Hyperloglog、Bitmap的使用


Posted in Redis onMay 24, 2021

前言

很多小伙伴在面试中都会被问道 Redis的常用数据结构有哪些?

可能很大一部分回答都是 string、hash、list、set、zset。当然啦,这个答案肯定是没有错的,但是相信这个答案,面试官已经听的耳朵都起茧了。

本身我们选择的这个行业竞争就极强,学历拼不过难道还要知识都拼不过吗???

希望进来的小伙伴能好好看完这篇文章,也希望你以后的回答能是 常用的数据结构有string、hash、list、set、zset,但我平时可能还会用到 Hyperloglog和Bitmap。相信面试官听到你的回答,会有眼前一亮的感觉!

话不多说,开始吧,⬇

Hyperloglog

Hyperloglog简介

HyperLogLog是一种概率数据结构,用来估算数据的基数。

基数:可简单理解为集合中不同元素的个数,也可以理解为Set
对于一个集合 1、2、3、4,那么它的基数为 4
对于一个集合 1、2、3、4、1,那么它的基数也是 4

Hyperloglog作用

我们可以使用它来统计 UV。

UV即:UniqueVisitor,UV指的是独立访客的数量,一台电脑被视为一个独立访客。一台电脑早上访问了一次,下午又访问了一次,两次访问的都是同一个网站,只能被计算一次。

那可能有小伙伴问了,及刚才都说了可以理解为一个Set,那我为什么要用它来统计UV?

Redis 的 HyperLogLog 通过牺牲准确率来减少内存空间的消耗,只需要12K内存,在标准误差0.81%的前提下,能够统计2^64个数据。而Set就需要消耗大量空间
所以 HyperLogLog 是否适合在比如统计区间活跃度这样对精度要求不高的场景。

为什么能这么存储,主要依赖于伯努利试验,各位小伙伴可以去百度了解了解。

命令行中的使用

  • pfadd <key> [element]:添加数据
  • pfcount <key>:统计数量

Redis高级数据类型Hyperloglog、Bitmap的使用

Redis高级数据类型Hyperloglog、Bitmap的使用

SpringBoot中的使用

@Test
public void testHyperloglog() {

    String key = "language";

    for (int i = 1; i <= 10000; i++) {
        redisTemplate.opsForHyperLogLog().add(key,i);
    }

    for (int i = 5000; i <= 15000; i++) {
        redisTemplate.opsForHyperLogLog().add(key,i);
    }

    for (int i = 10000; i <= 20000; i++) {
        redisTemplate.opsForHyperLogLog().add(key,i);
    }

    long size = redisTemplate.opsForHyperLogLog().size(key);
    System.out.println(size);
}

Redis高级数据类型Hyperloglog、Bitmap的使用

可以看到结果值为:19891与真实值:20000相差不了多少,虽说有误差,但相比于set已经是很好了!

除此之外,在SpringBoot中还可以对多个key进行合并,统计合并之后的数据量

@Test
public void testHyperloglog() {

    String key1 = "language1";
    String key2 = "language2";
    String key3 = "language3";
    String unionKey = "language";


    for (int i = 1; i <= 10000; i++) {
        redisTemplate.opsForHyperLogLog().add(key1,i);
    }

    for (int i = 5000; i <= 15000; i++) {
        redisTemplate.opsForHyperLogLog().add(key2,i);
    }

    for (int i = 10000; i <= 20000; i++) {
        redisTemplate.opsForHyperLogLog().add(key3,i);
    }

    redisTemplate.opsForHyperLogLog().union(unionKey,key1,key2,key3);

    long size = redisTemplate.opsForHyperLogLog().size(unionKey);
    System.out.println(size);
}

Redis高级数据类型Hyperloglog、Bitmap的使用

可见,数据还是19891

Bitmap

Bitmap简介

位图不是特殊的数据结构,它其实就是普通的字符串,也就是 byte 数组(有了解布隆过滤器的小伙伴可展开联想一下)

通过一个bit位来表示某个元素对应的值或者状态,其中的key就是对应元素本身。

位操作分为两组:

  • 固定时间的单个位操作(如将一个位设置为1或0或获取其值)
  • 对位组的操作,例如计算给定位范围内设置的位的数量(例如,人口计数)。

位图的最大优点之一是,在存储信息时,它们通常可以节省大量空间。例如,在以增量用户ID表示不同用户的系统中,仅使用512 MB内存就可以记住40亿用户的一位信息

Bitmap作用

使用场景

  • 各种实时分析。
  • 存储与对象ID相关联的空间高效但高性能的布尔信息。

我们可以使用它来统计 DAU。

日均活跃用户数量(Daily Active User,DAU)是用于反映网站、互联网应用或网络游戏的运营情况的统计指标。日活跃用户数量通常统计一日(统计日)之内,登录或使用了某个产品的用户数(去除重复登录的用户)。

命令行使用Bitmap

使用 setbit 和 getbit 命令设置和检索位:

  • setbit命令将位号作为其第一个参数,将其设置为1或0的值作为其第二个参数。如果所寻址的位超出当前字符串长度,则该命令将自动放大字符串。
  • getbit 只是返回指定索引处的位的值。超出范围的位(寻址超出存储在目标键中的字符串长度的位)始终被视为零。

Redis高级数据类型Hyperloglog、Bitmap的使用

在位组上还有以下三个命令:

  • bitop 在不同的字符串之间执行按位运算。提供的运算为AND,OR,XOR和NOT。
  • bitcount 执行填充计数,报告设置为1的位数。
  • bitpos 查找具有指定值0或1的第一位。

Redis高级数据类型Hyperloglog、Bitmap的使用

SpringBoot使用Bitmap

@Test
public void testBitmap() {

    String key = "bitmap";

    redisTemplate.opsForValue().setBit(key,1,true);
    redisTemplate.opsForValue().setBit(key,4,true);
    redisTemplate.opsForValue().setBit(key,2,true);
    redisTemplate.opsForValue().setBit(key,5,true);

    System.out.println(redisTemplate.opsForValue().getBit(key,2));
    System.out.println(redisTemplate.opsForValue().getBit(key,3));
    System.out.println(redisTemplate.opsForValue().getBit(key,5));

}

Redis高级数据类型Hyperloglog、Bitmap的使用

尾言

到此这篇关于Redis高级数据类型Hyperloglog、Bitmap的使用的文章就介绍到这了,更多相关Redis Hyperloglog、Bitmap内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Redis 相关文章推荐
redis连接被拒绝的解决方案
Apr 12 Redis
基于Redis实现分布式锁的方法(lua脚本版)
May 12 Redis
redis使用不当导致应用卡死bug的过程解析
Jul 01 Redis
Redis集群的关闭与重启操作
Jul 07 Redis
使用redis生成唯一编号及原理示例详解
Sep 15 Redis
SpringBoot集成Redis的思路详解
Oct 16 Redis
解决redis批量删除key值的问题
Mar 23 Redis
Redis安装使用RedisJSON模块的方法
Mar 23 Redis
Redis官方可视化工具RedisInsight安装使用教程
Apr 19 Redis
Redis 限流器
May 15 Redis
一文教你快速生成MySQL数据库关系图
Jun 28 Redis
Redis主从复制操作和配置详情
Sep 23 Redis
redis实现排行榜功能
May 24 #Redis
分布式锁为什么要选择Zookeeper而不是Redis?看完这篇你就明白了
May 21 #Redis
Redis 配置文件重要属性的具体使用
May 20 #Redis
浅谈redis缓存在项目中的使用
May 20 #Redis
详解Redis主从复制实践
详解redis分布式锁的这些坑
为Java项目添加Redis缓存的方法
You might like
『PHP』PHP截断函数mb_substr()使用介绍
2013/04/22 PHP
深入理解require与require_once与include以及include_once的区别
2013/06/05 PHP
分享下页面关键字抓取www.icbase.com站点代码(带asp.net参数的)
2014/01/30 PHP
PHP中如何使用session实现保存用户登录信息
2015/10/20 PHP
php生成带logo二维码方法小结
2016/04/08 PHP
PHP简单创建压缩图的方法
2016/08/24 PHP
jquery 锁定弹出层实现代码
2010/02/23 Javascript
jQuery取id有.的值的方法
2014/05/21 Javascript
jQuery检测滚动条是否到达底部
2015/12/15 Javascript
使用jQuery或者原生js实现鼠标滚动加载页面新数据
2016/03/06 Javascript
JavaScript仿网易选项卡制作代码
2016/10/06 Javascript
JS+CSS3制作炫酷的弹窗效果
2016/11/08 Javascript
AngularJS过滤器filter用法总结
2016/12/13 Javascript
Node.js常用工具之util模块
2017/03/09 Javascript
jstree单选功能的实现方法
2017/06/07 Javascript
vue实现微信分享朋友圈,发送朋友的示例讲解
2018/02/10 Javascript
微信小程序实现组件顶端固定或底端固定效果(不随滚动而滚动)
2020/04/09 Javascript
vue实现下拉菜单树
2020/10/22 Javascript
[01:01:24]DOTA2上海特级锦标赛A组败者赛 EHOME VS CDEC第三局
2016/02/25 DOTA
[01:05:32]DOTA2上海特级锦标赛主赛事日 - 3 败者组第三轮#1COL VS Alliance第一局
2016/03/04 DOTA
Python设计足球联赛赛程表程序的思路与简单实现示例
2016/06/28 Python
Python遍历文件夹和读写文件的实现代码
2016/08/28 Python
windows下安装python的C扩展编译环境(解决Unable to find vcvarsall.bat)
2018/02/21 Python
遗传算法python版
2018/03/19 Python
pandas表连接 索引上的合并方法
2018/06/08 Python
TensorBoard 计算图的可视化实现
2020/02/15 Python
基于Python绘制美观动态圆环图、饼图
2020/06/03 Python
深入浅析python 中的self和cls的区别
2020/06/20 Python
菲律宾旅游网站:Expedia菲律宾
2017/10/11 全球购物
函授毕业生自我鉴定
2013/11/06 职场文书
刑事辩护词范文
2015/05/21 职场文书
小学学习委员竞选稿
2015/11/20 职场文书
vue3如何优雅的实现移动端登录注册模块
2021/03/29 Vue.js
基于python的matplotlib制作双Y轴图
2021/04/20 Python
解决Mysql的left join无效及使用的注意事项说明
2021/07/01 MySQL
java开发双人五子棋游戏
2022/05/06 Java/Android