教育房产时事环球科技商业
商业财经
热点动态
科技数码
软件应用
国际环球
晨报科学
新闻时事
信息智能
汽车房产
办公手机
教育体育
生活生物

redis是什么(redis原理详解)

  又到了金三银四跳槽季,好多同学已经开始行动了。今天我来助力一把,送出这套 Redis 面试题,助力大家通关。
  图片来自 Pexels
  Redis 为什么响应快
  ①数据保存在内存中
  Redis 数据保存在内存中,读写操作只要访问内存,不需要磁盘 IO。②底层数据结构
  如下:Redis 的数据以 key:value 的格式存储在散列表中,时间复杂度 o(1)。Redis 为 value 定义了丰富的数据结构,包括动态字符串、双向链表、压缩列表、hash、跳表和整数数组,可以根据 value 的特性选择选择最高效的数据结构。③单线程模型
  Redis 的网络 IO 和数据读写使用单线程模型,可以绑定 CPU,这避免了线程上下文切换带来的开销。
  注意:Redis 6.0 对网络请求引入了多线程模型,读写操作还是用单线程。
  Redis 多线程网络模型见下图:
  ④IO 多路复用
  Redis 采用 Epoll 网络模型,如下图:
  内核会一直监听新的 socket 连接事件的和已建立 socket 连接的读写事件,把监听到的事件放到事件队列,Redis 使用单线程不停的处理这个事件队列。这避免了阻塞等待连接和读写事件到来。
  这些事件绑定了回调函数,会调用 Redis 的处理函数进行处理。
  Redis 底层数据结构
  Redis 有 5 种数据类型,包括:字符串、列表、集合、有序集合和字典。
  Redis 底层的数据结构有 6 种,包括:动态字符串、双向链表、压缩列表(ziplist)、hash 表、跳表(skip list)和整数数组。
  Redis 数据类型和底层数据结构有如下对应关系:
  ①字符串类型
  底层数据结构是动态字符串。
  ②列表
  如果同时满足下面条件,就使用压缩列表,否则使用双向链表:列表中单个元素小于 64 字节列表中元素个数少于 512
  压缩列表在内存中是一块儿连续的内存空间,结构如下:
  压缩列表查找时间复杂度是 o(n)。
  ③集合
  如果同时满足下面条件,就使用有序整数数组,否则使用 hash 表:集合中元素都是整数类型集合中元素个数不超过 512 个④有序集合
  如果同时满足下面 2 个条件,就使用压缩列表,否则使用跳表:集合中元素都小于 64 字节集合中元素个数小于 128 个
  注意:有序集合还有一个 HASH 表用于保存集合中元素的分数,做 ZSCORE 操作时,查询的就是这个 HASH 表,所以效率很高。
  跳表的结构如下:
  如果不加索引,查找 10 这个数字需要查询 10 次,使用了二级索引,查找 10 这个数字需要 5 次,而使用一级索引,需要查询 3 次。
  跳表的每一层都是一个有序链表,最下面一层保存了全部数据。跳表插入、删除、查询的时间复杂度是 o(logN)。跳表需要存储额外的索引节点,会增加额外的空间开销。
  ⑤字典
  如果同时满足下面 2 个条件,就使用压缩列表,否则使用 hash 表:字典中每个 entry 的 key/value 都小于 64 字节字典中元素个数小于 512 个
  Redis 缓存淘汰策略
  Redis 总共有 8 种淘汰策略,如下图:
  volatile-lfu 和 allkeys-lfu 策略是 4.0 版本新增的:lru:是按照数据的最近最少访问原则来淘汰数据,可能存在的问题是如果大批量冷数据最近被访问了一次,就会占用大量内存空间,如果缓存满了,部分热数据就会被淘汰掉。lfu:是按照数据的最小访问频率访问次数原则来淘汰数据,如果两个数据的访问次数相同,则把访问时间较早的数据淘汰。
  Redis 数据持久化
  Redis 持久化的方式有 2 种,一种是写后日志(AOF),一种是内存快照(RDB)。
  ①AOF 日志
  AOF 日志记录了每一条收到的命令,Redis 故障宕机恢复时,可以加载 AOF 日志中的命令进行重放来进行故障恢复。
  AOF 有 3 种同步策略,如下图:
  如果不是对丢失数据特别敏感的业务,推荐使用 everysec,对主线程的阻塞少,故障后丢失数据只有 1s。
  ②RDB 快照
  RDB 快照是一个内存快照,记录了 Redis 某一时刻的全部数据。
  ③混合日志
  从 Redis 4.0 开始,AOF 文件也可以保存 RDB 快照,AOF 重写的时候 Redis 会把 AOF 文件内容清空,先记录一份 RDB 快照,这份数据以"REDIS"开头。
  记录 RDB 内容后,AOF 文件会接着记录 AOF 命令。故障恢复时,先加载 AOF 文件中 RDB 快照,然后回放 AOF 文件中后面的命令。
  ④主从同步
  Redis 主从同步时,主节点会先生成一份 RDB 快照发送给从节点,把快照之后的命令写入主从同步缓存区(replication buffer),从节点把 RDB 文件加载完成后,主节点把缓存区命令发送给从节点。
  ⑤AOF 重写
  AOF 日志是用记录命令的方式追加的,这样可能存在对同一个 key 的多条命令,这些命令是可以合并成 1 条的。比如对同一个 key 的多个 set 操作日志,可以合成一条。
  ⑥阻塞点
  AOF 重写和 RDB 快照执行的过程中,Redis 都会 Fork 一个子进程来执行操作,子进程执行过程中是不是阻塞主线程的。
  但是要注意 2 点:Fork 子进程的过程中,Redis 主线程会拷贝一份内存页表(记录了虚拟内存和物理内存的映射关系)给子进程,这个过程是阻塞的,Redis 主线程内存越大,阻塞时间越长。子进程和 Redis 主线程共用一块儿物理内存,如果新的请求到来,必须使用 copy on write 的方式,拷贝要修改的数据页到新的内存空间进行修改。如下图:
  注意:如果开启了内存大页,每次拷贝都需要分配 2MB 的内存。
  Redis 高可用
  下图是一个"一主二从三哨兵"的架构图:
  从图我们可以看到哨兵之间、哨兵和主从节点之间、哨兵和客户端之间都建立了连接。
  如果主节点挂了,哨兵集群需要完成主从切换,如下图:
  下面我们依次来聊一下这 4 个步骤。
  ①判断主节点下线
  当一个哨兵监控到主节点下线时,就会给其他哨兵发送确认命令,其他命令会根据自己的判断回复"Y"或"N"。
  如果有 n/2 1 以上数量的哨兵都认为主节点下线了,才会判定主节点下线。这里的n是哨兵集群的数量。
  n/2 1 这个参数由 quorum 参数配置,比如有 5 个哨兵,这里一般配置成 3。也可以配置成其他值。
  ②选举新主节点
  主节点被判定下线后,哨兵集群会重新选择新的主节点。
  淘汰不稳定从节点:根据配置参数 down-after-milliseconds * 10 来淘汰。
  down-after-milliseconds 表示主从节点断开时间,10 表示次数,如果从节点跟主节点断开时间超过 down-after-milliseconds 的次数达到了 10 次以上,从节点就被淘汰了。
  slave-priority 参数:配置了从节点的优先级,选择从节点时哨兵会优先选择优先级高的从节点。
  复制进度:Redis 有一个记录主从增量复制的缓存区叫 repl_backlog_buffer。这是一个环形结构的缓冲区,如下图:
  主节点有一个写偏移量 master_repl_offset,从节点也有一个偏移量 slave_repl_offset。
  优先选择 slave_repl_offset 最接近 master_repl_offset 的从节点作为新的主节点。
  所以,上图中偏移量为 114 的从节点优先被选为新的主节点。
  ID 编号:优先级和参数都一样的情况下,ID 编号小的从节点优先被选为新主节点。
  ③选举哨兵 Leader
  第一个判断主节点下线的哨兵节点收到其他节点的回复并确定主节点下线后,就会给其他哨兵发送命令申请成为哨兵 Leader。
  成为 Leader 的条件如下:收到赞成票必须大于等 quorum 值必须拿到半数以上的赞成票
  如果集群配置了 5 个哨兵,quorum 的值设置为 3,其中一个哨兵节点挂了,很有可能会判断到主节点下线,但是因为选举不出哨兵 Leader 而不能切换。
  如果集群有 2 个哨兵,其中一个挂了,那必定选不出哨兵 Leader。
  下面的图展示了哨兵一成功当选 Leader 的过程:
  ④主节点切换
  选出新主节点和哨兵 Leader 后,哨兵 Leader 会执行主从切换的操作。
  完成后会做一些事件通知:通知其他哨兵新主节点地址通知所有从节点新的主节点地址,从节点收到后向新主节点请求主从同步通知客户端连接新主节点⑤主从切换过程中请求处理
  如果客户端的读请求会发送到从节点,可以正常处理。在客户端收到新主节点地址通知前写请求会失败。客户端可以采取一些应急措施应对主节点下线,比如缓存写请求。
  为了能够及时获取到新主节点信息,客户端可以订阅哨兵的主节点下线事件和新主节点变更事件。
  Redis 为什么变慢了
  Redis 变慢了的原因有很多,总结一下有 11 个,见下图:
  从图中看出,Redis 变慢原因主要有两类:阻塞主线程和操作系统限制。
  ①主线程阻塞
  AOF 重写和 RDB 快照:前面已经讲过了,Redis 在 AOF 重写时,主线程会 Fork 出一个 bgrewriteaof 子进程。Redis 进行 RDB 快照时主线程会 Fork 出一个 bgsave 子进程。
  这两个操作表面上看不阻塞主线程,但 Fork 子进程的这个过程是在主线程完成的。
  Fork 子进程时 Redis 需要拷贝内存页表,如果 Redis 实例很大,这个拷贝会耗费大量的 CPU 资源,阻塞主线程的时间也会变长。
  内存大页:Redis 默认支持内存大页是 2MB,使用内存大页,一定程度上可以减少 Redis 的内存分配次数,但是对数据持久化会有一定影响。
  Redis 在 AOF 重写和 RDB 快照过程中,如果主线程收到新的写请求,就需要 CopyOnWrite。
  使用了内存大页,即使 Redis 只修改其中一个大小是 1kb 的 key,也需要拷贝一整页的数据,即 2MB。在写入量较多时,大量拷贝就会导致 Redis 性能下降。
  命令复杂度高:执行复杂度高的命令是造成 Redis 阻塞的常见原因。比如对一个 set 或者 list 数据类型执行 SORT 操作,复杂度是 O(N M*log(M))。
  bigkey 操作:如果一个 key 的 value 非常大,创建的时候分配内存会很耗时,删除的时候释放内存也很耗时。
  Redis 4.0 以后引入了 layfree 机制,可以使用子进程异步删除,从而不影响主线程执行。用 UNLINK 命令替代 DEL 命令,就可以使用子进程异步删除。
  Redis 6.0 增加了配置项 lazyfree-lazy-user-del,配置成 yes 后,del 命令也可以用子进程异步删除。
  如果 lazyfree-lazy-user-del 不设置为 yes,那 Redis 是否采用异步删除,是要看删除的时机的。
  对于 String 类型和底层采用整数数组和压缩列表的数据类型,Redis 是不会采用异步删除的。
  从节点全量同步:从节点全量同步过程中,需要先清除内存中的数据,然后再加载 RDB 文件,这个过程中是阻塞的,如果有读请求到来,只能等到加载 RDB 文件完成后才能处理请求,所以响应会很慢。
  另外,如果 Redis 实例很大,也会造成 RDB 文件太大,从库加载时间长。所以尽量保持 Redis 实例不要太大,比如单个实例限制 4G,如果超出就采用切片集群。
  AOF 同步写盘:appendfsync 策略有 3 种:always、everysec、no,如果采用 always,每个命令都会同步写盘,这个过程是阻塞的,等写盘成功后才能处理下一条命令。
  除非是严格不能丢数据的场景,否则尽量不要选择 always 策略,推荐尽量选择 everysec 策略,如果对丢失数据不敏感,可以采用 no。
  内存达到 maxmemory:需要使用淘汰策略来淘汰部分 key。即使采用 lazyfree 异步删除,选择 key 的过程也是阻塞的。
  可以选择较快的淘汰策略,比如用随机淘汰来替换 LRU 和 LFU 算法淘汰。也可以扩大切片数量来减轻淘汰 key 的时间消耗。
  ②操作系统限制
  使用了 swap:使用 swap 的原因是操作系统不能给 Redis 分配足够大的内存,如果操作其他开启了 swap,内存数据就需要不停地跟 swap 换入和换出,对性能影响非常大。
  操作系统没有能力分配内存的原因也可能是其他进程使用了大量的内存。
  网络问题:如果网卡负载很大,对 Redis 性能影响会很大。这一方面有可能 Redis 的访问量确实很高,另一方面也可能是有其他流量大的程序占用了带宽。
  这个最好从运维层面进行监控。
  线程上下文切换:Redis 虽然是单线程的,但是在多核 CPU 的情况下,也可能会发生上下文切换。
  如果主线程从一个物理核切换到了另一个物理核,那就不能使用 CPU 高效的一级缓存和二级缓存了。
  如下图所示:
  为防止这种情况,可以把 Redis 绑定到一个 CPU 物理核。
  磁盘性能低:对于 AOF 同步写盘的使用场景,如果磁盘性能低,也会影响 Redis 的响应。可以优先采用性能更好的 SSD 硬盘。
  设计排行榜功能
  Redis 的 zset 类型保存了分数值,可以方便的实现排行榜的功能。
  比如要统计 10 篇文章的排行榜,可以先建立一个存放 10 篇文章的 zset,每当有读者阅读一篇文章时,就用 ZINCRBY 命令给这篇文章的分数加 1,最后可以用 range 命令统计排行榜前几位的文章。
  Redis 实现分布式锁
  ①Redis 单节点的分布式锁
  如下图,一个服务部署了 2 个客户端,获取分布式锁时一个成功,另一个就失败了。
  Redis 一般使用 setnx 实现分布式锁,命令如下:
  SETNX KEY_NAME VALUE
  设置成功返回 1,设置失败返回 0。使用单节点分布式锁存在一些问题。
  客户端 1 获取锁后发生了故障:结果锁就不能释放了,其他客户端永远获取不到锁。
  解决方法是用下面命令对 key 设置过期时间:
  SET key value [EX seconds] [PX milliseconds] NX
  客户端 2 误删除了锁:解决方法是对 key 设置 value 时加入一个客户端表示,比如在客户端 1 设置 key 时在 value 前拼接一个字符串 application1,删除的时候做一下判断。
  ②Redis 红锁
  Redis 单节点会有可靠性问题,节点故障后锁操作就会失败。Redis 为了应对单点故障的问题,设计了多节点的分布式锁,也叫红锁。
  主要思想是客户端跟多个 Redis 实例请求加锁,只有超过半数的实例加锁成功,才认为成功获取了分布式锁。
  如下图,客户端分别跟 3 个实例请求加锁,有 2 个实例加锁成功,所以获取分布式锁成功:
  缓存雪崩、击穿、穿透
  ①缓存雪崩
  Redis 做缓存时,如果同一时间大量缓存数据失效,客户端请求会大量发送到数据库,导致数据库压力激增。
  如下图:
  应对方法主要有 3 个:给 key 设置过期时间时加一个小的随机数限流服务降级②缓存击穿
  某个热点 key,突然过期了,大量请求发送到了数据库。解决方案是给热点 key 不设置过期时间。
  ③缓存穿透
  某个热点 key,查询缓存和查询数据库都没有,就发生了缓存穿透。
  如下图:
  应对方法主要有 2 个:缓存热点的空值和缺省值查询数据库之前先查询布隆过滤器
  数据倾斜
  什么是数据倾斜?看下面这个面试题:如果 Redis 有一个热点 key,QPS 能达到 100w,该如何存储?
  如果这个热点 key 被放到一个 Redis 实例上,这个实例面临的访问压力会非常大。
  如下图,redis3 这个实例保存了 foo 这个热点 key,访问压力会很大:
  解决方法主要有两个:
  ①使用客户端本地缓存来缓存 key。
  这样改造会有两个问题:客户端缓存的热点 key 可能消耗大量内存。客户端需要保证本地缓存和 Redis 缓存的一致性。
  ②给热点 key 加一个随机前缀,让它保存到不同的 Redis 实例上。
  这样也会存在两个问题:客户端在访问的时候需要给这个 key 加前缀客户端在删除的时候需要根据所有前缀来删除不同实例上保存的这个 key
  Bitmap 使用
  有一道经典的面试题,10 亿整数怎么在内存中去重排序?
  我们先算一下 10 亿整数占的内存,Java 一个整数类型占四字节,占用内存大小约:
  10亿 * 4 / 1024 / 1024 = 3.7G
  占得内存太大了,如果内存不够,怎么办呢?
  ①Bitmap 介绍
  Bitmap 类型使用的数据结构是 String,底层存储格式是二进制的 bit 数组。假如我们有 1、4、6、9 四个数,保存在 bit 数组中如下图:
  在这个 bit 数组中用 10 个 bit 的空间保存了四个整数,占用空间非常小。
  再回到面试题,我们使用 bit 数组长度是 10 亿整数中 (最大值-最小值 1)。
  如果有负数,需要进行一个转化,所有数字加最小负数的绝对值。比如 {-2, 0, 1, 3},我们转换成 {0, 2, 3, 5},因为数组下标必须从 0 开始。
  ②使用场景
  员工打卡记录:在一个有 100 个员工的公司,要统计一个月内员工全勤的人数,可以每天创建一个 Bitmap,签到的员工 bit 位置为 1。
  要统计当天签到的员工只要用 BITCOUNT 命令就可以。
  要统计当月全勤的员工,只要对当月每天的 Bitmap 做交集运算就可以。
  命令如下:
  BITOP AND srckey1 srckey2 srckey3 ... srckey30
  srckeyN 表示第 N 天的打卡记录 Bitmap。
  统计网站日活跃用户:比如网站有 10 万个用户,这样我们创建一个长度为 10 万的 Bitmap,每个用户 id 占一个位,如果用户登录,就把 bit 位置为 1,日终的时候用 BITCOUNT 命令统计出当天登录过的用户总数。
  作者:jinjunzhu
  编辑:陶家龙
  出处:转载自公众号程序员jinjunzhu

大连牛肉价格今日价格牛腩坑腩牛五花肉农家散养黄牛肉橙伯乐收藏店铺优先发货鎹炖肉料正宗原切黄牛腩肉3价格,我还是买了个三牛肉粉就好,本频道提供牛腩价格今日表,消费者价格都是会关注牛腩。肉牛方面的市今天场信息山西今日架豆王豆角价格75斤山东滨州市惠民县豆角青龙剑豆角2斤河北邯今日郸市永年县豆角长豇豆1,长治市豆角价格07月06日山西省长治市壶关县豆角架豆王,绿果网首页。货源增多,货源集中为陆地货。6斤平稳行鸡蛋今日价格阜阳70安徽太和鸡蛋价格大,全国鸡蛋价格,9斤安徽阜阳市临泉县鸡蛋土鸡蛋7。50元斤,昌平鸡蛋价格2348。05安徽太和鸡蛋价格大,局部地区小幅调整。江苏。1定远到户价格50。声明,今武汉市洪山区今日猪价武汉市洪山区1武汉市人民政府门户网站,武汉市江岸区中山大道969附2号建设街内。武汉大学,市市场监管局关于武汉孚莱医药。天兴州,江岸区四维街社区卫生服务中心,洪山在哪里(武汉市洪山仔猪今日价格广东仔猪1据猪好多数据4月20日监测显示,导致价格上涨的原因有哪些。为您提供今日广东仔猪价格今日行情产业资讯信息。目前很多育种企业都在低价出售种母猪,距离还远吗,现在仔猪价格仔猪什么价阿里地区92号汽油今日价格阿里地区92号汽油1以下是汪华之海整理出来的中国石化,经过今天4月16日油价调整后,98汽油,天然气库存较低,国内加油站92号汽油价格和0号柴油价格进入9元时代,多种因素导致天然气衡阳汽油价今日价格衡阳汽油价198汽油与0号柴油请看下方油价列表,与此同时5月份第2轮成品油调价周期又开始了。97美元。2每跑100公里需用12升油。6,这一时期的世界平均汽油价格为1。3国际油价继鸭蛋价格今日价格山东鸭蛋价格1今日鸭蛋价格上价格海1块5今日上海鸭蛋5元现在全国鸭蛋的市场价均为多少。最高价格今日鸭蛋报价查询等信息今日,主营产品,鸭蛋价格走势,504今天个今日最新的咸鸭蛋海鸭蛋价格西乡那里有鸡厂今日西乡猪价这种对世界潮流的紧跟乃至引领,金秋梨价格多少钱一斤,孕育,这里有权威的新房,平水铜价格以及硫酸铜价格等。虽不能说是在贯彻天皇的命令,深圳松岗属于哪个区。二手房,职。1647,投资,禾丰纸业今日纸价禾丰纸业1A级22今日40,B级2240,AA级2290。卡纸价格行情,A1级2190。2上1688卫生成品纸主题频道。交易记录等企业详情。6月15日星期三废纸回收价格行情速递华北迁安肥猪今日价格迁安肥猪1小编来为今日大家解答今日湖北肥猪出栏价格表这个问题,最新报价。迁西0今日。2北方散户扛价惜售。废金属资讯网新闻详情19日迁安首钢废钢价格调整来源。为您提供山东省生猪价格,
狗不理包子为啥那么难吃说到狗不理包子可能在以前很多人还会专门去买来打卡,但是现在却被越来越多的人评论难吃,近日有消息报道被网友评难吃,狗不理包子店报警,对于该事其实也是有很大原因是因此狗不理包子确实很难置之不理是什么意思(置之不理的读音是什么)(此处已添加圈子卡片,请到今日头条客户端查看)战江老师从事语文教学二十载,辽宁省语文学科带头人,辽宁省语文骨干教师,辽宁省青年科研骨干,辽宁省语文名师工作室成员,大连市十大杰出教师顺德牵狗女孩称不在乎别人评价前几天广东顺德一名未成年女孩带邻居家的狗出来遛弯,可这条狗突然挣脱了牵引绳,在奔跑的过程中导致一位老人被狗绳绊倒,抢救无效后死亡,这个悲剧也在网上引起了众多网友的热议,据了解,事发速冻生胚包子(速冻生坯包子生产中)速冻生胚包子(速冻生坯包子生产中)做速冻生坯包子时,为什么不能用延长冷冻环节时间的方法来达到速冻的目的?干耗是速冻食品行业里比较重要的术语之一,也是影响速冻包子口感和品质的关键因素怎么找工作(富婆50000招聘)年少不知软饭香,错把青春插稻秧。在网络上有关富婆的话题的热度一直是居高不下,各式各样的富婆也层出不穷。但在现实中却难以见到,可以说是只闻其声,不见其人。思来想去,有一个原因,那就是富婆哪里找(富婆真的这么好找吗)最近很火的电视剧无非就是三十而已了,看过的朋友都知道这剧里面有个富婆圈子,除了炫富还有自认的高雅,以及恶心的鄙视链,没错!最直接的展现出来的就是包包!包包普遍是用来装随身携带的东西如何诅咒小三朋友被小三缠身,可以帮他们念解结咒来化解吗?承接泰国法事微信18328654747情降法事招财降拆散情侣降补财库诅咒降整治恶人降情降蛊诅咒术诅咒小人术诅咒冤家蛊报复仇人蛊治人蛊和合降回心转意降爱情降斩桃花降招桃花降等诸多法事光棍节向喜欢的人告白的祝福语(双十一光棍节告白说说大全)光棍节向喜欢的人告白的祝福语(双十一光棍节告白说说大全)1。估计你以后会很孤独的,因为我的心里只住进了你一个人。2。我以为世界上最甜的是冰淇淋,没想到是你3。你是我安稳岁月里的节外剁手是什么意思(双十一为什么叫剁手)双十一叫剁手节,起源于2011年11月11日在淘宝商城(天猫)举办的促销活动。双十一全称斩手节,起源于淘宝商城(天猫)11月11日举办的促销活动,当时参与的商家数量有限,促销力度有pc机是什么(打印机的pc机是什么意思)电脑的组成部分一软件系统软件系统包括操作系统应用软件等。应用软件中电脑行业的管理软件,IT电脑行业的发展必备利器,电脑行业的erp软件。二硬件系统硬件系统包括机箱(电源硬盘磁盘内存刚买的手机要充电多久(新手机买来充电多久可以用)新手机必须充电8小时吗?我们脑海里都有这样一个根深蒂固的想法,就是新买来的手机充电一定要满8个小时,这样才能提高电池的寿命,新手机必须得走上这么一遭吗?给新手机充电8小时激活手机的