【RPC-Python】Redis文本协议结构

Redis

Redis 在互联网存储技术上使用非常普遍,它以高性能高并发、易于理解和易于使用而广泛应用于互联网服务的存储系统上。

Redis 要对外提供存储服务,客户端和服务器之间免不了也要进行 RPC 通信,Redis 作者 Antirez 为 Redis 设计了一套专用的文本通讯协议 RESP。

Antirez 认为数据库系统的瓶颈一般不在于网络流量,而是数据库自身内部逻辑处理上。所以即使 Redis 使用了浪费流量的文本协议,依然可以取得极高的访问性能。Redis 将所有数据都放在内存,用一个单线程对外提供服务,单个节点在跑满一个 CPU 核心的情况下可以达到了 10w/s 的超高 QPS。

深入理解RESP(Redis Serialization Protocol)

这里写图片描述

RESP 是 Redis 序列化协议的简写。它是一种直观的文本协议,优势在于实现异常简单,解析性能极好。

Redis 协议将传输的结构数据分为 5 种最小单元类型,单元结束时统一加上回车换行符号\r\n。
1. 单行字符串 以+符号开头;
2. 多行字符串 以$符号开头,后跟字符串长度;
3. 整数值 以:符号开头,后跟整数的字符串形式;
4. 错误消息 以-符号开头;
5. 数组 以*号开头,后跟数组的长度;

  • 单行字符串 hello world
+hello world\r\n

直观打印如下:

+hello world
  • 多行字符串 第一行是长度,剩下的是内容,表示字符串 hello world 如下:
$11\r\nhello world\r\n

直观打印如下:

$11
hello world

多行字符串当然也可以表示单行字符串。

  • 整数 冒号开头 表示整数 1024 如下:
:1024\r\n

直观打印如下:

:1024

  • 错误 减号开头后跟错误名称和详细错误解释 表示「参数类型错误」如下:
-WRONGTYPE Operation against a key holding the wrong kind of value\r\n

直观打印如下:

-WRONGTYPE Operation against a key holding the wrong kind of value

  • 数组 第一行是长度,后面依次是每个内容,表示数组 [1,2,3] 如下:
*3\r\n:1\r\n:2\r\n:3\r\n

直观打印如下:

*3
:1
:2
:3

数组里面可以嵌套其它类型,甚至可以嵌套另外一个数组,如此就可以形成复杂的数据结构。

  • NULL 用多行字符串表示,不过长度要写成-1。
$-1\r\n

直观打印如下:

$-1

  • 空串 用多行字符串表示,长度填 0。
$0\r\n\r\n

直观打印如下:

$0


注意这里有两个\r\n,为什么是两个,因为两个\r\n 之间隔的是空串。

发送指令:客户端 -> 服务器

客户端向服务器发送的指令只有一种格式,多行字符串数组。比如一个简单的 set 指令set author codehole会被序列化成下面的字符串。

*3\r\n$3\r\nset\r\n$6\r\nauthor\r\n$8\r\ncodehole\r\n

在控制台输出这个字符串如下,可以看出这是很好阅读的一种格式。

*3
$3
set
$6
author
$8
codehole

发送指令:服务器 -> 客户端

服务器向客户端回复的响应要支持多种数据结构,所以消息响应在结构上要复杂不少。不过再复杂的响应消息也是以上 5 中基本类型的组合。

  • 单行字符串响应
127.0.0.1:6379> set author codehole
OK

这里的 OK 就是单行响应,没有使用引号括起来。

+OK

  • 错误响应
127.0.0.1:6379> incr author
(error) ERR value is not an integer or out of range

试图对一个字符串进行自增,服务器抛出一个通用的错误。

-ERR value is not an integer or out of range

  • 整数响应
127.0.0.1:6379> incr books
(integer) 1

这里的1就是整数响应。

:1

  • 多行字符串响应
127.0.0.1:6379> get author
"codehole"

这里使用双引号括起来的字符串就是多行字符串响应

  • 数组响应
127.0.0.1:6379> hset info name laoqian
(integer) 1
127.0.0.1:6379> hset info age 30
(integer) 1
127.0.0.1:6379> hset info sex male
(integer) 1
127.0.0.1:6379> hgetall info
1) "name"
2) "laoqian"
3) "age"
4) "30"
5) "sex"
6) "male"

这里的 hgetall 命令返回的就是一个数值,第 0|2|4 位置的字符串是 hash 表的 key,第 1|3|5 位置的字符串是 value,客户端负责将数组组装成字典再返回。

*6
$4
name
$6
laoqian
$3
age
$2
30
$3
sex
$4
male

  • 嵌套
127.0.0.1:6379> scan 0
1) "0"
2) 1) "info"
   2) "books"
   3) "author"

scan 命令用来扫描服务器包含的所有 key 列表,它是以游标的形式获取,一次只获取一部分。

scan 命令返回的是一个嵌套数组。数组的第一个值表示游标的值,如果这个值为零,说明已经遍历完毕。如果不为零,使用这个值作为 scan 命令的参数进行下一次遍历。数组的第二个值又是一个数组,这个数组就是 key 列表。

*2
$1
0
*3
$4
info
$5
books
$6
author

小结

虽然 Redis 协议里有大量冗余的回车换行符,但是这并不影响它成为互联网技术领域非常受欢迎的一个文本协议。有很多开源项目使用 RESP 作为它的通讯协议。因为在技术领域,性能并不总是代表一切,有时还要考虑简单性、易理解性和易实现性,这些都需要进行适当权衡。

Redis 协议作为开源协议中的一朵奇葩,它并没有向网络流量倾斜进行极致优化,而是选择了照顾协议的直观性、可理解性。

下一节我们拿另一个广为使用的协议 Protobuf 作为样本做介绍。相对于 Redis,Protobuf 在流量上做到了极致优化,并且是一个二进制的协议,所以注定对人类不太友好,但是它的使用真的是太太广泛了。end

猜你喜欢

转载自blog.csdn.net/gx864102252/article/details/81430183
今日推荐