深入学习 Linux 操作系统的存储 IO 堆栈

一、Linux 存储堆栈图

当使用 read() 和 write() 系统调用向内核提交读写 I/O 请求操作时需要经历的步骤:

1)首先,请求经过虚拟文件系统,虚拟文件系统提供了统一的文件和文件系统的相关接口,屏蔽了不同文件系统的差异和操作细节;

2)其次,适配当前磁盘分区的文件系统,常见文件系统有 ext2/3/4、FATfs、sysfs、debugfs 等;

3)再次,内核将 I/O 请求交给 I/O 调度层进行排序和合并处理。经过 I/O 调度层加工处理后,将 I/O 请求发送给块设备驱动进行最终的 I/O 操作;

4)最后,通过总线协议对数据进行下盘或者读取操作。

二、系统调用函数与存储介质交换

SQL 查询执行过程:

  • 客户端发送一条查询给服务器

  • 服务器优先检查查询缓存,如果命中了缓存,则立刻返回缓存中的结果,否则进入下一阶段

  • 服务器端进行 SQL 解析、预处理,再由优化器生成对应的执行计划

  • 根据优化器生成的执行计划,再调用存储引擎的 API 来执行查询

  • 最后将结果返回给客户端

三、操作系统关于优化存储堆栈的参数

1) dirty_background_ratio:内存可以填充“脏数据”的百分比

这些“脏数据”后续将写入磁盘,后台进程会清理脏数据。比如现有 32G 内存,那么有 3.2G 的内存可以待着内存中,假设超过 3.2G 就会有后来进程来刷盘;

2) dirty_ratio 是绝对的脏数据限制,内存里的脏数据百分比不能超过这个值

如果脏数据超过这个数量,新的 IO 请求将会被阻挡,直到脏数据被写进磁盘。这是造成 IO 卡顿的重要原因,但也是保证内存中不会存在过量脏数据的保护机制;

3) dirty_expire_centisecs 指定脏数据能存活的时间

默认数值是 30 秒。当后台进程在刷盘时,它会检查是否有数据超时,如果超时就会触发刷盘操作,尽量规避数据在内存中储存过久后的丢失风险。

四、IO 优化在 KaiwuDB 中的应用实践

1) 通过观察 CPU 使用情况并借助火焰图,发现 KaiwuDB 内核程序进程内的性能瓶颈点,包括但不限于:

a. 进程服务压力与后台服务处理能力不匹配;

b. 操作系统参数设置不匹配导致 CPU 占用低;

2) 通过 iostat 和 vmstat 观察磁盘性能工具,发现进程写入速度与后台处理速度、磁盘处理速度不匹配,需要进行参数调优;

3) 借助 KaiwuDB 内部的日志及性能统计工具(Trace 功能模块和监控工具 KAP),发现某些应用及服务的性能瓶颈,调整优化进程程序逻辑。

猜你喜欢

转载自blog.csdn.net/ZNBase/article/details/131185555