第 七 、八 章 文件与磁盘空间管理
文件定义、类型、文件系统模型
文件结构、外存分配
目录（层次、检索）、存储空间管理
两种常用文件共享方法
文件保护、数据一致性、磁盘提速…
1、文件和文件系统
文件管理：把所管理的程序和数据组织成一系列的文件，并能进行合理的存储、使用等操作。
1 ）基本概念
数据项：描述对象某种属性的字符集；是数据组织中可以命名的最小逻辑数据单位。
记录：一组相关数据项集合，描述对象某方面的属性；
关键字：一个记录中的一个或几个数据项的集合，用于唯一的标识一个记录。
文件：由创建者定义的、具有文件名的一组相关元素的集合。 无结构：字符流的形式有结构：由相关记录组成 属性：类型、长度、物理位置、创建时间
2 ）文件类型
不同的系统对文件的管理方式不同 大多用扩展名标志文件类型，按如下几种方式分类文件
按用途：系统、用户、库文件
按数据形式：源文件、目标文件、可执行文件
按存取控制属性：只执行、只读、读写
按组织和处理方式：普通文件、目录文件、特殊（设备）文件
3）文件系统模型
系统管理文件模型：
四个层次： ④逻辑文件系统 ③基本I/O管理程序 ②基本文件系统层 ①I/O控制层
4）文件操作
操作系统提供哪些文件操作？
最基本的操作
创建/删除文件：分空间，形成FCB及目录（名，地址）
读、写：按名检索目录，找到文件地址，开始读、写
设置文件读写位置，实现随机存取（尤其适用于记录文件）
还需要：“打开”与“关闭”：
文件读/写操作 = 检索 + 读/写。
每次读写前都要重复检索增大开销。所以为了方便对同一文件的多次读写，一次检索到文件后就在内存中记录其位置，避免重复检索。被记录下位置的文件就是“打开”文件；
不需要再操作文件时，通过“关闭”这个系统调用关闭文件——即从打开文件表上删除其路径信息即可。
2、文件的逻辑结构
文件系统设计的关键要素： 如何构成一个文件，以及如何存储在外存。
文件结构： 文件的逻辑结构file logical structure：按用户观点如何组织数据；又称文件组织file organization 基本要求：检索速度高、方便修改、降低存储空间费用（不连续） 文件的物理结构：根据外存上的物理块的分配机制，记录文件外存的存储结构。用户感知不到的。
1）文件逻辑结构的类型
有结构文件（记录式） ①定长记录 ②变长记录
如何组织记录：
顺序文件。系统需按该类型记录“长度”，通常定长。
索引文件。系统需为文件建立索引表。
索引顺序文件。建索引表，记录每组记录的第一个记录位置。
无结构文件（字符流式） 字节为单位，利用读写指针依次访问。 系统对该类文件不需格式处理。
①顺序文件
两种记录排列方式 串结构：按记录形成的时间顺序串行排序。记录顺序与关键字无关； 顺序结构：按关键字排序。 检索方法： 从头检索，顺序查找要找的记录，定长的计算相对快。 顺序结构，可用折半查找、插值查找、跳步查找等算法提高效率
具体的寻址过程： 第i条记录地址（定长） ： 读写指针 + 记录长度： ptr + i*L 第i条记录地址（变长） ： 扫描或读取前面0~i-1条记录 第i条记录地址（变长） 变长记录数据前用1字节保存每条记录长度，顺序扫描，但不用把记录全扫描完 j-1 (Lj +1) j=0
顺序结构记录按关键字排序，可按关键字检索 定长：结合折半查找算法等提高检索速度
变长：从第1个记录开始顺序扫描，直到扫描到要检索的关键字标识的记录（例如：数据库、文件系统的基于文件名排序的目录检索）
顺序文件的优缺点： 不方便随机存取某条记录，但适用批量存取的场合。 适合磁带等特殊介质。 单记录的查找、修改等交互性差；增减不方便（改进办法：把增删改的记录登记在一个事务文件中，在某段时间间隔后再与原文件合并更新）。
②索引文件
为了方便单个记录的随机存取，为文件建立一个索引表，记录每项记录在文件的逻辑地址及记录长度；该索引表按关键字排序，。 索引表内容： 索引号、长度、记录地址指针 检索效率 索引表本身即是个按记录键排序的定长顺序文件，所以能利用算法提高索引表检索速度
一个索引文件可以有多个索引表 为方便用户根据不同记录属性检索记录，为顺序文件建立多个索引表，每种能成为检索条件的域都配备一张索引表。 索引文件的优缺点 适用于变长记录，可提高检索速度，实现直接存取 索引表增加了存储开销
③索引顺序文件
既要方便，又要降低开销 本方式是最常见的一种逻辑文件形式。 将顺序文件的所有记录分组 还是建立索引表，但每个表项记录的是每组第1条记录的键值和地址。 组内记录仍按顺序方式检索和使用。 检索一条记录的过程： 先计算记录是在第几组，然后再检索索引确定组在哪里后，在组内顺序查找。 可利用多级索引，进一步提高检索效率。
④直接文件
3、外存分配方式
目标：有效利用外存空间，提高文件访问速度 常用三种方式： 连续分配 链接分配（不连续） 索引分配 通常一个系统中仅采用一种方式 采用的磁盘分配方式决定了文件的“物理结构” 顺序结构；链接式结构；索引式结构。 注意与逻辑结构名类似但不是一回事。
1）连续分配
为每一个文件分配一组相邻的盘块。 逻辑文件中的记录顺序与存储器中文件占用盘块的顺序一致。 优点：顺序访问容易，读写速度快
缺点： 会产生外存碎片。可紧凑法弥补，但需要额外的空间，和内存紧凑相比更花时间。 创建文件时要给出文件大小；存储空间利用率不高，不利于文件的动态增加和修改； 适用于变化不大顺序访问的文件，在流行的UNIX系统中仍保留了连续文件结构。如对换区
2）链接分配
可以为每一个文件分配一组不相邻的盘块。 设置链接指针，将同属于一个文件的多个离散盘块链接成一个链表，这样形成的文件称为链接文件。会有链接成本。
优点： 离散分配，消除外部碎片，提高利用率 同时适用于文件的动态增长；修改容易
隐式链接
显式链接（FAT--file allocationtable）
FAT表的相关计算
MS-DOS文件分配结构为例： 一个1.2M的磁盘，盘块512B大小；若文件系统采用FAT格式，则FAT表大小如何？ 表项个数 = 盘块个数 = 容量 / 盘块大小 = 1.2 *220 / 29 = 1.2 *211 个 表项大小，决定于盘块数量编号需要的位数=12 位； FAT表大小 = 表项个数 * 表项大小 = 1.2 *211 * 12 bit = 1.2 *211 * 1.5B = 3.6KB 以半字节（0.5B=4b）为基本单位,表项需12位（1.5B） 由上述公式，若容量为200M的磁盘，盘块仍为512B，FAT表大小如何？
FAT表表项有200K≈218 （个） 表项需20位，即2*8+4，2.5字节 FAT表需内存大小为200*2.5=500KB
3）索引分配
链接的不足
顺序检索的时间成本：不能支持高效的盘块直接存取。要对一个文件进行直接存取，仍需在FAT中顺序的查找许多盘块号。 链接信息的空间成本：FAT需占用较大的内存空间。当磁盘容量较大时，FAT可能要占用数MB以上的内存空间。这是令人难以忍受的 改进： 系统运行时只涉及部分文件，FAT表无需全部调入内存 每个文件单独建索引表（物理盘块索引），记录所有分配给它的盘块号； 建立文件时，便分配一定的外存空间用于存放文件盘块索引表信息；
①单级索引分配
②多级索引
多级索引下的文件大小
若两级索引，盘块1KB，盘块号占4字节 一个盘块可存放的盘块号数有多少个 1KB/4B = 210/4 = 28 = 256（个）
二级索引下的文件可分配的最大盘块数 256 * 256 =26×210=64 K（个）
文件最大长度为 64K（个）*1KB=64MB
若盘块大小为4KB，单级索引允许文件最大长度为4MB（4K/4*4KB），
二级索引则文件最大可达4GB（1K*1K*4KB）。
③混合组织索引（增量式索引组织方式）
索引文件在顺序访问或随机访问中都比较灵活，是一种比较 好的文件物理结构，但也是需要一定的用于索引表的空间开销和检索文件索引的时间开销的。 UNIX系统是使用索引结构成功的例子。
磁盘组织
以簇为单位分配回收、但不规定盘块大小 磁盘格式化时确定卷的簇大小（物理磁盘扇区的整数倍），512M以内的小磁盘默认簇大小为512B，1G的默认大小为1KB。。。大多数情况是4KB 卷上簇编号为LCN，用户用到的簇顺序编成用户虚拟簇号VCN，NTFS可进行VCN到LCN的映射
文件组织
以卷为单位，将卷的所有文件信息、目录信息、可用未分配空间记录在主控文件表MFT中。 每个文件的信息对应一行，固定大小1KB，称为元数据 文件属性信息、文件数据较少时就直接写在MFT中；较多超出1KB时，记录存放这些信息的簇地址指针。 兼容性上也有不足
例1：盘块1KB大小，硬盘500MB大小。显式链接方式时，FAT需占用多少存储空间？文件A占用11、12、16、14盘块，画出链接及FAT的情况。
盘块500K个≈219 编号决定表项需19位， 半字节为单位，须20位，即 2.5 B FAT大小 = 500K * 2.5B = 1250 KB
例2：试描述过程：连续分配、隐式链接、显式链接和索引方式下如何将文件中3500字节偏移的逻辑地址转换为物理块号和块内偏移量。（设盘块大小为1KB，盘块号需4B）
3500 / 1024=3，余428 即逻辑块号3，块内偏移428（编号从0开始） 连续分配下： FCB中查到起始物理块号。设为a， 在a+3号盘块中偏移428B即找到需要数据。 隐式链接方式： 每个盘块中的1KB中4B用于记录下一个块号，3500/1020=3，余440 FCB中获得第1个盘块号b0，读取b0最后4B得到下一个盘块号b1，继续同样操作到b2，到b3，在b3盘块中偏移440B。
显式链接方式
FCB中得到文件首盘号c0。 FAT中检索c0，找到c0项记录的c1，继续找 找到c3后，在C3盘块中偏移428B。 索引方式 FCB中找到盘块索引表的地址d（存放索引表的盘块） 索引表的d+3*4B处即直接检索到物理块设结果为e，在e盘块中偏移428B。
例3：某磁盘文件系统，采用混合索引分配方式，13个地址项记录在FCB中。若盘块大小512字节，盘块号需3字节（则一个盘块最多存放170个盘块号） 该文件系统允许文件的最大长度是多少？ 5000、15000、150000需如何寻址？ FCB已在内存，其他信息都在外存，则访问文件某位置需访问磁盘，最少几次？最多几次？
1.c=10+170+170*170+170*170*170(个) 文件最大c*512B
2.不同地址的寻址 5000/512,商9，余392，直接寻址即可：FCB9号直接地址项记录的块内偏移392 15000/512，商29，余152，<10+170。可从第10项一次寻址找第19=29-10处的块号 。。。
3.直接寻址最少一次，三次间址则最多访问磁盘4次
根据外存空间空闲情况分配给文件需要的磁盘空间 管理空闲空间 记录已分配的空间
4、存储空间的管理
为实现存储空间分配，系统需要： 记住空闲存储空间使用情况；为空间设置相应的数据结构； 提供对存储空间分配、回收的操作手段。 典型的管理方法： 1）空闲表和空闲链表法 2）位示图法 3）成组链接法
1）空闲表法和空闲链表法
空闲表法 常用于连续分配管理方式
数据结构 系统为外存上的所有空闲区建立一张空闲表 每个空闲区对应一个空闲表项 （表项包括序号、空闲区的第一个盘块号、空闲盘块数等。） 将所有空闲区按其起始盘块号递增的次序排列，如右图。
存储空间的分配与回收操作 与内存的动态分配类似，同样可采用首次适应算法、循环首次适应算法等。 回收主要解决对数据结构的数据修改。 应该说明，虽然很少采用连续分配方式，然而在外存的管理中，由于它具有较高的分配速度，可减少访问磁盘的I/O频率，故它在诸多分配方式中仍占有一席之地。（如实现虚拟用的部分外存就是连续分配方式）
空闲链表法 将所有空闲盘区拉成一条空闲链。
数据结构：链 根据构成链所用基本元素的不同，可把链表分成两种形式： 空闲盘块链 空闲盘区链
空闲盘块链
将磁盘上的所有空闲空间，以盘块为单位拉成一条链。 因创建文件而请求分配空间时，系统从链首依次摘下适当数目的空闲盘块分配给用户。 因删除文件而释放存储空间时，系统将回收的盘块依次插入空闲盘块链的末尾。 优点：分配和回收一个盘块的过程非常简单，但为一个文件分配盘块时，可能要重复操作多次。
空闲盘区链
2）位示图法——位示图
利用二进制的一位来表示一个盘块的使用情况。 值为0表示对应的盘块空闲，为1表示已分配。有的系统则相反。 磁盘上的所有盘块都有一个二进制位与之对应，这样由所有盘块所对应的位构成一个集合，称为位示图。 总块数=m*n。可用m*n个位数来构成位示图，可看成是二维数组（数据结构）。
盘块的分配与回收
根据位示图进行盘块分配： 顺序扫描位示图。找到为0的二进制位。 将所找到的一个或一组二进制位，转换成与之对应的盘块号。进行分配操作。 盘块号计算公式为：盘块号 = 列总数*（i-1）+ j; （注意下标i，j从1开始） 修改位示图。 根据位示图进行盘块回收： 将回收盘块的盘块号转换成位示图中的行号和列号。转换公式为：i=(盘块号-1)div列数+1；j=(盘块号-1)mod列数+1 Div 求商，mod 取余，公式中的i、j都是从1开始的 （如12号盘块转换后为1，12） 修改位示图。
3）成组链接法
大型文件系统，空闲表或空闲链表太长不方便管理操作。 UNIX系统中采用成组链接法，这是将两种方法结合而形成的一种空闲盘块管理方法。 中心思想： 所有盘块按规定大小划分为组； 组间建立链接； 组内的盘块借助一个系统栈可快速处理，且支持离散分配回收。
例：某系统采用成组链接法管理磁盘空闲空间，目前状态如上图，问： 还有多少空闲盘块？ 若从当前状态下，系统分配3个盘块给某文件后，又删除另一文件，回收了第700，711，703，788，701这5个盘块。则磁盘空间的状态图中的链接情况又如何？
成组链接法 链表长度上限固定 组内的盘块借助一个系统栈可快速处理，且分配回收比较简单。 支持离散分配回收。
空闲盘块的组织
空闲盘块号栈。 用来存放当前可用的一组空闲盘块的盘块号（最多含100个号） 栈中尚有的空闲盘块号数N。 （N兼具栈顶指针用。栈底为S.free(0)，栈满时栈顶到达S.free(99)，N=100，表示有100个盘块供使用。
空闲盘块的分配与回收
分配盘块时，须调用分配过程来完成。 先检查空闲盘块号栈是否上锁，如没有，便从栈顶取出一空闲盘块号，将与之对应的盘块分配给用户，然后将栈顶指针下移一格。 若该盘块号已是栈底，即S.free(0)，到达当前栈中最后一个可供分配的盘块号。 读取该盘块号所对应的盘块中的信息：即下一组可用的盘块号入栈。 原栈底盘块分配出去。修改栈中的空闲盘块数。 回收 回收盘块号记入栈顶，空闲数N加1 N达到100时，若再回收一块，则将该100条信息填写入新回收块。
组织文件数据 存放文件数据 检索使用文件
5、目录管理
对文件实施有效的管理，必须对它们加以妥善组织，主要是两大操作： 基本信息记录(FCB,目录项) 方便检索、管理（目录操作） 目录管理的要求如下： 实现“按名存取”；（最基本功能） 提高对目录的检索速度； 文件共享； 允许文件重名。
文件控制块—FCB
为了能对一个文件进行正确的存取，必须为文件设置用于描述和控制文件的数据结构，称之为“文件控制块”（FCB） 文件与文件控制块一一对应 记录文件名及其存放地址、文件的说明和控制信息。（是谁？在哪里？什么权？） 文件管理程序借助于文件控制块中的信息对文件施以各种操作。 把文件控制块的有序集合称为文件目录，即一个文件控制块就是一个目录项。通常一个文件目录也被看作是一个文件，称为目录文件。
1）FCB内容
在文件控制块中，通常含有以下三类信息。
基本信息类 包括文件名，文件物理位置，文件逻辑结构，文件的物理结构。
存取控制信息类 包括文件主的存取权限，核准用户的存取权限和一般用户的存取权限。
使用信息类 建立日期和时间、文件上次修改的日期和时间 当前使用信息：打开该文件的进程数、是否被进程锁住、是否已修改等。
2）索引结点
索引结点的引入
文件目录占越大量的盘块，需进行的磁盘读写开销越大。减少实际检索的信息量就减少移动磁头的开销，提高速度； 目录一般是按名检索。而直到找到正确文件前，只关心文件名，不需要其它的文件描述信息，目录中这部分内容的调入不是必须的。 所以：将文件名、文件具体信息分开，使文件描述信息单独形成一个索引结点。
３） 目录结构
目录结构的组织，关系到文件系统的存取速度，也关系到文件的共享性和安全性。
组织好文件的目录，是设计好文件系统的重要环节。
目前常用的目录结构形式有 单级目录 两级目录 多级目录
①单级目录结构（Single-Level Directory）
②两级目录结构（ Two-Level Directory ）
两级目录的特点
基本克服了单级目录的缺点，并具有以下优点： 提高了检索目录的速度。 在不同的目录中可重名。 不同用户还可以使用相同/不同的文件名来访问系统中的同一个共享文件。 不提供子目录操作，还不方便；各用户之间被完全隔离的话用户访问其他用户文件时，不方便合作。
③多级目录结构
4）目录查询技术
线性检索法
又称为顺序检索法。 单级目录中 用户提供文件名，顺序查找文件目录。 树型目录中 用户提供路径名，如/user/ast/mbox 对多级目录进行逐层查找。
6、文件共享与保护
1）文件共享 多个用户共享一份文件，只保留文件的一份副本，节约存储空间 共享范围：单机系统/多主机系统/网络范围 20世纪六七十年代，出现了若干文件早期共享方法，绕弯路法、连访法等，逐渐发展为现代一些共享方式 索引结点 符号链
①索引结点法
基本FCB法（有向无循环图）： 名+详细信息。 直接在文件目录中包含文件的物理地址，该方法实现的共享不适用文件动态变化。一个用户对文件的修改（如物理块号增加），对其他用户不可见，共享文件的FCB信息记录同步更新困难。
文件名+索引结点指针。 一个用户修改指针指向地址里的内容，指针不变，其他用户通过指针总能感知索引结点中的最新内容 索引结点中增加count计数 主人删除操作问题： 删，共享用户访问错误；不删，计费问题。
②符号链法 创建一个link类型的文件：“文件名+共享文件路径”（类似快捷方式） 文件主人删除文件，共享者只会出现找不到文件错误。不会发生共享文件删除后出现悬空指针的情况。 该方法适用于网络文件共享，但根据路径检索共享文件的目标位置增加了访问开销，link文件独占索引结点也耗费一定的空间。
②【文件链接】——ln
ln链接有两种类型 硬链接（Hard Link）默认情况下，ln产生硬链接。原文件和连接文件的FCB记录了相同的inode地址。 建立硬链接时，链接文件和被链接文件必须位于同一个文件系统中，并且不能建立指向目录的硬链接。 符号链接（Symbolic Link）。和win下的快捷方式差不多。包含所链接文件的路径。可链接任意文件或目录，可链接不同文件系统的文件，甚至可以链接不存在的文件，网络文件。
两种共享方式的比较
硬链接(基于索引节点)： 只能文件链接，不能对目录做硬链接（可能导致du类命令死循环遍历）； 只能在同一个文件系统范围内进行，不能跨文件系统。 删除文件时，如果还有其他链接链至该文件，则该文件不能被删除。 软链接(符号链接)： 虽然实现起来相对麻烦一些，访问速度相对慢一些，但适用范围和灵活性要大一些。 允许目录链接，允许不同文件系统间进行链接，这两个文件系统可以在同一个计算机上，也可以在不同的计算机上。 被链接文件的删除和符号链接的删除是完全相互独立的（返回“被链接文件不存在”的错误）。
8.5文件保护
进程与域的两种联系 1、静态联系：指进程的可用资源集在进程的整个生命期中是固定的。但应允许修改域的内容，如，把操作文件的权限从r改为rw. 2、动态联系:指进程的可用资源集在进程的整个生命期中是变化的。进程在执行期间可能从一个保护域切换到另一保护域。
一、访问控制表（Access Control List) 存取控制矩阵由于太大而往往无法实现。一个改进的办法是对访问矩阵按列（对象）划分，为每一列建立一张访问控制表ACL，当对象是文件时，按用户对文件的访问权力的差别对用户进行分类，由于某一文件往往只与少数几个用户有关，所以这种分类方法可使存取控制表大为简化。由于存取控制表对每个文件将用户分类，所以该存取控制表可存放在每个文件的文件控制块(即目录表目）或索引结点中，作为该文件的存取控制信息。
二、访问权限表 对访问矩阵按行（域）划分，为每一行建立一张访问权限表，表中的每一项即为该域某一对象的访问权限。当域为用户（进程），对象为文件时，访问权限表便可用来描述一个用户（进程）对每一个文件所能执行的一组操作。
实际系统中，用四个方面对文件实行安全性管理。（1）系统级管理；（2）用户级管理；（3）目录级管理；（4）文件级管理。 一、系统级安全管理 系统级安全管理的主要任务是，不允许未经允许的用户进入系统，从而防止他人非法地使用系统中的各类资源。实现方法有以下几种： 1、注册 2、登录 3、其它措施： 要求用户定期修改密码； 限定用户在规定时间上机； 限定用户在指定的终端上上机。 二、用户级安全管理 用户级安全管理是为了给用户分配“文件访问权限”而设计的。 1、用户分类 不同的系统分法不同，如把用户分为：(1)文件主 (2)伙伴 (3)一般用户 另一分法把用户分为：(1)超级用户 (2)系统操作员 (3)用户 （4）顾客
2、文件访问权 不同用户可以有不同的访问权。 (1)建立(C) (2)删除(D) (3)打开(O) (4)读(R) (5)写(W) (6)查询(S) (7)修改(M) (8)父权(P):允许建立/改名/删除子目录。 三、目录级安全管理 目录级安全管理，是为保护系统中的各种目录而设计的，它与用户权限无关，为保证目录的安全，规定只有系统核心才具有目录的权限。 读许可权表示允许进程读目录。 写许可权表示允许进程请求核心为之建立新目录项，或撤销已有的目录项。 执行许可权表示允许进程检索目录。
四、文件级安全管理 文件级安全管理，是通过系统管理员或文件主对文件属性的设置，来控制用户对文件的访问。有以下属性： （1）只执行（EO):只允许用户执行该文件。 （2）隐含（H）：指示文件是隐含文件。 （3）索引（I)：指示文件是索引文件。 （4）修改（M)：指示文件自上次备份后是否已被修改。 （5）只读（RO)：只允许用户读文件。 （6）读/写（RW)：允许用户对文件进行读和写。 （7）共享（SHA)：指示文件是可被共享的文件。 （8）系统（SY)：指示文件是系统文件。
SFT，system fault tolerance 防止磁盘故障造成的文件不安全 SFT I:磁盘表面故障 双目录、双文件分配表（空间冗余） 写后读校验、热修复重定向（时间操作冗余） 写入磁盘后再读回内存做一致性校验 热修复写过程：从坏道重定向到专区并记录 SFT II：磁盘驱动器、控制器故障 驱动器故障：磁盘镜像 控制器故障：磁盘双工——并行控制器，分离搜索加快读取
磁盘高速缓存（内存中，磁盘块的副本） 提前读（每次访问磁盘，多读入一些磁盘块 ） 延迟写 优化物理块分布（可能顺序存取的块放在一起 →尽量分配在同一柱面上） 虚拟盘（内存模仿磁盘） 磁盘冗余阵列（高速、大容量磁盘系统,并行交叉存取）
在系统内存中设置磁盘缓冲区的主要目的是（） A．减少磁盘I/O 次数 B．减少平均寻道时间 C．提高磁盘数据可靠性 D．实现设备无关性
例：假定有8个记录，记录大小与扇区大小相等，若磁盘转速为20ms/圈，进程处理一个记录的时间为5ms，问按逆时针方向安排这8个记录时，顺序处理这8个记录需要花费多长时间（设磁盘在顺时针旋转） ？
=7.5+(6*2.5+7.5)*7 =165ms
如何最优化分布记录，可使处理时间最短？
=7.5*8=60ms
