[Linux] file system, soft and hard links, dynamic and static libraries

  1. prerequisite knowledge

When our files are not opened, they can only be stored on the disk. There are a large number of files on the disk. So many files must be statically managed so that we can open them at any time.

1.1. The physical structure of the disk

1. The disk is the only mechanical structure in our computer.

2. The disk is a mechanical structure, and it is also a peripheral, so it is very slow compared to a CPU.

3. The laptops we use now rarely use disks (HDD). A solid state drive (SSD) is used.

4. On the enterprise side, disk is still the mainstream of storage. Generally, SSD and HDD are used in combination.

Because the distance between the magnetic head and the disk surface is very close, the disk should be prevented from shaking and dust . Therefore, the sealing performance of the disk must be very good.

1.2. Disk storage structure

1.3. Logical structure of the disk

1.3.1.OS method unit for disk

1.3.2.Optimization of disk IO process by OS

You can stat "file name": view the specific information of the file
  1. File system

2.1. Prerequisite knowledge

Understanding of file attributes and file content:

2.2. Linux file system

Linux ext2 file system, the above picture is a disk file system diagram (the kernel memory image is definitely different), the disk is a typical block device, and the hard disk partition is divided into blocks. The size of a block is determined during formatting and cannot be changed. For example, the -b option of mke2fs can set the block size to 1024, 2048 or 4096 bytes. The size of the Boot Block in the above figure is determined.

Block Group: The ext2 file system will be divided into several Block Groups according to the size of the partition. And each Block Group has the same structure. Examples of government-managed districts
超级块(Super Block):存放文件系统本身的结构信息。记录的信息主要有:bolck 和 inode的总量,未使用的block和inode的数量,一个block和inode的大小,最近一次挂载的时间,最近一次写入数据的时间,最近一次检验磁盘的时间等其他文件系统的相关信息。Super Block的信息被破坏(一般有备份),可以说整个文件系统结构就被破坏了。
GDT,Group Descriptor Table:块组描述符,描述块组属性信息,有兴趣的同学可以在了解一下
块位图(Block Bitmap):Block Bitmap中记录着Data Block中哪个数据块已经被占用,哪个数据块没有被占用
inode位图(inode Bitmap):每个bit表示一个inode是否空闲可用。
inode节点表(inode table):存放文件属性 如 文件大小,所有者,最近修改时间等
数据区(data blocks):存放文件内容

磁盘格式化就是重新写入文件系统。

2.3.读取工作过程

1.先获得文件inode--》 2.通过inode信息获得数据块的下标---》3.完成读取操作

2.4.目录文件

2.5.添加文件

1. 存储属性

内核先找到一个空闲的i节点(这里是263466)。内核把文件信息记录到其中。

2. 存储数据

该文件需要存储在n个数据块,内核找到了n个空闲块:300,500,800 --- 。将内核缓冲区的第一块数据复制到300,下一块复制到500,以此类推。

3. 记录分配情况

文件内容按顺序300,500,800存放。内核在inode上的磁盘分布区记录了上述块列表。

4. 添加文件名到目录(在目录中建立文件名和文件inode的映射关系)

新的文件名test.txt。内核将入口(263466,test.txt)添加到目录文件。文件名和inode之间的对应关系将文件名和文件的内容及属性连接起来。

2.6.删除文件

删除文件很简单,只需要修改GDT(块组描述符)。数据块对应的位图结构(block bitmap)和inode对应的位图结构(inode bitmap)即可。其实不是真正意义删除,只是把原有的数据(inode和数据块)从开始的不可覆盖,变成了覆盖,不受保护了。

所以按理说我们删除文件后,知道删除文件的inode (通过日志信息)。只要那一块内存没有被覆盖 是有可能恢复的。

  1. 硬链接 和 软链接

3.1.硬链接

介绍

我们看到,真正找到磁盘上文件的并不是文件名,而是inode。其实在linux中可以让多个文件名对应于同一个inode。

touch test.txt :创建一个文件
ln test.txt hard_test.txt :给test.txt创建一个硬链接
ls -1i:查看文件对应的inode
这不就是给inode起一个别名嘛。

用法

也可以看看文件的inode

所以每一个目录下的 "." 和 ".." 就是硬链接。

这也就解释了为什么 'cd ..' 能回到上级目录。

特例

"." 和 ".." 就是硬链接,为什么我们不能给目录建立硬链接?
假如我们给根目录建立一个硬连接,当我们从根目录去查找某一个文件的时候,可能就会生成一个闭环,死循环了。

3.2.软链接

介绍

硬链接是通过inode引用另外一个文件,软链接是通过名字引用另外一个文件,所以软连接标定一个文件不是通过文件的inode编号,而是通过文件名称。

ln -s test.txt soft_test.link :给test.txt创建软链接
这不就是win下的快捷方式嘛。

用法

指向别的可执行程序。(快捷方式)

3.3.ACM时间

  1. 动态库和静态库

4.1.特征介绍

静态库(.a):程序在编译链接的时候把库的代码链接到可执行文件中。程序运行的时候将不再需要静态库
动态库(.so):程序在运行的时候才去链接动态库的代码,多个程序共享使用库的代码。
一个与动态库链接的可执行文件仅仅包含它用到的函数入口地址的一个表,而不是外部函数所在目标文件的整个机器码在可执行文件开始运行以前,外部函数的机器码由操作系统从磁盘上的该动态库中复制到内存中,这个过程称为动态链接(dynamic linking)
动态库可以在多个程序间共享,所以动态链接使得可执行文件更小,节省了磁盘空间。操作系统采用虚拟内存机制允许物理内存中的一份动态库被要用到该库的所有进程共用,节省了内存和磁盘空间

先来一段测试代码:

一起我们写项目的时候,都会这样使用,在main.c包含各自运用到函数的头文件,然后全部的“xxx.c"文件一起编译,即可编译完成。
这是我们的以前学到的,头文件和源文件基本使用。、
也可以分开编译最后再链接
可以看到一样可以形成可执行文件。
所以我们只给别人提供可重定向目标二进制文件和对应的头文件,就可以给别人提供我们的函数使用。
这种思想就已经是库的思想了。
将所以的“xxx.o”文件打包,形成库,提供给对方一个库文件和全部的头文件即可。

打包就是将多个“xxx.o”文件合起来形成一个文件,这就是库文件。

根据打包方法的不同,分为静态库和动态库。

4.2.生成静态库

ar -rc 【生成的库名称】 【全部的“xxx.o”文件】
//ar是gnu归档工具,rc表示(replace and create)(替换并创建)

直接创建一个makefile自动化文件。

查看生成静态库:

ar -tv 【库文件】:查看库文件是由那俩个文件
t:列出静态库中的文件
v:verbose 详细信息

交付库的时候:

1.提供:“xxx.a”/“xxx.so”文件;
2.提供对应匹配的 “xxx.h”文件。

一般都会打包好到一个目录,然后再压缩给别人。

4.3.使用静态库

安装的本质就是:把文件拷贝到知道系统能找到的目录下。

方法一:直接使用

gcc的链接规则:

1,gcc默认是动态链接(建议行为),对于特定的库,究竟是动态还是静态,取决于你提供的是动态库还是静态库。有动态库就动态链接。

2,有多个库的时候,一个一个链接的,可能一部分是动态链接,一部分是静态链接,只要有一个库是动态链接的,那里就会显示是动态链接。

方法二:安装到系统对应路劲下

建议测试完后立即卸载掉,我们自己写的程序放在系统的路劲下不安全。

卸载:就是把刚刚拷贝到系统默认路劲下的文件原封不动的删除掉。一定注意不要删错了。

4.4.生成动态库

交付库的时候:

1.提供:“xxx.a”/“xxx.so”文件;
2.提供对应匹配的 “xxx.h”文件。

一般会打包好到一个目录下,然后压缩好给别人

4.5.使用动态库

不能像静态链接那样世界使用,运行会找不到对应的动态库。

库的默认搜索路劲

1, 环境变量LD_LIBRARY_PATH
2, /usr/lib/(32位)或/usr/lib64/(64位)
3, /usr/local/lib/(32位) 或 /usr/local/lib64/(64位) (这个是用户级别的)
4, /lib64/

方法一:修改LD_LIBRARY_PATH环境变量

但是环境变量是内存级的,当我们重新链接我们的机器的时候他就不能再次执行了。因为环境变量改变了。如果像使环境变量不变就需要去修改配置文件了,比较麻烦。临时做测试可以。

方法二:安装进系统

方法三:配置文件(xxx.conf)

/etc/ld.so.conf.d/ 路劲下有很多的配置文件

动态库在进行搜索时,包含路劲的配置文件。

创建一个任意名称的xxx.conf 文件
给刚刚创建的配置文件写入,我们的动态库所在的目录(sudo添加)
然后更新一下:sudo ldconfig(一定要做)

这个和安装到系统一样的效果,再次链接还能使用。

删除配置文件的时候也要ldconfig

方法四:创建软连接

当前目录下建立软连接

系统目录下建立软连接

总结

我们能让可执行找到动态库文件的时候,我们再把头文件拷贝进系统,这样就只需指定 ”-l 库名“,即可完成编译任务 。运行时候不需要库文件,但是需要用到动态库(而且还要能找到)。

  1. 动静态库的加载

5.1.静态库

静态库一般不考虑加载过程

因为静态链接编译的时候,就已经将对应的实现加载到了可执行程序你内部,也就是说静态库,在编译完成后,就不需要库了。可执行程序需要的代码,已经被拷贝进去了。
会有代码冗余的现象:例如:每次调用printf,都需要加载一份priintf的实现。
编译是加载,到哪里呢?加载进了代码区。(建议复习进程地址空间)
拷贝进来的代码,必须通过相对确定的地址位置来进行访问。

拷贝进代码区,这里也就和我写的函数一样。采用绝对编址的方式。

5.2.动态库

静态链接:编译的时候在调用函数的位置完成实现代码的拷贝。(代码冗余)
动态链接:编译的时候在调用函数位置放入偏移量地址。
动态库是在使用的时候被加载进内存,然后映射到进程的共享区,确定start地址,然后在可执行程序中存放的是偏移量地址。start地址+偏移量地址确定虚拟地址,通过页表映射完成执行。

Guess you like

Origin blog.csdn.net/zxf123567/article/details/129595211