我这用的Ubuntu 18.04系统（已经内置支持ZFS和Gluster文件系统了），原来磁盘存储使用的Ext4格式和LVM，现在需要迁移到ZFS/Gluster支持的分布式软件定义存储（SDS）和容器存储体系（CSI），以充分利用分布式架构的存储虚拟化、多机容错、水平扩容、网络访问的集群环境下应用的需要。
方案：
- 集群节点既能提供存储服务，也能执行高通量、非密集型计算任务。
- 集群存储主机至少有两个节点。
- 每节点四核CPU，16G内存，512G高速SSD。
- 每节点PCIE至少双槽，一块双口万兆网卡，一块SATA扩展卡或SAS阵列卡。
- 每节点至少4块磁盘（达到400MB/s以上，磁盘越多越快；8块盘可达到800MB/s左右）。
- 节点的磁盘使用ZFS条带卷以获得最大磁盘IO速度，将SSD设为缓存和log卷执行加速。
- 多个节点存储通过Gluster做网络镜像存储，可以灵活地按照镜像（可靠性高）或者条带（容量大、性能高）来组织存储方案。节点越多，可靠性、性能越好。
步骤：
中间需要有多个步骤，记录如下：
- 先把新的存储系统准备好。
- 安装ZFS，sudo apt install zfsutils-linux 。
- 安装Gluster，sudo apt install glusterfs-server 。
- 在所有节点上，创建ZFS存储池和文件系统。
- 在所有节点上，互相添加为gluster peer。
- 在任一节点上，创建gluster volume存储卷，可选镜像或条带模式。
- 在需要访问的工作节点挂载gluster存储卷，映射为本地卷，然后就可以直接访问了。
- 在Kubernetes上，每一个Node都需要能访问网络存储卷，或者挂载为本地卷、通过hostpah来使用。
- 把Ext4和原来磁盘阵列的数据复制到新的存储系统。
- 确认数据已经全部复制。
- 把原来的存储系统重新格式化为ZFS/Gluster。
- 再次确认数据已经全部复制。
- 把原始数据复制回原来的存储系统。
- 建立软连接，连接到原来的卷到新的存储系统主目录。
- ln -s 新的目录 原来目录的链接名
- 如：ln -s /zpool/data /home/supermap/data
- 恢复原来的服务。
- ln -s 新的目录 原来目录的链接名
注意：
- ⚠️不要出错，否则把原始数据搞丢了，就麻烦大了。
- 建议使用万兆（10Gbps）网络（存储节点使用万兆网卡，全万兆交换机连接）。
- 网络存储传输带宽，理论上：
- 百兆连接9MB/s。
- 千兆连接90MB/s。
- 万兆连接900MB/s。
- 双万兆连接1600MB/s以上。
- 推荐：双万兆端口网卡，双路互备、链路聚合。
- 网络存储传输带宽，理论上：
- 需要至少双倍于现有数据的存储空间。
- 新的分布式存储启用镜像和副本，需要“数据容量X副本数量”的物理磁盘容量。