初创公司对于分布式文件系统的技术选型

目录

1、背景

2、待选择技术方案

3、阿里云 oss

3.1 oss web 控制台

3.2 oss browser


1、背景

初创公司一般技术人员不足,运维水平较低,一般没有过多的业务去研究中间件,这里,就需要一个免费(费用较低)的中间件来实现分布式文件存储的需求。

2、待选择技术方案

常见的分布式文件系统 GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存 储服务。

知名开源分布式文件存储

1.GFS(Google File System)

Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。尽管Google公布了该系统的一些技术细节,但Google并没有将该系统的软件部分作为开源软件发布。

2.HDFS

Hadoop 实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch,

后者是一个开源的网络搜索引擎,本身也是Luene项目的一部分。Aapche Hadoop架构是MapReduce算法的一种开源应用,是Google开创其帝国的重要基石。

3.TFS

TFS(Taobao FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器 集群上,可为外部提供高可靠

和高并发的存储访问。TFS为淘宝提供海量小文件存储,通常文件大小不超过1M,满足了淘宝对小文件存储的需求,被广泛地应用 在淘宝各项应用中。它采用了HA架构和平滑扩容,保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构,可将文件名映射到文件的物理地址,简化 了文件的访问流程,一定程度上为TFS提供了良好的读写性能。

Google学术论文,这是众多分布式文件系统的起源,HDFS和TFS都是参考Google的GFS设计出来的。

因为以上技术方案都是需要部署一个新的中间件,部署成本结初创公司来说,一般有点大,所以我这里推荐,阿里的OSS方案,费用比较低,反正我们公司的一套跨境电商商城,一年OSS的费用不到10元,并且阿里云提供了比较方便的web控制台、OSS Browser客户端来管理我们的资源。

3、阿里云 oss

下面是我们线上应用文件表设计,如下图所示:

3.1 oss web 控制台

3.2 oss browser

参考文档:oss browser安装

猜你喜欢

转载自blog.csdn.net/s2008100262/article/details/112673944