海量离线数据存储

工作经历:现在在做一个影像管理系统,随着时间的推移,影像数据会越来越多,就会导致系统的硬盘会装满,最后导致系统不能正常运行,解决办法就是系统只保留三个月的数据,三个月之后的数据全部存放到内容管理平台中,将来在“内容管理平台”中去查询和下载。

 

那么影像管理平台是怎么实现海量数据的管理的呢?

我们系统中会有很多的查询条件,来查询我们所需要的影像,甚至可以根据某一个SSID来确定唯一的影像数据。

因此,我们把系统中所有查询影像的数据的条件放在一张表中作为字段,然后在每个字段中添加索引(因为是海量的数据,每一种可能的字段都有可能是查询的条件,因此为了提高效率,就需要将),然后提供给客户一个查询条件界面(实际这些查询条件就是表的各个字段),然后根据客户输入的条件查询我们指定的那张表,就是需要的结果。

通过这些查询条件,应该能够准确的定位到某一张或者是一些文件,而查询出来的信息应该能够精确到系统的文件的具体存放位置。

名词解释:

非结构化数据:数据不能够存储在数据库中,或者是不便于数据库管理的文件数据,例如txt、pdf、word等文件数据。

猜你喜欢

转载自hbiao68.iteye.com/blog/1628944
今日推荐