文件分散器

本文是多年前的一篇草稿.

1.介绍

用途:
.当文件数量很大,无法保存在单一目录下时,需要把文件自动分散到不同的目录下.

特性:
.指定一个$HOME目录,可限定每个目录下最多文件数量
.分级目录保存，如$HOME\1,$HOME\2.在$HOME\1下再分目录保存，以保证可容纳足够数量的文件.
   按每个目录最大文件数2000个计算，3级可存储的文件数为：2000*2000*2000个文件
.文件名：外部指定，文件名重复时覆盖
.并行考虑：多进程或多线程的情况下,不同进程设置不同的输出目录：如把$HOME\1,$HOME\2分配给不同的进程。
   其中,1,2作为域。输出文件设置主目录外，每个进程指定一个输出域。
   

2.实现

/////////////////////////////////////////////////////////////////
/// 目录层级信息
struct CDirLevelInfo {
	unsigned int num_; ///< 目录(或文件)个数
	unsigned int max_id_; ///< 最大id 
public:
	CDirLevelInfo():num_(0),max_id_(0) {
	}
};
/////////////////////////////////////////////////////////////////
class LS_API CFileStorageDisperser {
	int DetermineLastOutputPath(); ///< 上次最后输出路径信息.仅服务器启动时调用
	int OutputFile_i(const char *fn,unsigned char *buf,unsigned long len);
	int DetermineOutputPath(); ///< 确定当前输出路径
	////< 取目录下子目录个数,最大目录id
	unsigned int GetSubDir(string &dir,unsigned int &num,unsigned int &max_id);
	///< flag=1:文件数 flag=2目录数
	unsigned int GetDirFileNum(string &dir,int flag); ///< 检查目录下文件数

	void SetFileNumLimit(unsigned long max_num) { max_file_num_ = max_num; }

	CDirLevelInfo *dli_; ///< 目录层级信息
public:
	string root_path_; ///< 主路径
	unsigned long cur_file_num_; ///< 当前文件目录下文件数
	unsigned long max_file_num_; ///< 每目录最大文件个数
	unsigned short dir_level_; ///< 子目录级数

	ACE_Thread_Mutex mutex_; ///< 
public:
	CFileStorageDisperser();
	~CFileStorageDisperser();

	int SetRootPath(string &path,unsigned int max_num=2000); 
	string& GetRootPath() { return root_path_; }
	void SetDirLevel(unsigned short num);

	int OutputFile(const char *fn,unsigned char *buffer,unsigned int len,string *path_file); ///< 输出文件
};

3.测试代码

	CFileStorageDisperser fsd;
//	fsd.SetDirLevel(2); ///< 设置目录级数为2级
	string root = "filehome\\test_pic";
	fsd.SetRootPath(root,2); ///< 每个目录下最多2个文件

	int file_num=40; ///< 创建40个文件
	unsigned long len = 10;
	unsigned char *buffer = new unsigned char[len];

	for (int i=0;i<file_num;i++) {
		char file_name[256];
		sprintf(file_name,"pic%d",i+1);
		fsd.OutputFile(file_name,buffer,len);
	}