护Block信息列表,以及Block与!DataServer之间的映射关系,其存储的元数据结构如下:
八、一种提高云存储小文件效率的解决方案
http://www.chinacloud.cn/show.aspx?&id=8105&cid=30
(美国西北太平洋国家实验室2007年的一份研究报告表明,他们系统中有1 200万个文件,其中94%的文件小于64 MB,58%的小于64 kB。在一些具体的科研计算环境中,也存在大量的小文件,例如,在某些生物学计算中可能会产生3 000万个文件,而其平均大小只有190 kB。)
系统为每个用户建立了3种队列:
序列文件队列(SequenceFile queue,SFQ),
序列文件操作队列(SequenceFile operation queue,SFOQ),
备用队列(Backup queue,BQ)。
其中,SFQ用于小文件的合并,SFOQ用于对合并后小文件的操作,BQ用于操作的小文件数超过SFQ或SFOQ长度的情况。