NUS_WIDE数据处理

单词异常的识别   

计算WT的相似度

利用这个相似度找到knn

k个近邻的标签补全或删除(也就是第二次降噪)(可以利用词频分析)  

NLP相似度计算

NUS_WIDE数据库是计算机视觉领域常用的数据库,NUS_WIDE HomePage  http://lms.comp.nus.edu.sg/research/NUS-WIDE.htm

下面介绍一下数据库制作方法:

    打开上方超链接,
    下载这几个文件,其中主要用到1, 2, 3;该数据库的主要信息官网上介绍的很详细,本人不再说明,打开Low_Level_Features文件夹,将下图所示的三个文件读取出;
    三个文件分别对应269648张图片的特征,每个样本为500维的词袋视觉特征,BoW_Test_int 是按照官网上的划分的测试集, BoW_Train_int 是对应的训练集
    打开tags文件夹,看到下图所示的三个文件,AllTags1k 对应269648张图片的文本特征,每个样本1000维的文本索引向量,读取出来并保存。
    下面是最关键的步骤,索引的制作。AllLabels 文件夹下有81个文本文件,分别对应该类的索引,将81个文件读取出来做成369648*81的索引矩阵,其中做索引矩阵时尽量按照每类样本数量进行排序,数量最多的作为第一类,最少的作为最后一类。由于该数据库太大,参考相关文章,大部分都是用的前十类进行相关实验,前十类共有186577个样本,每一类的样本数如下图所示,,依照索引再分别取出对应的前十类的图像特征和文本特征,最后做出来的数据库图像、文本、索引大小分别为269648*500、269648*1000、269648*10。按照官网训练集和测试集的分类,原有的161789的训练集变为111810,原有的107859的测试集变为74767,样本的对应维度不变。

猜你喜欢

转载自blog.csdn.net/qq_15150903/article/details/84852639
今日推荐