在Pytorch上使用稀疏矩阵

在Pytorch上使用稀疏矩阵

最近在写一个NLP的小项目,用到了Pytorch做神经网络模型。但是众所周知NLP的一个特点就是特征矩阵是稀疏矩阵,当时处理稀疏矩阵用的是scipy.sparse,现在要把它放到Pytorch中,还是费了一点周折的

首先,如何把python的二维数组(这里以trainData为例)转换为稀疏矩阵呢?这一步很简单,只需要

from scipy.sparse import coo_matrix,然后使用coo_matrix(trainData)就好了

其实 scipy.sparse下面有三种稀疏矩阵,这篇文章有一个大概的介绍:

scipy.sparse.coo_matrix是三元组,不能按行也不能按列切片

to_csr 是按行压缩的稀疏矩阵,按行切片比较快,可以按列切片

to_csc 是按列压缩的稀疏矩阵,按列切片比较快,可以按行切片

这篇文章介绍了稀疏矩阵的COO和CSR存储方式:https://blog.csdn.net/u012101561/article/details/90348288

这里我们使用coo_matrix就好,是因为我们等会要重新创建torch上的稀疏矩阵,这里只要参数就好了。

如何将scipy上的稀疏矩阵转换为torch上的:

values =X_train.data
indices = np.vstack((X_train.row, X_train.col))
i = torch.LongTensor(indices)
v = torch.FloatTensor(values)
shape = X_train.shape
X_train=torch.sparse.FloatTensor(i, v, torch.Size(shape))

上面这部分可以写成个函数

要恢复为完整的二维tensor,直接调用X_train的to_dense()方法就好了,返回值就是普通的tensor

但是,遇到了新的问题,Torch上的稀疏矩阵怎么作为神经网络模型的输入呢?我在网上查了半天也没看到,只有一个keras的教程:https://www.jianshu.com/p/a7dadd842f78。个人觉得在torch上应该也是有办法的,遇到了这个问题的同学可以在Github上查找一些torch做NLP的项目,因为我不是做这个方向的,所以没有深究

什么,你问我是怎么解决的?我把项目放到内存比个人电脑大得多的服务器上运行了2333

猜你喜欢

转载自www.cnblogs.com/jiading/p/11979135.html