深度学习-1-数据操作

第一章:数据操作

一、N维数组样例 机器学习用的最多的数据结构式N维数组

0维数组标量 1.0 表示一个类别

1维数组 向量

2维数组 矩阵

3维数组 RGB图片

4维 RGB图片的批量

5维 一个视频的批量

二、创建数组

形状+每个元素的数据类型+每个元素的值

访问元素: 一个元素[1,2] 一行[1,:] 一列[1,:] 子区域[1:3,1:] [::3,::2]

参数共三个前两个是左开右闭的区间,第三个是步长,默认为1

三、基本操作

1.x=torch.arange 

2.x.shape  x.numel()访问形状和元素的数量

3x=x.reshape(3,4) 改变一个张量的形状而不改变元素数量和元素值

4.torch.zeros((2,3,4))  torch.ones((2,3,4))

使用全0、全1或者其他常量或者从特定分布中随机采用数字

5.torch.tensor([[2,1,4,3],[1,2,3,4],[4,3,2,1]])

通过提供包含数据的python列表来为每个张量中的每个元素赋予确定的值

四、常见的标准运算

1.+、-、*、/、**还有指数运算

x=torch.tensor([1.0,2,4,8])

y=torch.tensor([2,2,2,2])

x+y,x-y,x*y,x/y,x**y

torch.exp(x)

2.多个张量可以连接在一起

x=torch.arange(12,dtype=torch.float32).reshape((3,4))
y=torch.tensor([[2.0,1,4,3],[1,2,3,4],[4,3,2,1]])
torch.cat((x,y,dim=0)),torch,cat((x,y,dim=1))

3.通逻辑运算符构建二元张量

x==y

4.x.sum() 对张量中的所有元素求和产生一个只有一个元素的张量

5.注意广播机制

a=torch.arange(3).reshape((3,1))

b=torch.arange(2).reshape((1,2))

a+b

五、元素访问

x[-1]

x[1:3]

x[1,2]=9

x[0:2,:]=12

六、一些操作可能会导致新结果分配内存

before=id(y)

y=y+x

id(y)==before

如果想要执行原地操作:

z=torch.zeros_like(y)

print('id(z):',id(z))

z[:]=x+y

print('id(z):',id(z))

如果后续不重复使用x也可以使用x[:]=x+y或x+=y来减少内存

before=id(x)

x+=y

id(x)==before

七、转变

1.转化为Numpy张量

A=x.numpy()

B=torch.tensor(A)

type(A),type(B)

2.将大小为1的张量转化为Python标量

a=torch.tensor([3.5])

a,a.item(),float(a),int(a)

第二章 数据预处理

一、创建一个人工数据集,并存储在csv(逗号分隔值)文件中

import os
os.makedirs(os,path,join('..',data),exist_ok=True)
data_file=os.path.join('..','data','house_tiny.csv')
with open(data_file,'w') as f:
    f.write('NumRooms,Alley,Price\n') #列名
    f.write('NA,Pave,127500\n') #每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

二、从创建的CSV文件中加载原始数据

import pandas as pd
data=pd.read_csv(data_file)
print(data)

三、缺失的数据如何处理 典型的有插值和删除

inputs,outputs=data.iloc[:,0:2],data.iloc[:,2]
inputs=inputs.fillna(inputs.mean())
print(inputs)

对于inputs中的类别值或离散值,我们可以将NaN视为一个类别inputs=pd.get_dummies(inputs,dummy_na=True)
print(inputs)

现在inputs和outputs中的所有条目都是数值类型了,可以转换为张量格式

import torch
x,y=torch.tensor(inputs.values),torch.tensor(outputs.values)
x,y

猜你喜欢

转载自blog.csdn.net/weixin_68479946/article/details/128959883