NLP自然语言处理
一、相关概念
1．深度学习的概念
a.机器学习的分支，以神经网络为基础，对数据的特征进行学习。
2．与机器学习的区别
a.深度学习不需要手动的进行特征工程
b.深度学习需要的数量多，需要的计算性能强
3.神经网络
模仿生物的神经系统实现的模型，能够对数据的特征进行学习
4.神经元
a．神经网络中的最小的单元。不同的神经元组合能够得到神经网络
b．结构: t = f(Wx+b)
c．内积:点积，向量的乘法（对应位置相乘相加)，得到一个标量。
单层的神经网络:不常见
两层的神经网络: 常见 —感知机
a．感知机:两层神经网络。输入层有多个神经元，输出层一个神经元。
b.感知机的作用:进行一个二分类
多层神经网络:
a.每一层的神经元之间没有连接
b.全连接层:当N层的每一个神经元和前一层的每一个神经元都有链接的时候，第N层就是全连接层。就是在进行矩阵乘法，进行特征的变换，就在进行y=wX+b
5.激活函数
把原来的数据进行变换
a.为什么要使用非线性的激活函数
i．线性的激活函数或者是不是用激活函数，多层神经网络和两层神经网络没有
区别
ii．是用非线性的激活函数能够增加模型的非线性分割能力
b.为什么要使用简单的激活函数(RELU)
i. RELU方便求导
ii. sigmoid在取值很大或很小、很慢
c．激活函数的作用:
i.增加非线性分割能力
ii.增加模型的稳健性(让模型能够拟合不同的数据)
iii.缓解梯度消失
iv.加速模型收敛
6.常见的激活函数
i. sigmoid:(0,1)
ii.tanh:(-1,1)
iii.relu:max(0,x)
iv.ELU:a(e^x-1)
二、Pytorch
与tansorflows是一对，都是深度学习平台
（一）基本元素操作
Tensor（张量），相当于NumPy 的 ndarray数据结构 ，区别在于可以在 GPU 上使用来加速计算。
from __future__ import print_function
import torch
1.创建矩阵操作（没有初始化）
x = torch.empty(5, 3)
print(x)
# 结果
tensor([[1.8646e+25, 8.1836e-43, 1.8646e+25],
[8.1836e-43, 1.8646e+25, 8.1836e-43],
[1.8646e+25, 8.1836e-43, 1.8646e+25],
[8.1836e-43, 1.8646e+25, 8.1836e-43],
[1.8646e+25, 8.1836e-43, 1.8646e+25]])
2.创建矩阵操作（有初始化）
x = torch.rand(5, 3) # 以标准高斯分布的方式赋值，均值为0 方差为1
print(x)
# 结果
tensor([[0.5848, 0.8537, 0.0152],
[0.2734, 0.4674, 0.6391],
[0.4461, 0.0762, 0.8183],
[0.1897, 0.1674, 0.9594],
[0.7556, 0.0022, 0.1531]])
对比有无初始化矩阵：当声明一个未初始化的矩阵时，它本身不包括任何确切的值，当创建一个未初始化的矩阵时，分配给矩阵的内存中有什么数据就赋值给了这个矩阵，本质上是毫无意义的脏数据。
3.创建全0矩阵，并指定数据元素类型为long操作
x = torch.zeros(5, 3, dtype=torch.long)
print(x)
# 结果
tensor([[0, 0, 0],
[0, 0, 0],
[0, 0, 0],
[0, 0, 0],
[0, 0, 0]])
4.直接通过数据创建张量
x = torch.tensor([2.5, 3.5])
print(x)
# 结果
tensor([2.5000, 3.5000])
5.通过现有的一个张量创建尺寸相同的新张量
# 利用new_ones方法得到新张量
x = x.new_ones(5, 3, dtype=torch.double) # new_* methods take in sizes
print(x)
# 利用randn_like方法得到尺寸相同x的新张量,并采用随机初始化对其赋值
x = torch.randn_like(x, dtype=torch.float) # 重载 dtype!
print(x) # 结果size一致
6.求张量尺寸
print(x.size())
# 结果
torch.Size(5,3)
torch.Size函数本质上返回的是一个tuple，因此支持一切元组的操作
（二）基本运算操作
1.加法
# 方式(1)
y = torch.rand(5, 3)
print(x + y)
# 方式(2)
print(torch.add(x, y))
# 方式(3)
result = torch.empty(5, 3)
torch.add(x, y, out=result)
print(result)
# 方式(4) in_place原地置换
# adds x to y
y.add_(x)
print(y)
任何一个就地改变张量的操作后面都固定一个 _ 。例如 x.copy_（y）， x.t_（）将更改x
2.类似于Numpy的方式对张量进行操作
print(x[:, 1])
