最近在读深度学习的文献资料，觉得专有名词还是挺多的。网上搜集到一些，背一下。
activation 激活值
activation function 激活函数
additive noise 加性噪声
autoencoder 自编码器
Autoencoders 自编码算法
average firing rate 平均激活率
average sum-of-squares error 均方差
backpropagation 后向传播
basis 基
basis feature vectors 特征基向量
batch gradient ascent 批量梯度上升法
Bayesian regularization method 贝叶斯规则化方法
Bernoulli random variable 伯努利随机变量
bias term 偏置项
binary classfication 二元分类
class labels 类型标记
concatenation 级联
conjugate gradient 共轭梯度
contiguous groups 联通区域
convex optimization software 凸优化软件
convolution 卷积
cost function 代价函数
covariance matrix 协方差矩阵
DC component 直流分量
decorrelation 去相关
degeneracy 退化
demensionality reduction 降维
derivative 导函数
diagonal 对角线
diffusion of gradients 梯度的弥散
eigenvalue 特征值
eigenvector 特征向量
error term 残差
feature matrix 特征矩阵
feature standardization 特征标准化
feedforward architectures 前馈结构算法
feedforward neural network 前馈神经网络
feedforward pass 前馈传导
fine-tuned 微调
first-order feature 一阶特征
forward pass 前向传导
forward propagation 前向传播
Gaussian prior 高斯先验概率
generative model 生成模型
gradient descent 梯度下降
Greedy layer-wise training 逐层贪婪训练方法
grouping matrix 分组矩阵
Hadamard product 阿达马乘积
Hessian matrix Hessian 矩阵
hidden layer 隐含层
hidden units 隐藏神经元
Hierarchical grouping 层次型分组
higher-order features 更高阶特征
highly non-convex optimization problem 高度非凸的优化问题
histogram 直方图
hyperbolic tangent 双曲正切函数
hypothesis 估值，假设
identity activation function 恒等激励函数
IID 独立同分布
illumination 照明
inactive 抑制
independent component analysis 独立成份分析
input domains 输入域
input layer 输入层
intensity 亮度/灰度
intercept term 截距
KL divergence 相对熵
KL divergence KL分散度
k-Means K-均值
learning rate 学习速率
least squares 最小二乘法
linear correspondence 线性响应
linear superposition 线性叠加
line-search algorithm 线搜索算法
local mean subtraction 局部均值消减
local optima 局部最优解
logistic regression 逻辑回归
loss function 损失函数
low-pass filtering 低通滤波
magnitude 幅值
MAP 极大后验估计
maximum likelihood estimation 极大似然估计
mean 平均值
MFCC Mel 倒频系数
multi-class classification 多元分类
neural networks 神经网络
neuron 神经元
Newton's method 牛顿法
non-convex function 非凸函数
non-linear feature 非线性特征
norm 范式
norm bounded 有界范数
norm constrained 范数约束
normalization 归一化
numerical roundoff errors 数值舍入误差
numerically checking 数值检验
numerically reliable 数值计算上稳定
object detection 物体检测
objective function 目标函数
off-by-one error 缺位错误
orthogonalization 正交化
output layer 输出层
overall cost function 总体代价函数
over-complete basis 超完备基
over-fitting 过拟合
parts of objects 目标的部件
part-whole decompostion 部分-整体分解
PCA 主元分析
penalty term 惩罚因子
per-example mean subtraction 逐样本均值消减
pooling 池化
pretrain 预训练
principal components analysis 主成份分析
quadratic constraints 二次约束
RBMs 受限Boltzman机
reconstruction based models 基于重构的模型
reconstruction cost 重建代价
reconstruction term 重构项
redundant 冗余
reflection matrix 反射矩阵
regularization 正则化
regularization term 正则化项
rescaling 缩放
robust 鲁棒性
run 行程
second-order feature 二阶特征
sigmoid activation function S型激励函数
significant digits 有效数字
singular value 奇异值
singular vector 奇异向量
smoothed L1 penalty 平滑的L1范数惩罚
Smoothed topographic L1 sparsity penalty 平滑地形L1稀疏惩罚函数
smoothing 平滑
Softmax Regresson Softmax回归
sorted in decreasing order 降序排列
source features 源特征
sparse autoencoder 消减归一化
Sparsity 稀疏性
sparsity parameter 稀疏性参数
sparsity penalty 稀疏惩罚
square function 平方函数
squared-error 方差
stationary 平稳性（不变性）
stationary stochastic process 平稳随机过程
step-size 步长值
supervised learning 监督学习
symmetric positive semi-definite matrix 对称半正定矩阵
symmetry breaking 对称失效
tanh function 双曲正切函数
the average activation 平均活跃度
the derivative checking method 梯度验证方法
the empirical distribution 经验分布函数
the energy function 能量函数
the Lagrange dual 拉格朗日对偶函数
the log likelihood 对数似然函数
the pixel intensity value 像素灰度值
the rate of convergence 收敛速度
topographic cost term 拓扑代价项
topographic ordered 拓扑秩序
transformation 变换
translation invariant 平移不变性
trivial answer 平凡解
under-complete basis 不完备基
unrolling 组合扩展
unsupervised learning 无监督学习
variance 方差
vecotrized implementation 向量化实现
vectorization 矢量化
visual cortex 视觉皮层
weight decay 权重衰减
weighted average 加权平均值
whitening 白化
zero-mean 均值为零
machine learning : 机器学习
deep learning : 深度学习
image processing : 图像处理
natural language processing : 自然语言处理
algorithms : 算法
training data set : 训练数据集
facial detection : 面部识别
malware detection : 恶意程序检测
adversarial sample : 对抗样本
countermeasuring techniques : 防御技术
Indiscriminate Attack：非针对性攻击
Adversary’s goal：敌手目标
Adversary’s knowledge ：敌手知识
Adversary’s capability：敌手能力
Attack strategy：攻击策略
Gradient Ascent Strategy：梯度下降策略
Generative Model：生成模型
Discriminative model：判别模型
The Direct Gradient：直接梯度法
Accuracy：准确率
Loss：损失值
White-Box Attack：白盒攻击
Blank-Box Attack：黑盒攻击
Reconstruction Attack：重建攻击
Proactive Defense：主动防御
Reactive Defense：被动防御
Reject On Negative Impact：拒绝消极影响
Stackelberg Games：斯塔克尔伯格博弈
Defensive Distillation：防御精馏
Differential Privacy：差分隐私
Homomorphic Encryption：同态加密
Pattern Recognition：模式识别
RNN, Recurrent Neural Networks：循环神经网络
FNNs(Feed-forward Neural Networks)：前向反馈神经网络
Convolutional layer:卷积层
Rectified Linear Units layer,ReLU layer:线性整流层
Pooling layer :池化层
Fully-Connected layer:全连接层
Face Recognition System :面部识别系统 (FRS)
Adversarial Classification : 敌手分类
Adversarial Learning ：对抗学习
try-and-error：试错
Causative Attack ：诱发型攻击
Security Violation ：安全损害
Integrity Attack ：完整性攻击
Availability Attack：可用性攻击
Privacy Violation Attack ：隐私窃取攻击
Specificity of an Attack ：攻击的专一性
Obfuscation Attacks：迷惑攻击
Counterintuitive：反直觉
Poisoning Attack：投毒攻击
Centroid：中心值
Bridge：桥
Spoofing Attack ：欺骗攻击
Avoiding Attack：逃避攻击
Impersonate Attack：模仿攻击
The Least Likely Class：最小相似类
Inversion Attack：逆向攻击
Confidence Values：置信值
Equation-Solving Attacks：等式求解攻击
Model Extraction Attacks：模型提取攻击
Arms Race：攻防技术竞赛
Non-stationary：不平稳
Data Sanitization：数据清洗
Randomized Prediction Games：随机预测博弈
Deep Contractive Networks：深度收缩网络
Crowdsourcing：众包
Randomized Response：随机响应
Logistic Regression：逻辑回归
regression analysis：回归分析