【First-order Methods】 1 Vector Spaces (Zen学习笔记）

其他 2018-10-08 06:49:54 阅读次数: 0

1 Vector Spaces

目录

1.5 Affine Sets

1.7.1 Subsets of (注)

1.10 Linear Transforamtions

1.11 The Dual Space

1.13 Adjoint Transformations

1.14 Norms of Linear Transformation

1.5 Affine Sets

affine set: $\forall x,y\in S(S\subseteq \mathbb{E} \quad is\, a\, real\, vector\, space,\,\lambda \in \mathbb{R})$ , $\lambda x+(1-\lambda )y\in S$ holds.
aff(S): for a set $S\subseteq E$ , aff(S) is the intersection of affine sets containing S.Clearly, it is the smallest affine set that containing S.
hypeplane: $H_{a,b}={x\in \mathbb{E}\,:\left \langle a,x \right \rangle=b}$ , $(a\in \mathbb{E},\, b\in \mathbb{R})$
half-spaces: $H_{a,b}={x\in \mathbb{E}\,:\left \langle a,x \right \rangle\leq b}$ , $(a\in \mathbb{E},\, b\in \mathbb{R})$

1.7 The Space $\mathbb{R}^{n}$

Q-inner product : $\left \langle x,y \right \rangle_{Q}=x^{T}Qy$
norm of vector： p-范数： $\left \| x \right \|_{p}=\left ( \sum_{i=1}^{n}\left | x_{i} \right | ^{p}\right )^{\frac{1}{p}}$ $\infty$ -范数： $\left \| x \right \|_{\infty}=max\left | x_{i} \right |$
norm of martix：列范数： $\left \| A \right \|_{_{1}}=max\limits_{1\leq j\leq n}\sum_{i=1}^{n}\left | a_{ij} \right |$ 行范数： $\left \| A \right \|_{\infty}=max\limits_{1\leq i\leq n}\sum_{j=1}^{n}\left | a_{ij} \right |$ 2-范数： $\left \| A \right \|_{2}=\sqrt{ \lambda_{max}(A^{T}A)}$ 21-范数： $\left \| A \right \|_{_{2,1}}=\sum_{i=1}^{n}\sqrt {\sum_{j=1}^{m}a_{ij}^{2}}=\sum_{i=1}^{n}\left \| A_{i,:} \right \|$ (每行2-范数求和)

1.7.1 Subsets of $\mathbb{R}^{n}$ (注)

nongegative orthant: $\mathbb{R}_{+}^{n}=(x_{1},x_{2},\,. \,.\,.\,.,x_{n})^{T}:\,x_{1},x_{2},\,. \,.\,.\,.,x_{n}\geq 0}$ (向量元素都大于等于0的）
positive orthant: $\mathbb{R}_{++}^{n}=(x_{1},x_{2},\,. \,.\,.\,.,x_{n})^{T}:\,x_{1},x_{2},\,. \,.\,.\,.,x_{n}> 0}$ (向量元素都大于0的）
unit simplex: $\bigtriangleup _{n}={x\in \mathbb{R^{n}}:x\geq 0,\, e^{T}x=1}$ (向量元素都大于等于0的且和为1的）

1.8 The Space $\mathbb{R}^{m\times n}$

$\left \langle A,B \right \rangle=Tr(A^{T}B)=\sum_{i=1}^{m}\sum_{j=1}^{n}a_{ij}b_{_{ij}},\quad A,B\in \mathbb{R}^{m\times n}$

1.8.2 Norms in $\mathbb{R}^{m\times n}$

Frobenius norm: $\left \| A \right \|_{F}=\sqrt{Tr(A^{T}A)}=\sqrt{\sum_{i=1}^{m}\sum_{j=1}^{n}a_{ij}^{2}}$
(a, b)-norm: $\left \| A \right \|_{a,b}=max\left\{\left \| Ax \right \|_{b}:\left \| x \right \|_{a}\leq 1\right\}$

1.10 Linear Transforamtions

linear-transformation: $\boldsymbol{A}:\mathbb{E}\rightarrow \mathbb{V}$

1.11 The Dual Space

linear functional: $\boldsymbol{A}:\mathbb{E}\rightarrow \mathbb{R}$
dual space $\mathbb{E}^{*}$ : all linear functional on $\mathbb{E}$
$f\in \mathbb{E}^{*},\exists v\in \mathbb{E},\ s.t.\,f(x)=\left \langle v,x \right \rangle$
dual norm: $\left \| f \right \|_{*}=max_{x}\left \{ \left \langle f,x \right \rangle :\left \| x \right \|\leq 1\right \}=sup\left \{ \frac{\left | f(x) \right |}{\left \| x \right \|} ,x\neq 0\right \}=sup\left \{ \frac{\left \langle v,x \right \rangle}{\left \| x \right \|} ,x\neq 0\right \}$
generalized Cauchy-Schwars inequlity: $\left | \left \langle f,x \right \rangle \right |\leq \left \| f \right \|_{_{*}}\left \| x \right \|\,for \,any \,f\in\mathbb{E}^{*},x\in\mathbb{E}$
向量范数对偶：需满足 $\frac{1}{p}+\frac{1}{q}=1$ ，如 1与 $\infty$ 范数，2范数本身
矩阵范数对偶：谱范数-核范数（特征值之和）

1.13 Adjoint Transformations

1.14 Norms of Linear Transformation

$\left \| \boldsymbol{A} \right \|=max\left \{ \left \| \boldsymbol{A} (x)\right \| _{\mathbb{V}}:\left \| x \right \|_{\mathbb{E}}\leq 1\right \}$

猜你喜欢

转载自blog.csdn.net/weixin_38716567/article/details/82933590

【First-order Methods】 1 Vector Spaces (Zen学习笔记）

【First-order Methods】 2 Extended Real-Valued Functions (Zen学习笔记）

MIT18.06学习笔记 - Lecture 6: Vector spaces and subspaces

2.1 Vector Spaces

【Numberical Optimization】3 Line Search Methods (zen学习笔记)

【Numberical Optimization】4 Trust-Region Methods (zen学习笔记)

【Numberical Optimization】5 Conjugate Gradient Methods (zen学习笔记)

【读书笔记】：MIT线性代数(2):Vector Spaces and Subspaces

STL_vector学习笔记1

STL学习_vector_1

读论文 Semantic Compositionality through Recursive Matrix-Vector Spaces

MIT Linear Algebra#2 Vector Spaces and Subspaces

【现代分析】 1 距离空间（Zen学习笔记）

Optimization Methods-1

Snapdragon Spaces 开发指南（1）

什么是一阶逻辑（First-order Logic）

Reptile: On First-Order Meta-Learning Algorithms

论文阅读 | Augmenting Neural Networks with First-order Logic

一阶谓词逻辑 First-order Logic

vector（1）

《Effective Java》学习笔记1 Consider static factory methods instead of constructors

Scala High-Order Methods

容器学习1——Vector容器的相关知识

DSA学习笔记——向量1（Vector模版类）

Gensim官方教程翻译（一）——语料库与向量空间（Corpora and Vector Spaces）

Gensim官方教程翻译（二）——语料库与向量空间（Corpora and Vector Spaces）

Neural Network Methods for Natural Language Processing 读书笔记1 —— 神经网络入门

就是GAN-萌新使用PaddlePaddle论文复现初探索之First-Order

Vector的学习笔记

vector学习笔记

今日推荐

Arc Browser for Windows 1.0 正式 GA

90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！

《美国对全球网络空间安全与发展的威胁和破坏》报告发布

火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？

北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”

周排行

rbac——界面、权限

Apache CXF + SpringMVC 整合发布WebService

so插件化

Vue.js实战系列---图标字体制作（svg格式）

PAT乙级 1007 素数对猜想(孪生素数对) (20分) ---（C语言 + 详细注释）

被IRM保护的文档，打开失败

Calendar和Date计算日期差的小问题

win10子系统ubuntu18.4安装docker

利用Wrap Shell Script定位Android Native内存泄漏

MySQL: Transaction (Part I - Basic Concept)

每日归档

更多

2024-05-03(19)

2024-05-02(0)

2024-05-01(4)

2024-04-30(1)

2024-04-29(40)

2024-04-28(0)

2024-04-27(56)

2024-04-26(39)

2024-04-25(22)

2024-04-24(36)