线性代数基础（一）

这是一个系列文章，主要参考资料就是尼尔森的quantum computation and quantum information的第二章，主要是整理，加上一些习题的解答。
首先是最为基础的部分，从计算机的来看量子，那就是一堆的矩阵，所以线性代数就非常重要了，这里把要用到的线性代数整理一下，包括一些在量子计算语境下的表达。

vector spaces \(C^n\) :

the space of all n-tuples of complex numbers \((z_1,... ,z_n)\) .

向量空间中的元素叫做向量，量子力学中一般用\(|\varphi \rangle\)表示，也可以以矩阵的形式表示，即
\[ \left[ \begin{matrix} z_1\\ \vdots\\ z_n \end{matrix} \right] \]
我们在向量空间上定义了以下两个操作：

addition operation
\[ \left[\begin{matrix}z_1\\\vdots\\z_n\end{matrix}\right]+\left[\begin{matrix}z_1'\\\vdots\\z_n'\end{matrix}\right]\equiv\left[\begin{matrix}z_1+z_1'\\\vdots\\z_n+z_n'\end{matrix}\right] \]
multiplication by a scalar operation
\[ z\left[\begin{matrix}z_1\\\vdots\\z_n\end{matrix}\right]\equiv\left[\begin{matrix}zz_1\\\vdots\\zz_n\end{matrix}\right] \]
contains a special zero vector

vector subspace

定义：A vector subspace of a vector space V is a subset W of V such that W is also a vector space, that is, W must be closed under scalar multiplication and addition

三维空间的子空间是一个平面，二维空间的子空间是一条线，所以并不是维数相同就一定是一个空间，他们的基可以相互表达。

Bases and linear independence

spanning set

向量空间中的每一个向量都可以写成spanning set中向量的线性组合，一个向量空间可以有不止一个的spanning set.

\(| v_{1} \rangle \equiv \left[ \begin{array}{l}{1} \\ {0}\end{array}\right] \quad | v_{2} \rangle \equiv \left[ \begin{array}{l}{0} \\ {1}\end{array}\right]\) 和 \(| v_{1}’ \rangle \equiv \frac{1}{\sqrt{2}} \left[ \begin{array}{l}{1} \\ {1}\end{array}\right] \quad | v_{2}’ \rangle \equiv \frac{1}{\sqrt{2}} \left[ \begin{array}{r}{1} \\ {-1}\end{array}\right]\)可以是同一个空间的spanning set

spanning set 不要求set里面的向量线性无关，只需要set里面的向量能张成整个空间。

linearly dependent

if there exists a set of complex numbers \(a_{1}, \dots, a_{n}\) with \(a_{i} \neq0\) for at least one value of \(i\), such that
\[ a_{1} | v_{1} \rangle+a_{2} | v_{2} \rangle+\cdots+a_{n} | v_{n} \rangle=0 \]
It can be shown that any two sets of linearly independent vectors which span a vector space V contain the same number of elements.

证明：

如果一个空间中有两组元素个数不同的spanning set都是线性无关，即\(| v_{1} \rangle, \ldots, | v_{M} \rangle\)和\(| w_{1} \rangle, \ldots, | w_{N} \rangle\)，假定\(M>N\)。

for m=1 to M \(| v_{m} \rangle=\sum_{n} b_{nm} | w_{n} \rangle\)，因为\(| w_{n} \rangle\)是spanning set，所以一定能用线性组合表达出\(| v_{m} \rangle\)。

如果\(| v_{m} \rangle\)线性无关，则不存在非零\(a_1,a_2,...,a_M\)满足下列等式：\(a_{1} | v_{1} \rangle+a_{2} | v_{2} \rangle+\cdots+a_{M} | v_{M} \rangle=0\)

即：\[\sum_ma_m\sum_{n} b_{nm} | w_{n} \rangle=0\]

\[\sum_m\sum_{n} a_mb_{nm} | w_{n} \rangle=0\]

\[\sum_n(\sum_{m} a_mb_{nm}) | w_{n} \rangle=0\]

又因为\(| w_n \rangle\)是线性无关的，所以，要使上述等式=0，只能让每一个系数都为0。即对任意\(| w_n \rangle\)，\(\sum_{m} a_mb_{nm}=0\)

\(b_{11} a_{1}+b_{12} a_{2}+\cdots+b_{1 M} a_{M}=0\\b_{21} a_{1}+b_{22} a_{2}+\dots+b_{2 M} a_{M}=0\\\dots\\b_{N 1} a_{1}+b_{N 2} a_{2}+\cdots+b_{N M} a_{M}=0\)

因为\(M>N\)，未知数的个数大于方程的个数，所以一定存在非0解

与假设矛盾，所以\(M=N\)

basis

spanning set + linearly independent = basis

basis一定是spanning set，但是spanning set不一定是basis，basis还有更高的要求，要求set里面的向量都是线性无关的。

The number of elements in the basis is defined to be the dimension of V.

维度一样的空间是同一个空间吗？

NO，一个三维空间可以无数个二维子空间，蛋哪些二维空间并不是同一个空间。

例如：

\(| v_{1} \rangle \equiv \left[ \begin{array}{l}1\\ 0\\0\\0 \end{array}\right] \quad | v_{2} \rangle \equiv \left[ \begin{array}{l}0 \\ 1\\0\\0\end{array}\right]\) 和 \(| v_{1}’\rangle \equiv \left[ \begin{array}{l}0\\ 0\\1\\0 \end{array}\right] \quad | v_{2}’ \rangle \equiv \left[ \begin{array}{l}0 \\ 0\\0\\1\end{array}\right]\)

他们张成的空间都是二维，因为基只有两个，但是他们生成的空间却不能相互表达（四维空间的两个二维子空间）。

Linear operator and matrics

linear operator

A linear operator between vector spaces \(V\) and \(W\) is defined to be any function \(A :\) \(V \rightarrow W\) which is linear in its inputs,
\[ A\left(\sum_{i} a_{i} | v_{i}\right\rangle )=\sum_{i} a_{i} A\left( | v_{i}\right\rangle ) \]
线性算子的唯一要求就是对输入是线性的。

特殊的线性算子：
identity operator：\(I_{V} | v \rangle \equiv | v \rangle\)

zero operator：\(0 | v \rangle \equiv 0\)

Once the action of a linear operator A on a basis is specified, the action of A is completely determined on all inputs.因为这个空间里的任意向量都可以由基的线性组合来表示，而线性算子对输入又是线性的。

In fact, the linear operator and matrix viewpoints turn out to be completely equivalent.

证明：

矩阵是线性算子：矩阵对输入是线性的：
\[ A\left(\sum_{i} a_{i} | v_{i}\right\rangle )=\sum_{i} a_{i} A | v_{i} \rangle \]
（6）式是矩阵的基本性质

线性算子是矩阵：

假定 \(A\) 是从 \(V\) 空间到\(W\)空间的线性算子，\(| v_{1} \rangle, \ldots, | v_{m} \rangle\) 是 \(V\)空间的基 \(| w_{1} \rangle, \ldots, | w_{n} \rangle\) 是 \(W\) 空间的基

那么对于任意的\(j\)从1到\(m\)，一定存在一组复数\(A_{1 j}\)到\(A_{n j}\)，使得下面等式成立：
\[ A | v_{j} \rangle=\sum_{i} A_{i j} | w_{i} \rangle \]
因为 \(A\) 是把 \(| v_{j} \rangle\) 映射到 \(W\) 空间，那么映射的结果，一定可以用\(W\)空间基的线性组合来表示。

(E2.3)Matrix representation for operator products

假设\(A\)是向量空间\(V\)到\(W\)的线性算子，\(B\)是\(W\)到\(X\)的线性算子，\(| v_{i} \rangle, | w_{j} \rangle,\) 和 \(| x_{k} \rangle\)分别是上面三个空间的基。
\[ \begin{equation} \begin{aligned} BA | v_{i} \rangle &= B\sum_{j} A_{j i} | w_{j} \rangle\\ &=\sum_{j} A_{j i} B| w_{j} \rangle\\ &=\sum_{j} A_{j i} \sum_{k} B_{k j}| x_{k} \rangle\\ &=\sum_{j} \sum_{k} A_{j i} B_{k j}| x_{k} \rangle\\ \end{aligned} \end{equation} \]
从第一步到第二步，因为\(A_{ji}\)只是数值，所以可以放到外面，这里需要注意的是下标，变化的是前一个下标。

(E2.4)Matrix representation for identity

Show that the identity operator on a vector space V has a matrix representation which is one along the diagonal and zero everywhere else, if the matrix representation is taken with respect to the same input and output bases. This matrix is known as the identity matrix.

证明Identity matrix是对角线为1其余为0的矩阵。

证明：
\[ I | v_{j} \rangle=\sum_{i} I_{i j} | v_{i} \rangle \]
只有当\(i=j\)的时候\(I_{i j}\)才为1，所以\(| v_{i} \rangle=| v_{j} \rangle\)。

所以对于任意的输入来说，输入输出都是相同的。

The Pauli matrices

\[ \sigma_{0} \equiv I \equiv \left[ \begin{array}{ll}{1} & {0} \\ {0} & {1}\end{array}\right] \]

\[ \sigma_{1} \equiv \sigma_{x} \equiv X \equiv \left[ \begin{array}{ll}{0} & {1} \\ {1} & {0}\end{array}\right] \]

\(X\)门bit flip，可以把\(| 0 \rangle\)变成\(| 1 \rangle\)，\(| 1 \rangle\)变成\(| 0 \rangle\)，如果把\(| 0 \rangle\)和\(| 1 \rangle\)当作是坐标x轴和y轴，相当于是绕着45°的位置，即\(| 1 \rangle\)的位置旋转。
\[ \sigma_{2} \equiv \sigma_{y} \equiv Y \equiv \left[ \begin{array}{rr}{0} & {-i} \\ {i} & {0}\end{array}\right] \]

\[ \sigma_{3} \equiv \sigma_{z} \equiv Z \equiv \left[ \begin{array}{rr}{1} & {0} \\ {0} & {-1}\end{array}\right] \]

Inner products

定义

An inner product is a function which takes as input two vectors \(| v \rangle\) and \(| w \rangle\) from a vector space and produces a complex number as output.

向量空间上的二元复数函数。

the notation \(\langle v |\) is used for the dual vector to the vector \(|v \rangle\)，对偶运算是一个将内积向量空间映射到复数空间的线性算子。

内积向量空间是定义了内积运算的向量空间，在定义内积之前，向量空间里面只有加法和数乘。在有限维的复数向量空间里面，希尔伯特空间和内积空间是一个意思。

性质

内积运算对第二个输入是线性的：
\[ ( | v\rangle, \sum_{i} \lambda_{i} | w_{i} \rangle )=\sum_{i} \lambda_{i}( | v\rangle, | w_{i} \rangle ) \]
\(( | v\rangle, | w \rangle )=( | w\rangle, | v \rangle )^{*}\)
\(( | v\rangle, | v \rangle ) \geq 0\) 只有当向量是0向量的时候才是0

在复数上的定义是：
\[ \left(\left(y_{1}, \ldots, y_{n}\right),\left(z_{1}, \ldots, z_{n}\right)\right) \equiv \sum_{i} y_{i}^{*} z_{i}=\left[y_{1}^{*} \ldots y_{n}^{*}\right] \left[ \begin{array}{c}{z_{1}} \\ {\vdots} \\ {z_{n}}\end{array}\right] \]

(E2.6)inner product conjugate-linear in the first argument

证明内积算子对第一个输入参数是共轭线性的，第一步到第二步是内积性子1，二到三是共轭的性质，三到四再次使用内积性质1.
\[ \begin{aligned} (\sum_{i} \lambda_{i} | w_{i}\rangle, | v \rangle ) &=( | v\rangle, \sum_{i} \lambda_{i} | w_{i} \rangle )^{*} \\ &=[\sum_{i} \lambda_{i}( | v\rangle, | w_{i}\rangle ) ]^{*} \\ &=\sum_{i} \lambda_{i}^{*}( | v\rangle, | w_{i} \rangle )^{*} \\ &=\sum_{i} \lambda_{i}^{*}\left( | w_{i}\right\rangle, | v \rangle ) \end{aligned} \]
两个向量是垂直的，如果他们的内积为0.

向量的norm的定义：\(\| | v \rangle \| \equiv \sqrt{\langle v | v\rangle}\)，如果这是一个单位向量，那么这个向量的norm为1，normalize一个向量：\(| v \rangle / \| | v \rangle \|\)

orthonormal 标准正交基

如果一组基，里面的向量都是正交的，并且每一个向量的norm都为1，那么这就是一个标准正交基了。

对于任何一组基\(| w_{1} \rangle, \ldots, | w_{d} \rangle\)，我们都可以用Gram–Schmidt的方式把他变成一组标准正交基\(| v_{1} \rangle, \ldots, | v_{d} \rangle\)，其过程如下：

定义\(| v_{1} \rangle \equiv | w_{1} \rangle / \| | w_{1} \rangle \|\)，把第一个向量归一化
对\(1 \leq k \leq d-1\)，定义\(| v_{k+1} \rangle\)
\[ | v_{k+1} \rangle \equiv \frac{ | w_{k+1} \rangle-\sum_{i=1}^{k}\left\langle v_{i} | w_{k+1}\right\rangle | v_{i} \rangle}{ \| | w_{k+1} \rangle-\sum_{i=1}^{k}\left\langle v_{i} | w_{k+1}\right\rangle | v_{i} \rangle \|} \]

其实不难理解，就是减去前面的已有正交基能够表达的部分，然后最后归一化。

(E2.8)证明Gram–Schmidt procedure后得到了标准正交基

使用的是归纳法，当k=1的时候，下式成立

\[ \begin{aligned} |v_1\rangle &= | w_{1} \rangle / \| | w_{1} \rangle \|\\ |v_{2} \rangle &=\frac{ | w_{2} \rangle-\left\langle v_{1} | w_{2}\right\rangle | v_{1} \rangle}{ \| w_{2} \rangle-\left\langle v_{1} | w_{2}\right\rangle | v_{1} \rangle\| }\\ \langle v_{1} | v_{2}\rangle &=\langle v_{1}| (\frac{ | w_{2} \rangle-\langle v_{1} | w_{2}\rangle | v_{1} \rangle}{ \| | w_{2} \rangle-\langle v_{1} | w_{2}\rangle | v_{1} \rangle\|}).\\ &=\frac{\left\langle v_{1} | w_{2}\right\rangle-\left\langle v_{1} | w_{2}\right\rangle\left\langle v_{1} | v_{1}\right\rangle}{ \| | w_{2} \rangle-\left\langle v_{1} | w_{2}\right\rangle | v_{1} \rangle \|} \\ &=0 \end{aligned} \]

在\(| v_{1} \rangle, \ldots, | v_{k} \rangle\)相互正交的情况下，证明\(| v_{k+1} \rangle\)和他们正交

对于\(| v_{j} \rangle\)(for j=1 to k),\(| v_{k+1} \rangle\)和他们的内积是：

\[ \begin{aligned} \left\langle v_{j} | v_{k+1}\right\rangle&=\langle v_{j}|(\frac{ | w_{k+1} \rangle-\sum_{i=1}^{k}\left\langle v_{i} | w_{k+1}\right\rangle | v_{i} \rangle}{ \| | w_{k+1} \rangle-\sum_{i=1}^{k}\left\langle v_{i} | w_{k+1}\right\rangle | v_{i} \rangle \|}).\\ &=\frac{\langle v_{j} |w_{k+1}\rangle-\sum_{i=1}^{k}\left\langle v_{i} | w_{k+1}\right\rangle \langle v_{j} | v_{i} \rangle} {\||w_{k+1}\rangle-\sum_{i=1}^{k}\left\langle v_{i} | w_{k+1}\right\rangle | v_{i} \rangle\|} \end{aligned} \]

\(\langle v_{j} | v_{i} \rangle=\delta_{i j}\)，\(\delta_{i j}\)是克罗内符号，他的定义是当\(i=j\)的时候为1，其余为0。所以，只有当\(i=j\)的时候，连等式右边才有值，且为\(\langle v_{j} |w_{k+1}\rangle\)。

\(\langle v_{j} |w_{k+1}\rangle-\langle v_{j} |w_{k+1}\rangle=0\) 所以新计算出来的\(|w_{k+1}\rangle\)和前面的正交基都正交。