最近 NVIDIA が 7 番目の 1 兆ドル企業になり、AI がブームになっていることから、GPU がハードウェアの重要な部分であることは明らかです。しかし、それらは何であり、AI コンピューティングに対して実際に何をするのでしょうか?
線形代数
現代の機械学習の大部分は、線形代数と少しの微積分で処理されます。
ベクトルと行列
- 物理学および関連工学では、ベクトルは空間を指す矢印として考えられており、大きさと方向があります。
- コンピューター サイエンスでは、ベクトル (または配列) は、各要素が属性に対応する順序付きリストです。
数学者はこれを一般化して、ベクトルは互いに乗算してスカラーに加算できると述べています。
行列はベクトルに似ていますが、2 つの次元を持ち、常に行、次に列として表現されます。2x3 行列には 2 行と 3 列があります。
ドット積
内積は本質的に、2 つの数値セットが互いにどの程度よく並んでいるかを表します。内積の大きさが小さい場合はアライメントがほとんどないことを意味し、大きさが大きい場合はアライメントが多いことを意味します。検討
ドアを開けるとき、ノブに近づくと、ドアにかかる力とドアの動きのバランスが良くなります。数学的には、これは大きなドット積です。ヒンジ付近を押してドアを開けようとすると、力と動きの整合性が悪くなります。小さなドット製品で扉が揺れにくい！
ドット積は、各ベクトルの大きさ (長さ) とそれらの間の角度の余弦の積として計算できます。視覚的には、これは空間内の 2 本の矢印の変形です。
あるいは、ドット積は、2 つの行列の各要素の乗算と合計として計算できます。この構成は、機械学習の応用を理解するのにさらに役立ちます。
a と b の内積は、要素の各ペアの積の合計です。