原文的地址：https://www.cnblogs.com/X-Jun/p/9808727.html
前言
说实话，我感觉这是一个大坑，不知道为什么要设计成这样混乱的形式。
在我用的时候，以row_major矩阵，并且mul函数以向量左乘矩阵的形式来绘制时的确能够正常显示，并不会有什么感觉。但是也有人会遇到明明传的矩阵没有问题，却怎么样都绘制不出的情况；或者使用列矩阵，在mul函数用向量左乘的形式却又可以绘制出来的疑问。因此本文目的就是要扫清这些障碍。
ps. 本问题由淡一抹夕霞提供。
DirectX11 With Windows SDK完整目录
欢迎加入QQ群: 727623616 可以一起探讨DX11，以及有什么问题也可以在这里汇报。
一些线性代数基础
行主矩阵与列主矩阵
首先要了解的是，行主矩阵是这样的：
在C++传递给HLSL的字节流数据是不会发生变化的，这一点可以通过VS自带的图形调试器可以察看。
但是数据传递给HLSL后，matrix(float4x4)的属性决定如何去接受这些数据。
默认情况下，matrix(float4x4)是列矩阵，这意味着它会按列主矩阵的形式进行选取，相当于进行了一次转置。
如果想让它按行主矩阵的形式进行选取，则应当在前面加上row_major修饰符以避免"转置"。
HLSL中的mul函数
微软的官方文档是这么描述mul函数的(微软官方文档链接)，这里进行个人翻译：
使用矩阵数学来进行矩阵x左乘矩阵y的运算，要求矩阵x的列数与矩阵y的行数相等。
如果x是一个向量，那么它将被解释为行向量。
如果y是一个向量，那么它将被解释为列向量。
表面上看起来很美满，很智能，但稍有不慎就要在这里踩大坑了。
dp4指令
dp4是一个汇编指令(微软官方文档链接)，使用方法如下：
dp4 dst, src0, src1
其中 src0和src1是一个向量，计算它们的点乘并将结果传给dst。
当然这里并不是要教大家怎么写汇编，而是怎么看。
为了了解mul函数是如何进行向量与矩阵的乘法运算，我们需要探讨一下它的汇编实现。这里我所使用的是row_major矩阵。首先是向量作为第一个参数的情况：
可以看到这种运算方式实际上却是按照向量右乘矩阵的形式进行的运算。
然后是将向量作为第二个参数的情况（仅单纯的参数交换）:
无论是行向量左乘矩阵，还是列向量右乘矩阵，在汇编层面上都是用dp4的形式进行计算，这是因为对矩阵来说在内存上是以4个行向量的形式存储的，传递一行比传递一列更简单，适合进行与列向量的运算，并且效率会更高。
但是交换两个参数却会导致运算结果/显示结果的不同，这时候就要看看矩阵所存的值了。
先看一段HLSL代码：
struct VertexPosNormalTex
{
float3 PosL : POSITION;
float3 NormalL : NORMAL;
float2 Tex : TEXCOORD;
};
struct VertexPosHWNormalTex
{
float4 PosH : SV_POSITION;
float3 PosW : POSITION; // 在世界中的位置
float3 NormalW : NORMAL; // 法向量在世界中的方向
float2 Tex : TEXCOORD;
};
// 顶点着色器
VertexPosHWNormalTex VS(VertexPosNormalTex pIn)
{
VertexPosHWNormalTex pOut;
<span class="hljs-keyword">row_major</span> <span class="hljs-keyword">matrix</span> viewProj = mul(gView, gProj);
pOut.PosW = mul(<span class="hljs-keyword">float4</span>(pIn.PosL, <span class="hljs-number"><span class="hljs-number">1.0f</span></span>), gWorld).xyz;
pOut.PosH = mul(<span class="hljs-keyword">float4</span>(pOut.PosW, <span class="hljs-number"><span class="hljs-number">1.0f</span></span>), viewProj);
pOut.NormalW = mul(pIn.NormalL, (float3x3) gWorldInvTranspose);
pOut.Tex = pIn.Tex;
<span class="hljs-keyword"><span class="hljs-keyword">return</span></span> pOut;
}
我们只考虑viewProj的初始化和pOut.PosH的赋值操作。
首先是viewProj原本的值：
这是向量左乘矩阵时四个向量寄存器的值(默认HLSL)：
这是向量右乘矩阵时四个向量寄存器的值(将float4(pOut.PosW, 1.0f)和viewProj交换)：
可以发现这里面隐含了一次转置操作。这里的转置不是凭空出现的，而是源自于这句话前面的代码所产生的汇编(默认HLSL)：
而将float4(pOut.PosW, 1.0f)和viewProj交换后，则汇编代码没有了转置操作:
因此，我们可以知道一个行向量左乘行主矩阵时，为了满足mul函数使用dp4指令优化运算，很可能会预先对原来的矩阵进行转置。其中r4 r5 r6 r3为viewProj转置后的矩阵，即将会左乘向量float4(pOut.PosW, 1.0f)
总结
综上所述，有三处地方可能会发生转置：
- C++代码端的转置
- HLSL中matrix(float4x4)是列主矩阵时会发生转置
- mul乘法内部是以列向量右乘矩阵的形式实现的，对于行向量左乘矩阵的情况会发生转置
经过组合，就一共有四种能够正常绘制的情况：
- C++代码端不进行转置，HLSL中使用
row_major matrix，mul函数使用行向量左乘矩阵。这种方法易于理解，但是在HLSL中很可能会产生用于转置矩阵的大量指令，性能上略有损失。 - C++代码端进行转置，HLSL中使用
matrix，mul函数使用行向量左乘矩阵。这是官方例程所使用的方式，可以避免HLSL的转置，但是在理解上可能会有所困惑，容易陷入为什么不是使用列向量右乘矩阵的迷思中。后续我会将教程的项目也使用这种方式，但是为了在使用上能表现得更像是向量(矩阵)左乘矩阵的形式，在C++端矩阵仍然按行主矩阵传入，但通过一些手段在内部隐藏转置操作，然后在HLSL端也统一用向量(矩阵)左乘矩阵的思想来编写着色器代码。 - C++代码端不进行转置，HLSL中使用
matrix，mul函数使用列向量右乘矩阵。这种方法的确可行，效率上和2等同，就是HLSL那边的矩阵乘法都要反过来写，对于适应了左乘写法的人来说不建议使用这种方式。 - C++代码端进行转置，HLSL中使用
row_major matrix，mul函数使用列向量右乘矩阵。就算这种方法也可以绘制出来，但还是很让人难受，比第2点还难受。
也就是说，以组合1为基准，任意改变其中两个状态(即转置两次)都不会影响最终结果。