shader数学基础之法线贴图切线空间

Posted 2023-02-15 雨尘无痕

http://www.cnblogs.com/tekkaman/p/3992352.html

【法线贴图原理】

　　如果法线处于世界坐标中的(world space)，那称为world space normal。如果是处于物体本身局部坐标中的，那称为object space normal。

　　很容易想象,world space normal一旦从贴图里解压出来后，就可以直接用了，效率很高。但是有个缺点，这个world space normal 是固定了，如果物体没有保持原来的方向和位置，那原来生成的normal map就作废了。

　　因此又有人保存了object space normal。它从贴图里解压，还需要乘以model-view矩阵转换到世界坐标，或者转换到其他坐标取决于计算过程及需求。object space normal生成的贴图，物体可以被旋转和位移.基本让人满意。但仍有一个缺点。就是一张贴图只能对应特定的一个模型，模型不能有变形(deform)。

　　变形时,顶点关系改变了,即面的形状,方向改变了。如果面上存在一个固定的坐标系，那当物体变形、移动、旋转时，这个坐标系必定跟着面一起运动,那么在这个坐标系里的某个点或向量，不需要变动。当整个面发生变化时，我们只需要计算面上的坐标系到世界坐标系的转换矩阵,那么定义在这个面上的点或坐标(固定的),乘以这个矩阵即可得到在世界中的坐标。这个坐标系术语里称为tangent space。

　　按照新方法每个面都有一个局部坐标系，当低模变形时,即三角面变化时,它的tangent space也会跟着变化,保存在贴图里的法线乘以低模这个面的tangent space到外部坐标系的转换矩阵即可得到外部坐标。

　　CG中顶点已经自带tangent、normal信息，TxN即可得到B。T、B、N即可构造出切换空间。

http://blog.csdn.net/kongbu0622/article/details/9955787

算法：

      Tangent space在Bump Map中有着重要作用，通常需要把灯光转换到tangent space进行计算。对由参数方程计算出的规则曲面（比如，球体，圆环）来说，很容易通过方程计算出tangent space，但对任意的三角形网格来说，则没有那么简单。

Tangent space是一个三维空间。对3D空间中的一个顶点来说，切空间的三条座标轴分别对应该点的法线N，切线T，和副法线（binormal）B，显然，对不同的顶点来说，切空间是不同的。那么在已知三角形三个顶点及其纹理坐标的时候，如何计算出N，T，B呢？

目前已知的数据有三角形的三个顶点在世界坐标中的位置: P0, P1,P2, 以及相应的纹理坐标在纹理空间中的位置C0 (U0,V0)，C1，C2，则有：

P₁₀ = P1 – P0，

P­₂₀ = P2 - P1 ,

C₁₀ = C1 – C0 = (U1-U0, V1-V0) = ( U₁₀ ,V₁₀)

C₂₀= C2 – C0.= (U2-U0, V2-V0) = ( U₂₀ ,V₂₀)

注意，P₁₀在世界坐标中的方向和C₁₀在纹理空间中的方向是一致的（这一点确实比较抽象，偶画图研究了好久才弄明白-_-），同样，P­₂₀和C₂₀也是如此，发现这一点很重要，可以说是整个计算的基石。进一步来说，T，B分别和纹理坐标轴U，V是平行的。因此我们有：

P₁₀ =U₁₀T + V₁₀B

P­₂₀ = U₂₀T + V₂₀B

把矢量展开得到：

两边乘以[C₁₀ C₂₀]的逆矩阵，最后得到

法线N =T x B

这样我们就得到了坐标从切空间转变到世界坐标下的变换矩阵M = [T B N ]，当然，更加常用的是M的逆矩阵。注意，这里计算得出的只是面法线，如果需要计算每个顶点的法线，则应该对共享该顶点的多个面的法线取均值，求出结果。

 

一直搞不明白这个tangent space到底是什么宝贝，既然是tangent肯定需要做dx/dv之类的求导动作，可是，查来查去，都是讲不明白，最后看到这个，才恍然大悟：
T = normalize(dx/du, dy/du, dz/du)
N = T × normalize(dx/dv, dy/dv, dz/dv)
B = N × T
(Tangent space is just such a local coordinate system. The orthonormal basis for the tangent space is the normalized unperturbed surface normal Nn, the tangent vector Tn defined by normalizing dP/du, and the binormal Bn defined as Nn×Tn. The orthonormal basis for a coordinate system is also sometimes
called the reference frame.)

其实这个tangent space 就是我们熟悉的tangent，无非在pixel lighting进行现实应用时，理解为2个坐标系的变换。
说直白一点，T = normalize(dx/du, dy/du, dz/du),这句话说明所有问题，这个t变量的x值就是模型坐标系下x值的变化对应u值变化的正切，就跟2纬曲线dy/dx就是曲线的正切值，也是反应这条曲线变化坡度的值一样。

再直白一点，这个tangent space，切空间，就是反应这个模型空间坐标相对应纹理坐标相的变换坡度

http://blog.csdn.net/bonchoix/article/details/8619624

切换空间，同局部空间、世界空间等一样，是3D图形学中众多的坐标系之一。切换空间最重要的用途之一，即法线映射（Normal Mapping）。关于法线映射的细节，将在下一篇文章中详细介绍。但在学习法线映射之前，深刻地理解切换空间非常重要。因此借这一篇文章来学习下它，以为后面学习法线映射、视差映射（Parallax Mapping）、Displacement Mapping等技术作准备。Parallax mapping、Displacement Mapping都属于bump mapping范畴，而且都基于Normal Mapping, 但相比Normal Mapping，后两种方法可以提供更加逼真物体表面的凹凸感。

 

       1. 为什么要有切线空间？

       在3D世界中定了如此多的坐标系，每个坐标系当然都有它的用途。比如局部空间，或者叫模型空间，它的目的就是方便我们对3D模型进行建模。在这个空间中，我们不需要考虑该模型在场景中可能出现的位置、朝向等众多细节，而专注于模型本身。在世界空间中，我们关心的问题是场景中各个物体的位置、朝向，即如何构建场景，而不必关注摄像机的观察位置及其朝向。可见，一个坐标系的根本用途，即让我们在处理不同的问题时，能够以合适的参照系，抛开不相关的因素，从而减小问题的复杂度。

       直观地讲，模型顶点中的纹理坐标，就定义于切线空间。普通2维纹理坐标包含U、V两项，其中U坐标增长的方向， 即切线空间中的tangent轴，V坐标增加的方向，为切线空间中的bitangent轴。模型中不同的三角形，都有对应的切线空间，其tangent轴和bitangent轴分别位于三角形所在平面上，结合三角形面对应的法线，我们称tangant轴（T）、bitangent轴（B）及法线轴（N）所组成的坐标系，即切线空间（TBN）。

       如下图所示：

       在立方体中，每个面都有对应的切线空间，每个面由两个三角形组成，该两个三角形中的纹理坐标就基于相应的切线空间。

 

       2. 纹理坐标与位置坐标的关系

       纹理坐标与位置坐标，可以通过切线空间联系起来。如下图所示：

       该图显示了一个三角形及其所在的切线空间。已知该三角形三个顶点的位置坐标：V₀, V₁,V₂, 以及对应的纹理坐标：(u0,v0,), (u1, v1), (u2, v2)。 定义三角形的两条边为E0 = V₁ –V₀，E1= V₂ –V₀，对应的纹理坐标差值：(t1,  b1) = (u₁ – u₀, v₁– v₀)， (t2,  b2) = (u₂ – u₀, v₂– v₀)。 我们有如下关系式：

E₀ =t1T+ b1B

E₁ = t2T+ b2B

 

       3. 切线坐标系的求法

       有了以上纹理坐标与位置坐标的关系，我们便可以根据已知的信息，自己来求得任一三角形的切线坐标系了。在3D模型文件中，所有顶点的位置坐标、纹理坐标、法线等信息一般都会提供的，但却缺少切线坐标系相关信息。而在应用Normal Mapping等技术时，切线空间又是必不可少的，因此就需要我们自己手动来获取切线坐标系了。很多读取模型的库都提供了生成切线空间的功能，不过了解一下其是如何生成还是很有必要的。下面我们就来一步步地推导下切线空间的求法：

       继续从上面的纹理坐标与位置坐标的关系公式出发，把它表示成矩阵形式为：

       

把E0,E1,T，B拆成分量形式，即：

把移到另一边，有：

根据矩阵知识，对于矩阵， 其逆矩阵为：

因此以上公式可以进一步表示为：

至此，等号右边的数据都是已知的，因此左边的矩阵即可求得，从而得到切线空间中的T、B两轴。N轴即三角形面的法线，很容易求得。

 

       4. 注意

       现在我们根据三角形的顶点位置坐标与纹理坐标，求得了该三角形所在的切线空间。但有一点要注意，这里求得的T向量和B向量一般不是标准化的（长度不为1）。这与一般其他的坐标系有所区别。在局部空间、世界空间、视角空间中，其对应的X、Y、Z轴长度都为1，究其原因主要是这几个空间中的坐标所使用的度量单位都是一样的。而在切线空间中，针对的是纹理，而纹理坐标与位置坐标显然使用不同的度量单位，比如对于纹理坐标从0到1的变化，其对应的位置坐标变化是不确定的。

       因此，这里求得T和B向量长度一般不为1， 而且对于有纹理坐标变换的情形，T和B两轴甚至不会相互垂直。

       但是，在大多数情况下，我们只需要标准化后和T、B、N向量，而不关心其相应的长度。比如在Normal Mapping中，我们使用TBN坐标系的目的只是为了把从Normal Map中得到的法线从切线空间转换到世界空间，与纹理坐标无任何关联，因此这里我们使用的TNB坐标系的三个轴全是准备化的。

 

       5. 顶点的切线空间

       上面的方法求到的切线空间是基于单个三角形的，而在3D管线中，我们的处理是基于顶点进行的。因此我们需要获得顶点对应的切线空间。不过有了每个三角形的切换空间，每个顶点的切线空间就很容易处理了，即对于任一顶点，我们使用其所在的所有三角形所对应的切线空间向量的平均值，作为该顶点的切线空间。熟悉法线求法的可能会发现，这种方法与通过三角形法线求取顶点法线的方法思路是完全一样的。

       切线空间的加入，使得我们的顶点定义也要发现相应的更改了。切线空间包括TBN三个向量，大多数情况下，我们使用的切线空间这三个向量都是准备化且相互垂直的，因此，对于每个顶点，我们只要提供T、N两个向量即可，在运行时通过向量叉乘临时地计算B向量即可，这样也节省了每个顶点的数据量。

       现在，我们的顶点的定义如下所示：

[cpp]

view plain copy

1. struct Vertex  
2.   
3.     XMFLOAT3    pos;  
4.     XMFLOAT3    normal;  
5.     XMFLOAT3    tangent;  
6.     XMFLOAT2    tex;  
7. ;  

       这正是我们在GeometryGens.h文件中生成常见几何体时统一使用的顶点格式。在之前的程序中，我们从未使用过tangent成员，其实它就是为后面学习Normal Mapping而准备滴~