现代OpenGL渲染管线介绍

Posted 2021-02-17 yizhen

原文摘选自 

现代OpenGL渲染管线介绍

 

此文对最新的OpenGL做一个简单的介绍，如有理解错误，敬请指正。英文原文：

https://glumpy.github.io/modern-gl.html

opengl已经发展了很多年，自从2003年后提出dynamic pipeline（OpenGL 2.0）后发生了重大变化，例如 shader的使用允许直接对GPU操作

  

在这个版本之前，OpenGL使用固定管线（fixed pipeline）,现在仍旧可以找到很多使用固定管线的手册，这篇文件将介绍OpenGL编程方式上的巨变，会使得OpenGL编程更难，但是却更强大。

Shaders

[备注：Shader语言乘坐glsl,从1.0到1.5有很多版本，后来的版本就继承OpenGL的版本号，最近的版本是4.4（2014年2月）]

Shaders是一段程序（使用类C语法）在GPU上build并且在rendering pipeline的时候被执行，根据shader的特性，在rendering pipeline的不同阶段被使用，简化流程的话，我们仅仅使用vertext shader和fragment shader，如下图：

  

vertex shader作用于顶点，在viewport上输出顶点位置，fragment shader作用于像素级别，用来输出每个像素的颜色，因此，一个简单的vertex shader大概是这样的：

void main()
{
    gl_Position = vec4(0.0,0.0,0.0,1.0);
}

一个简单的fragment shader是这样的

void main()
{
    gl_FragColor = vec4(0.0,0.0,0.0,1.0);
}

上面这两段shader没什么用，因为第一个将所有顶点转换为原点，第二个将屏幕所有像素输出为黑色，后面会看到如何使他们做更有用的事情。

还有一个问题：这些shader具体什么时候执行，vertex shader在每个顶点给到rendering pipeline的时候作用于每个顶点（后面会看到这是什么意思），fragment shader在vertex shader之后作用于每个像素，例如上面的图中，vertex shader将会执行3次，对每一个顶点（标注中的1,2,3顶点），fragment shader将会执行21次，每次作用于一个像素。

经过vertex shader后的顶点在primitive Generation（图元装配），OpenGL支持三种基本图元：点，线，三角形，接着对装配好的图元进行裁剪（clip）,保留在视椎中的图元，丢弃不在视椎中的图元，对一半在视椎，一半不在视椎的图元进行裁剪，接着再对视椎中的图元进行剔除操作（cull）

对fragment shader的输出的每个片元进行一系列测试与处理，从而决定最终用于渲染的像素:

 

• Pixel ownership test：该测试决定像素在 framebuffer 中的位置是不是为当前 OpenGL

ES 所有。也就是说测试某个像素是否对用户可见或者被重叠窗口所阻挡。

• Scissor test:判断像素是否在由 glScissor 定义的剪裁矩形内，不在该剪裁区域内的像素就

会被剪裁掉

• Alpha test [DX9]在于Scissor test后面阶段，对输出的颜色进行是否透明的测试。

• Stencil Test：模版测试，将模版缓存中的值与一个参考值进行比较，从而进行相应的处理。

• Deph test:深度测试，比较下一个片段与帧缓冲区中的片段的深度，从而决定哪个像素在前，哪个像素被遮挡。在一些渲染管线中（移动平台），深度测试会提前到光栅化之前。

• Blend:将片段的颜色和帧缓冲区中已有的颜色值进行混合，并将混合所得的新值写入帧缓冲， Alpha Blend[directx9]。

• Dithering：使用有限的色彩让你看到比实际图象更多色彩的显示方式，以缓解表示颜色的值的精度不够大而导致的颜色剧变的问题。

• Framebuffer：这是流水线的最后一个阶段，Framebuffer 中存储这可以用于渲染到屏幕或纹理中的像素值，也可以从Framebuffer 中读回像素值【RenderTexture】。

Rasterization

光栅化是将vs的输出的基本图元转换为二维的片元（fragment），就是能被渲染到屏幕的像素，包含像素的位置，颜色，纹理坐标等信息，这些值是经过顶点信息插值计算得到，输出的片元（fragment）被送入下一个阶段 fragment shader中处理

在这个阶段，会进行提前进行深度测试（earyly-z），将当前片元的深度值和framebuffer中的片元的深度值比较，深度值越小，表示越靠近摄像机，会被渲染在前面（一般情况下，也可以指定深度测试的默认值，ZTest共有七种值，Less  LEqual Euqul  NotEqual Greater  GEqual  Always）

early-z是GPU硬件流水线决定，通过early-z可以提前知道深度信息，避免不必要的fragment shader计算，从而提高性能。

 

 

Buffers

前面讲了vertex shader作用每个顶点，问题是这些顶点怎么来的？时下OpenGL的思路是将其存储到GPU缓存中，在渲染之前只用传输给GPU存储一次，做法是在CPU上构建buffer，然后把他们传输到GPU，如果你的数据没有变化，就不需要更新，这和早年的fixed pipeline有很大不同，fixed piplline会在每次rendering call的时候都把顶点数据传送给GPU（只有现实列表才存储在GPU中）【可能和GPU显存比早年大幅增加有关，当然时下OpenGL的做法，会在顶点发生变化的时候，每次draw call时将最新的顶点数据送给GPU刷新缓存】

但是顶点结构是什么样的呢？关于顶点结构OpenGL没有假定任何事情，你可以自由的使用，唯一的要求是所有的同一个buffer里的顶点都应该有相同的结构（可以有不同的内容），这个和fixed pipeline有很大不同，fixed pipeline方式中OpenGL会使用隐式固定顶点结构存储有很多复杂渲染的东西（比如投影，光照，法线等），现在，全靠自己了

好消息是 现在你可以自由的做任何你想做的事情

坏消息是 你得自己编写所有，甚至连基本的投影和光照

用一个简单的例子，一个顶点结构想存储位置position和color信息，用python的话最简单的方式使用使用numpy库结构化数组

data = numpy.zeros(4, dtype = [ ("position", np.float32, 3),
                                ("color",    np.float32, 4)] )

上面在CPU中创建了四个顶点的缓存，每一个顶点有一个位置信息（三个x,y,z坐标的浮点数）和一个颜色信息（四个浮点数，分别是红绿蓝和透明通道），上面使用了三个坐标来表示一个位置信息，如果我们在二维中可以使用两个数值，同样的对于color来说，如果不想使用透明通道，也可以使用三个数值来表示，当然对于四个定点来说无关重要，但是必须意识到如果顶点数据增加到成千上万就有影响了

 

Uniform,attribute,varying

至此，我们已经知道shaders和buffers，但是仍然需要解释他们是如果关联起来的，那么让我们再看下我们的CPU Buffer

data = numpy.zeros(4, dtype = [ ("position", np.float32, 2),
                                ("color",    np.float32, 4)] )

我们需要告诉vertex shader它将要处理的顶点数据，位置信息是一个有3个float的元组类型，颜色是有4个float的元组类型,这就是attributes精确的要表达的意思，让我们稍微改动下前面的vertex shader

attribute vec2 position;
attribute vec4 color;
void main()
{
    gl_Position = vec4(position, 0.0, 1.0);
}

这个vertex shader现在期望一个顶点包含两个属性，一个叫做position，一个叫color，并且指定了这两个属性的类型，一个是vec2,一个是vec4（包含4个float的元组），即便我们标注了第一个属性叫position，这个属性还没有和numpy数组中真是的数据绑定，我们需要在程序中某一个时刻来做，并且不会自动绑定，需要自己来绑定。

提供给vertex shader的第二个类型信息是uniform，可以被认为是存储了一些常量数据（作用于所有的顶点），例如我们想让所有的顶点位置都缩放，就可以这样写

uniform float scale;
attribute vec2 position;
attribute vec4 color;
void main()
{
    gl_Position = vec4(position*scale, 0.0, 1.0);
}

最后的类型是varying,用来在vertex shader和fragment shader中传递信息，如果我们想传递顶点颜色给fragment shader，就可以这样写

uniform float scale;
attribute vec2 position;
attribute vec4 color;
varying vec4 v_color;

void main()
{
    gl_Position = vec4(position*scale, 0.0, 1.0);
    v_color = color;
}

然后在fragment shader中，就这样写：

varying vec4 v_color;

void main()
{
    gl_FragColor = v_color;
}

问题是fragment shader中v_color的值是多少，我们有3个顶点，21个像素，那么每个像素的颜色该是多少？

答案是三个顶点颜色的插值，插值使用每个像素到每一个顶点的距离信息来计算插值，要理解这是一个很重要的概念，任何varying数值都是顶点插值的，以此构成了基本项

如果有对应贴图，fragment shader会根据每个顶点的uv信息，从贴图中找到对应的贴图颜色。

Transformations

Projection matrix

首先我们要定义我们要看到什么，就是说我们需要顶一个viewing volum，使所有在volumn中（甚至物体的一半在voumn中）的物体都被渲染，而其外的物体不被渲染，如下图，黄色和红色的小球被渲染，而绿色的没有被渲染，也不会被看到

 

3D到2D的投影方式有很多，但是我们只使用透视投影（近大远小）和正交投影（平行投影，远方和近方的物体投影一样大），如上图

在老的openGL版本中，可以使用glFrustum和glOrtho来得到对应的矩阵。

根据投影方式的不同，使用下面两个投影矩阵

 

 

我们没必要在这里探究这两个矩阵是怎么构建的，只要说他们是3D世界标准矩阵就行，都是基于假定摄像机在（0，0,0）原点位置，并且朝向正前方（0,1）方向就可以。

对于透视投影，还有一个更容易操作的转换矩阵，不需要指定视椎上下左右面

 

 

 

fovy指定了视角，也就是视椎的夹角，aspect指定了屏幕的宽高比，这决定了x方向上的视野。

Model and view matirces

主要是下面三个转换矩阵的使用：

Model matirces: 把物体的本地坐标转换为世界坐标

View matirces:把物体从世界做标准换为摄像机坐标

Projection matrices:把摄像机坐标转换为屏幕坐标