屏幕阅读着色器

前言

很多人想要让着色器在写屏幕的同时读取该屏幕的数据。因为内部硬件限制，OpenGL 和 DirectX 等 3D API 都很难实现这一功能。GPU 是极其并行的，所以同时进行读写会导致各种缓存和一致性问题。因此，即便是最新的硬件也对此进行无法正确的支持。

解决办法是将屏幕或屏幕的一部分复制到一个后台缓冲区，然后在绘图时从那里读取。Godot 提供了一些工具，可以使这一过程变得很容易。

SCREEN_TEXTURE 内置纹理

Godot 着色语言 有一个特殊的纹理, SCREEN_TEXTURE (在3D的情况下, DEPTH_TEXTURE 代表深度). 它以屏幕的UV作为参数, 并返回一个带有颜色的RGB vec3. 一个特殊的内置变量.SCREEN_UV可以用来获取当前片段的UV. 因此, 这是个简单的canvas_item片段着色器:

  1. void fragment() {
  2.     COLOR = textureLod(SCREEN_TEXTURE, SCREEN_UV, 0.0);
  3. }

导致一个不可见的对象, 因为它只是显示了背后的东西.

之所以必须使用textureLod是因为, 当Godot复制一大块屏幕时, 它还会对其mipmap执行有效的可分离高斯模糊.

这不仅允许从屏幕上读取, 而且可以免费读取具有不同模糊量的屏幕.

备注

由于性能较差, 且与旧设备不兼容, 所以在GLES2中不会生成Mipmaps.

SCREEN_TEXTURE 示例

SCREEN_TEXTURE 可以用来做很多事情. 有一个专门的 Screen Space Shaders 的演示, 你可以下载来看看和学习. 其中一个例子是一个简单的着色器, 用来调整亮度, 对比度和饱和度:

  1. shader_type canvas_item;
  3. uniform float brightness = 1.0;
  4. uniform float contrast = 1.0;
  5. uniform float saturation = 1.0;
  7. void fragment() {
  8.     vec3 c = textureLod(SCREEN_TEXTURE, SCREEN_UV, 0.0).rgb;
  10.     c.rgb = mix(vec3(0.0), c.rgb, brightness);
  11.     c.rgb = mix(vec3(0.5), c.rgb, contrast);
  12.     c.rgb = mix(vec3(dot(vec3(1.0), c.rgb) * 0.33333), c.rgb, saturation);
  14.     COLOR.rgb = c;
  15. }

在幕后

虽然这看起来很神奇，但其实不然。在 2D 中，第一次在即将绘制的节点中发现内置的 SCREEN_TEXTURE 时，它就会将整个屏幕拷贝到后台缓冲之中。后续在着色器中使用它的节点将不会造成屏幕的复制，因为这终将是低效的。在 3D 中，屏幕是在不透明的几何通道之后，而在透明的几何通道之前被复制，所以透明的物体不会被捕捉到 SCREEN_TEXTURE。

因此, 在2D中, 如果使用 SCREEN_TEXTURE 的着色器重叠, 第二个着色器将不会使用第一个着色器的结果, 从而导致意外的视觉效果:

../../_images/texscreen_demo1.png

在上图中, 第二个球体(右上方)使用的 SCREEN_TEXTURE 来源与下面第一个球体相同, 所以第一个球体 “disappears” , 或者说不可见.

在2D中, 这可以通过 BackBufferCopy 节点来纠正, 它可以在两个球体之间实例化.BackBufferCopy可以通过指定一个屏幕区域或整个屏幕来工作:

../../_images/texscreen_bbc.png

通过正确的后台缓冲区复制，这两个球体将正确混合：

../../_images/texscreen_demo2.png

在3D中, 由于 SCREEN_TEXTURE 只捕获一次, 所以解决这个特殊问题的灵活性较小. 在3D中使用 SCREEN_TEXTURE 时要小心, 因为它不会捕获透明的物体, 可能会捕获一些在物体前面的不透明物体.

在 3D 中，你可以这样重现后台缓冲逻辑：创建一个 Viewport 并在你的对象所在位置放置摄像机，然后使用 Viewport 的纹理代替 SCREEN_TEXTURE。

后台缓冲逻辑

所以, 为了更清楚, 这里是backbuffer复制逻辑在Godot中的工作原理:

  • 如果一个节点使用了 SCREEN_TEXTURE , 在绘制该节点之前, 整个屏幕会被复制到后面的缓冲区. 这只发生在第一次；随后的节点不会触发这个.

  • 如果一个BackBufferCopy节点在上面一点的情况之前被处理(即使 SCREEN_TEXTURE 没有被使用), 上面一点描述的行为就不会发生. 换句话说, 只有当 SCREEN_TEXTURE 第一次在节点中使用, 并且在树形顺序中之前没有发现BackBufferCopy节点时(未禁用), 自动复制整个屏幕才会发生.

  • BackBufferCopy可以复制整个屏幕或一个区域. 如果只设置为一个区域(而不是整个屏幕), 而你的着色器使用了不在复制区域内的像素, 那么该读取的结果是未定义的(很可能是以前帧的垃圾). 换句话说, 有可能使用BackBufferCopy复制回屏幕的一个区域, 然后在不同的区域使用 SCREEN_TEXTURE . 避免这种行为!

DEPTH_TEXTURE

3D 着色器也可以访问屏幕深度缓冲，使用内置的 DEPTH_TEXTURE 即可。该纹理不是线性的；必须通过逆投影矩阵进行转换。

以下代码检索正在绘制的像素下方的3D位置:

  1. void fragment() {
  2.     float depth = textureLod(DEPTH_TEXTURE, SCREEN_UV, 0.0).r;
  3.     vec4 upos = INV_PROJECTION_MATRIX * vec4(SCREEN_UV * 2.0 - 1.0, depth * 2.0 - 1.0, 1.0);
  4.     vec3 pixel_position = upos.xyz / upos.w;
  5. }