ARKit自定义SCNMaterial的渲染

柔情只为你懂 2022-05-22 23:04 258阅读 0赞

本文转自： [XJ的博客][XJ]

本文主要介绍了ARKit如何将照相机捕获到的数据传入SceneKit自定义着色器进行渲染，本文内容假定读者有一定的ARKit、SceneKit及Metal的基础。

# ARKit #

今年的 WWDC 开发者大会上，苹果为我们带来了 ARKit。它做到了将优秀的 AR 体验带给无数的消费级设备，其重要性我们这段时间来早就了解了。不过苹果一个巴掌毕竟拍不响，这些还都需要开发者们来支持。更多关于ARKit的介绍可以访问苹果的[开发者网站][Link 1]。

# SceneKit #

在 WWDC 2012 (那时 OS X 系统还在用喵系命名)，Apple 向 OS X 开发者们介绍了 SceneKit，这个 Cocoa 下的 3D 渲染框架。在第一版通用 3D 渲染器发布后，一年内又陆续增加了像 shader (着色器) 修改器、节点约束、骨骼动画等几个强大的特性 (随 Mavericks 发布)。今年，SceneKit 变的更加强大，支持了粒子效果、物理引擎、脚本事件以及多通道分层渲染等多种技术，而且，对于很多人来说更关键的是，它终于可以在 iOS 中使用了。

一上手，我发现 SceneKit 最强大和脱颖而出的地方，就是可以与 CoreImage，CoreAnimation，SpriteKit 等已有的图形框架相互整合及协作，这在其他游戏引擎中可不常见，但如果你本身就是个 Cocoa 或 Cocoa Touch 框架下的的开发者的话，就会感到相当亲切了。 关于SceneKit介绍可以到[这里][Link 2]了解。

创建ARKit的三个模板之一就是SceneKit，并且SceneKit在开发3D游戏优势十分明显。

开始

[![效果][006tNc79gy1fk794j7oppj30ku112u0y.jpg]][006tNc79gy1fk794j7oppj30ku112u0y.jpg]效果

由于使用了SceneKit的ARKit，不支持OpenGLESrenderAPI，所以以下内容的介绍为Metal。

效果如上图，在渲染自定义物体时我们可能需要传入背景去渲染。那么可以通过下面的方法去从CVPixelBufferRef获取YUV数据。

获取YUV数据

- (id<MTLTexture>)_createTextureFromPixelBuffer:(CVPixelBufferRef)pixelBuffer
    pixelFormat:(MTLPixelFormat)pixelFormat
    planeIndex:(NSInteger)planeIndex {
    id<MTLTexture> mtlTexture = nil;
    const size_t width = CVPixelBufferGetWidthOfPlane(pixelBuffer, planeIndex);
    const size_t height = CVPixelBufferGetHeightOfPlane(pixelBuffer, planeIndex);
    CVMetalTextureRef texture = NULL;
    CVReturn status = CVMetalTextureCacheCreateTextureFromImage(NULL, _capturedImageTextureCache, pixelBuffer, NULL, pixelFormat, width, height, planeIndex, &texture);
    if(status == kCVReturnSuccess) {
    mtlTexture = CVMetalTextureGetTexture(texture);
    CFRelease(texture);
    }
    return mtlTexture;
    }

调用并且传递数据

SCNMaterial *material;
    /*
    material = 某个SCNGeometry的material
    */
    // 获取YUV数据
    id<MTLTexture> capturedImageTextureY = [self _createTextureFromPixelBuffer:pixelBuffer pixelFormat:MTLPixelFormatR8Unorm planeIndex:0];
    id<MTLTexture> capturedImageTextureCbCr = [self _createTextureFromPixelBuffer:pixelBuffer pixelFormat:MTLPixelFormatRG8Unorm planeIndex:1];
    // 使用SCNMaterialProperty来传递数据，不支持直接设置给SCNMaterial
    SCNMaterialProperty *capturedImageTextureYMaterial = [SCNMaterialProperty materialPropertyWithContents:capturedImageTextureY];
    SCNMaterialProperty *capturedImageTextureCbCrMaterial = [SCNMaterialProperty materialPropertyWithContents:capturedImageTextureCbCr];
    // SCNMaterial设置KVC
    [material setValue:capturedImageTextureYMaterial forKey:@"capturedImageTextureY"];
    [material setValue:capturedImageTextureCbCrMaterial forKey:@"capturedImageTextureCbCr"];
    SCNProgram *program;
    /*
    初始化着色器……
    */
    // 为SCNMaterial设置着色器
    material.program = program;

VSH和FSH

VSH
    #include <metal_stdlib>
    using namespace metal;
    #include <SceneKit/scn_metal>
    #include "ShaderDatas.h"
    struct MyNodeBuffer {
    float4x4 modelTransform;
    float4x4 modelViewTransform;
    float4x4 normalTransform;
    float4x4 modelViewProjectionTransform;
    };
    typedef struct {
    float4 position [[ attribute(SCNVertexSemanticPosition) ]];
    float2 texCoord [[ attribute(SCNVertexSemanticTexcoord0) ]];
    float4 normal [[ attribute(SCNVertexSemanticNormal) ]];
    } MyVertexInput;
    struct SimpleVertex
    {
    float4 position [[position]];
    float2 texCoord;
    float3 normal;
    float4 ambient;
    float3 light;
    float3 eye;
    float sinTime;
    float cosTime;
    float random01;
    };
    vertex SimpleVertex myVertex(MyVertexInput in [[ stage_in ]],
    constant SCNSceneBuffer& scn_frame [[buffer(0)]],
    constant MyNodeBuffer& scn_node [[buffer(1)]])
    {
    /*
    顶点处理
    */
    }
    FSH
    fragment float4 glassFragment(SimpleVertex in [[stage_in]],
    texture2d<float, access::sample> capturedImageTextureY [[texture(0)]],
    texture2d<float, access::sample> capturedImageTextureCbCr [[texture(1)]])
    {
    /*
    处理图片效果
    */
    }

接下去就是编写脚本，与正常的Metal脚本没有什么大的区别。只是需要传入SceneKit的一些诸如灯光位置、颜色、顶点、纹理坐标等等数据。更详细的请查阅[SCNProgram文档][SCNProgram]。

# 小结 #

在一些需要结合背景的渲染功能中（例如：放大镜、彩色玻璃），我们可以使用SCNProgram进行单个几何体的渲染。

[XJ]: http://z-xj.com/2017/10/05/ARKit%E8%87%AA%E5%AE%9A%E4%B9%89SCNMaterial%E7%9A%84%E6%B8%B2%E6%9F%93/
[Link 1]: https://developer.apple.com/arkit/
[Link 2]: https://www.objccn.io/issue-18-3/
[006tNc79gy1fk794j7oppj30ku112u0y.jpg]: https://ws2.sinaimg.cn/large/006tNc79gy1fk794j7oppj30ku112u0y.jpg
[SCNProgram]: https://developer.apple.com/documentation/scenekit/scnprogram