网易戏精ARCore短视频新玩法实践

Love The Way You Lie 2022-04-24 00:22 236阅读 0赞

《网易戏精》是网易人工智能事业部旗下一款AI短视频产品，用户可以随手拍出自己的特效视频，其中包含数十个有趣的奇幻道具，其中放置类的道具只需要扫一下平面，即可摆放进现实世界中进行互动，既有充满霓虹灯的旺角街头、会随音乐抖动的DJ打碟台、迪厅球，也有烟雾缭绕的迷幻场景等等。

![\\"\\"][48d98413c484e97c5462af51c4e2b2b4.png]

（会随音乐抖动的DJ打碟台）

此类放置类道具在安卓端基于Google的ARCore技术实现。本文整理归纳项目研发中ARCore的使用及研发历程，与大家一起分享在AR应用开发中遇到的问题及实践。主要分为以下几个方面，已有相关经验的ARCore开发者可以选择性跳过。

1.  **ARCore简述**
2.  **ARCore原理的进一步理解**
3.  **ARCore和ARKit的功能性对比**
4.  **ARCore API架构梳理**
5.  **ARCore的兼容性及解决方案**
6.  **开发者可能会遇到的Troubleshoot**

## ARCore简述 ##

ARCore SDK主要由三大模块构成：运动跟踪、环境理解、光照估计。

1.  运动跟踪可以让手机理解和跟踪它相对于现实世界的位置。
2.  环境理解让手机可以检测各类表面（例如地面、咖啡桌或墙壁等水平、垂直表面）的大小和位置。
3.  光估计让手机可以估测环境当前的光照条件。

![\\"\\"][3f5272729922bc66765f65b0013eec93.png]

## ARCore原理的进一步理解 ##

对ARCore底层原理的了解可以帮助我们了解计算的过程以及解决一些问题。

首先，ARCore使用视觉惯性测距系统(Visual Inertial Odometry，简称 VIO)的算法来实现运动跟踪。VIO将从设备的摄像机中识别图像特征与内部运动传感器结合起来，以获得设备的6DOF（6 Degree Of Freedom，6度自由度）信息。我们常说的6DOF指的是三维的位置与三维的旋转，而3DOF常指三维的旋转（直接通过陀螺仪即可获得，比起6DOF计算较为简单）。

![\\"\\"][191ad257dadd6df1dbc5b811c96c4a6e.png]  
  （上图即是6DoF的图示）

惯性测量单元(Inertial measurement unit，简称 IMU)的读数大约为1000次每秒并且是基于加速度的（用户的移动）。航迹推算法（Dead Reckoning）用于测量 IMU 读数之间的设备移动，但这种方法推算是一种估算，就像如果我让你向前走一步，然后猜测走了多远一样，此时会用航迹推算法来估计距离。但惯导系统中的误差会随时间累积，所以 IMU 帧率越长，惯导系统从视觉系统中复位后的时间越长，追踪位置距离真实位置偏差就越多。

视觉／光学测量使用的是摄像机来采集视觉信息，设备帧率通常为 30fps 并且依赖距离（不同的场景帧率也有所不同）。光学系统通常随着距离的增大误差也不断的增大（时间也会有轻度影响），所以用户运动得越远，误差就越大。

惯性导航系统与视觉测量系统各有各的优势和不足。并且视觉和惯性跟踪系统是基于完全不同的测量系统，他们之间并没有相互依赖，所以他们整合在一起可以互相弥补缺陷。这意味着可以盖住摄像机或者只看到一个具有很少光学特征的场景（比如白墙），而惯性系统照样可以正常工作，或者设备在完全静止的条件下，视觉系统可以呈现出一个比惯性系统更加稳定的姿态。在此之上这个算法使用卡尔曼滤波器不断地选择最佳姿态，从而实现稳定跟踪。

**与ARKit的功能上的对比**

为了尽可能保证Android用户和iOS用户的功能一致性，我们整理了ARKit和ARCore在各个版本上的功能。版本上需要注意的是，ARKit的版本取决与手机的操作系统级别，ARCore的运行版本取决于手机上安装的ARCore Runtime Apk，Runtime对SDK采取向下兼容机制，并且用户如首次安装ARCore Runtime Apk后，之后作为内核服务自动更新。

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>ARKit</th> 
   <th>ARCore</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>6DOF追踪</td> 
   <td>支持（1.0）（iOS11）</td> 
   <td>支持（1.0）</td> 
  </tr> 
  <tr> 
   <td>相机分辨率、自动对焦</td> 
   <td>支持（1.5）（iOS11.3）</td> 
   <td>支持（1.4）</td> 
  </tr> 
  <tr> 
   <td>图片扫描</td> 
   <td>支持（1.5）（iOS11.3）</td> 
   <td>支持（1.2）</td> 
  </tr> 
  <tr> 
   <td>云锚点</td> 
   <td>支持（2.0）（iOS12）</td> 
   <td>支持（1.2）</td> 
  </tr> 
 </tbody> 
</table>

## ARCore API架构梳理 ##

ARCore SDK模块设计易于理解，开发者可以很简单地找到相应的API，简单列了一张重要/常用API的对应概念：

Session: 负责整个AR算法的生命周期和算法配置文件选项，主要有Start\\\\Pause\\\\Resume\\\\Stop，配置文件可配置是否开启位置追踪、2D图片识别、环境光检测等功能，多余的配置涉及到可观的性能开销，并且在切换配置的过程中会涉及到相机画面的重启，建议产品根据各自情况进行选择。

运动追踪相关

<table> 
 <thead> 
  <tr> 
   <th>Frame.CameraImage.Texture Frame.CameraImage.DisplayUvCoords</th> 
   <th>相机纹理ID，对应于OpenGL中一张Texture中的Gluint，注意此Texture为一张旋转的External OES Texture，必须搭配DisplayUvCoords信息才能正确渲染（OES Texture与普通纹理有所区别，下文会举例一个实战issue）</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Frame.CameraBuffer.AcquireCameraImageBytes</td> 
   <td>可获得Camera的原始相机数据，格式为YUV420_888，此格式为Android Camera2的默认格式（注意此格式将YUV分离为3个Stride，与Camera1的NV21有所不同）。获得原始数据一般用于进一步的图像处理或CV算法</td> 
  </tr> 
  <tr> 
   <td>Frame.Pose.position Frame.Pose.rotation</td> 
   <td>包含了运动追踪的结构体，包括相机当前位置、旋转等</td> 
  </tr> 
 </tbody> 
</table>

环境理解相关

<table> 
 <thead> 
  <tr> 
   <th>Session.GetTrackable</th> 
   <th>可以获得已经被AR算法重建的平面</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Frame.Raycast</td> 
   <td>从三维世界一个点沿一个方向发射出一条无限长的射线，在射线的方向上，一旦与现实世界的特征点、平面产生碰撞，则返回碰撞对象包含的位置、方向及其他相关属性</td> 
  </tr> 
 </tbody> 
</table>

光估计相关

## ARCore兼容性及解决方案 ##

目前ARCore支持的机型主要为17年、18年发布的旗舰机，下图列了支持的国内主流设备列表，观察到表中支持的设备主要为高通芯片和ARM芯片，据官方所述后续还会支持联发科芯片的机型。

<table> 
 <thead> 
  <tr> 
   <th><strong>OEM</strong></th> 
   <th><strong>Model</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>小米</td> 
   <td>Mi Mix 2S, Mi Mix 3 Mi 8, Mi 8 SE</td> 
  </tr> 
  <tr> 
   <td>华为</td> 
   <td>Honor 10, Honor Magic 2, Maimang 7 Mate 20, Mate 20 Pro, Mate 20 X nova 3, nava 3i P20, P20 Pro Porsche Design Mate RS Porsche Design Mate 20 RS</td> 
  </tr> 
  <tr> 
   <td>三星</td> 
   <td>Galaxy Note9 Galaxy S9, Galaxy S9+</td> 
  </tr> 
 </tbody> 
</table>

值得一提的是Google官方考虑到国内用户无法在Google Play安装/更新ARCore Runtime，提供了小米、华为和三星应用商店作为国内安装跳转链接。

用于保证机型覆盖率，我们选用了网易的InsightSDK 作为ARCore的fallback的方案，开发的时候可以通过官网的ARCore设备白名单或者Session.CheckApkAvailability的方式进行自动选择SDK。

## 开发者可能会遇到的问题 ##

**1. 运动中做运动跟踪**

例如，如果用户是在火车上使用ARCore，这时IMU（Inertial Measurement Unit）获取的数据不仅包括用户的移动（实际是加速度），也包括火车的移动数据（实际是加速度），这样将导致跟踪失败。

**2. 跟踪动态的环境**

例如，如果用户对着一面大白墙、波光粼粼的湖面，这时从摄像机获取到的图像信息是不稳定的，这将导致特征点提取出错进而导致跟踪失败。

**3. 热飘移**

相机与 IMU 都是对温度敏感的元器件，之前我们说过相机和IMU的OEM校准，但这个校准通常都会在某一个或者几个特定温度下进行，但在用户设备使用过程中，随着时长的延长会导致设备发热，发热就会影响到相机获取的图像的颜色信息和IMU测量的加速度信息准确性，表现出来就是跟踪的物体会飘移。

**4. CPU抢占**

从上面的ARCore算法中发现AR算法对CPU要求较高。如果你的App占用了过多的CPU，依然会导致ARCore的效果不稳。可以使用类似SnapDragon Profiler的工具进行一个性能排查。

**5. 使用Linear渲染模式**

为了追求正确的光照计算，我们使用了Linear渲染模式，但是ARCore并没有提供Linear模式下相关的shader。可以使用以下函数对颜色空间进行转换：

`pow(gl_FragColor.rgb,vec3(2.2));`

**6. External OES Texture的特殊性**

将Camera Texture渲染到屏幕的shader使用的是External OES Texture，在实际的使用过程中发现单独使用External OES Texture没有问题，但是结合一张正常Texture会渲染成黑色，经过排查问题发现External OES Texture的底层实现是多个单通道Texture的打包，所以在External OES Texture之后Bind的正常GLuint可能会错误的绑定，这个时候可以将External OES Texture放在最后即可解决。

**7. 结合计算机视觉**

因为需要将Camera的相机数据做进一步数字图像处理或者CV检测，除了直接获得TextureID，还需要获得相机Buffer，但是小米手机调用Frame.acquireCameraImage() API会抛出NotYetAvailableException，官方文档有在小米的手机上说明这个问题，所以使用这个API还不能做到完全统一兼容。

总的来说，尽管ARCore推出的时间较ARKit迟，但功能上基本与ARKit持平。并且回顾ARCore近一年的发展上看，ARCore也在率先提出一些行业标准，像Cloud Anchor这样的新feature就是由ARCore率先提出，由此可见Google对ARCore的投入和在AR领域决心。同样，社交化的应用方式也是AR技术落地的重要场景。预计未来几年AR的开发生态会逐步完善并标准化，对开发者来说是十分值得期待的。

本文作者：邓志鹏，网易人工智能事业部资深技术美术专家，《Unity5.x从入门到精通》作者之一，主要关注于将AI、AR等前沿技术用于图形、交互领域。

[48d98413c484e97c5462af51c4e2b2b4.png]: /images/20220222/394627e8286645568a6aa38c923d468b.png
[3f5272729922bc66765f65b0013eec93.png]: /images/20220222/d9cf7f6e05f446439f38451eb2268c2e.png
[191ad257dadd6df1dbc5b811c96c4a6e.png]: /images/20220222/cda440174d3044c28bb4f70aad664982.png