商汤AR开发之旅（1）-- 关于SenseAR SDK

﹏ヽ暗。殇╰゛Y 2022-12-28 01:54 253阅读 0赞

![图片][b8b22524e3604d44bf00ee225f7303e0.png]

SenseAR 开发平台以商汤科技为核心，联合若干战略合作伙伴，提供一整套 AR 解决方案，包括 AR 底层驱动引擎、AR 内容创作工具链和 AR 硬件装置推荐，为各行各业的商家和用户提供 AR 服务，形成一个 AR 生态。商汤SenseAR提供平面检测、运动追踪、云锚点、手势识别等多种AI+AR基础能力，通过赋能移动端开发，构建增强现实体验平台。

**简介**

为了给AR开发者和内容创作提供一站式服务，商汤科技推出中国原创AR开发者平台——SenseAR开发者平台，以原创领先的SLAM 能力、环境感知、光照估计等AI技术，为AR发展提供强大助力。相较于其他AR平台，商汤科技SenseAR开发者平台在平台适配性、硬件需求、应用开发、沟通维护、开发成本等各个方面，均有显著优势。

![图片][dcc5542a5fc767ff5b34b060017b88f4.png]

**功能特性**

SenseAR开发者平台，提供C、Java、Unity3D等版本SDK；能够提供实时跟踪与建图、尺度估计、多平面检测、光照估计、手势检测、稠密重建功能，后续还会继续增加更多AR基础功能。

![20201214092321577.gif][]

（1）实时跟踪与建图：能够实现6DOF跟踪，融合视觉和IMU信息，实时定位手机的位姿信息和输出周围环境的地图信息。

（2）尺度估计：尺度估计把虚拟物体模型以真实的大小准确的放在真实场景中。

（3）多平面检测：快速检测水平面和竖直平面（如地面和墙面）的大小和位置。

（4）光照估计：估计当前环境的光照情况 。

（5）手势检测：包括手势的2D／3D关键点、手势姿态类型等信息的检测、以及手势在RGB图和深度图上分割结果输出，支持基于手的AR互动交互。

（6）稠密重建：融合深度与RGB信息，建立稠密环境网格，实现实时环境稠密重建。

（7）图像识别与跟踪：借助增强图像功能，帮助识别并标记环境中的一系列2D目标图像，并在摄像头移到图像外时仍可标记该图像位置。

（8）云锚点：利用云端技术使位于同一现实场景中的多台设备可加载同一个锚点，并渲染到各自的场景中，在该锚点上进行AR体验和交互。

（9）人脸识别与跟踪：基于RGB信息，获取增强现实中的人脸模型，实现人脸的实时识别与跟踪。

（10）三维物体识别与跟踪：基于RGB信息，在线建立三维物体模型，并实现三维物体模型的实时识别与跟踪。

**SDK概述**

SenseAR SDK以SenseAR API的形式提供给开发者，包含c/java/c\# for unity三种语言形式，其中java/c\# for unity会依赖c版本的接口实现。形式如下图所示：

![图片][178f688bca5d321730637df4e0fd1637.png]

SenseAR SDK包含功能包括：

*  SLAM：6DOF跟踪、重定位与回路闭合、水平面、竖直面检测
 *  光照估计、单亮度值环境光感知、环境图
 *  手势识别：14种预定义手势识别
 *  图像识别与跟踪：多图像快速识别与跟踪
 *  人脸跟踪与重建：人脸的快速检测、跟踪和重建
 *  云锚点：多台AR设备共享同一坐标系
 *  三维物体识别与跟踪：三维物体快速识别与跟踪
 *  实时三维重建

**开发配置**

为了能正常运行SDK内的sample，对硬件和软件环境都有一定的要求。商汤SenseAR和OPPO ARUnit采用相同的标准，相互兼容，在部分小米机型和OPPO机型，分别预安装了SenseAR和OPPO ARUnit。商汤SenseAR分成两个部分：

*  SDK：集成到app里面；
 *  SenseAR：开发者网站下载，是一个apk文件，运行集成SDK的app时需要确保SenseAR已经安装到手机里面。

**硬件环境**

![图片][e445f0d3ee2752fef27576916a6e66cc.png]

**软件环境**

为了能正常运行SDK内的sample，需先安装SenseAR作为运行环境（预装或者手动安装）。如果想体验最新的效果和功能，推荐使用或升级到最新的SenseAR，具体可参考如下注意事项：

*  小米预装版本SenseAR在应用设置里面名称为ARServer，OPPO预装版本SenseAR的名字为ARUnit，预装版本比较老，只包含SLAM功能。
 *  最新的效果和功能，推荐使用或升级到最新的SenseAR，新版SenseAR安装后应用列表名字为SenseAR，使用新版SenseAR需要先卸载预装版本，两者无法共存。
 *  同时需要安装相应的开发环境，如下表所示：

![图片][426c2f68140fc081d690e6e7b7d98968.png]

**相关教程：**

SDK下载链接：https://openar.sensetime.com/sdks

[商汤SenseAR开发系列教程（1）-- 用手势发射爱心][SenseAR_1_--]

[商汤SenseAR开发系列教程（2）-- SenseAR常见问题总结【建议收藏】][SenseAR_2_-- SenseAR]

[商汤SenseAR开发系列教程（3）-- 用手势发射爱心并加入发射方向【源码】][SenseAR_3_--]

[商汤SenseAR开发系列教程（3）-- 人脸检测之放置脸部挂饰][SenseAR_3_-- 1]

[商汤SenseAR开发系列教程（5）-- 人脸追踪2之探索挂点位置][SenseAR_5_-- _2]

关于更多机器学习、人工智能、增强现实、Unity、Unreal资源和技术干货，可以关注公众号：三次方AIRX，共同学习，一起进步！AIRX三次方：超酷的开发者学习服务与交流平台（专注ARVR、Unity、Unreal、CV、AI领域）学ARVR开发，来AIRX三次方！！！

![20201215132538502.jpg][]

[b8b22524e3604d44bf00ee225f7303e0.png]: /images/20221120/1446b1960dea4110878c2fb150646898.png
[dcc5542a5fc767ff5b34b060017b88f4.png]: /images/20221120/027557d254574fbcbbb38cb7f2bd1ca9.png
[20201214092321577.gif]: https://img-blog.csdnimg.cn/20201214092321577.gif
[178f688bca5d321730637df4e0fd1637.png]: https://img-blog.csdnimg.cn/img_convert/178f688bca5d321730637df4e0fd1637.png
[e445f0d3ee2752fef27576916a6e66cc.png]: https://img-blog.csdnimg.cn/img_convert/e445f0d3ee2752fef27576916a6e66cc.png
[426c2f68140fc081d690e6e7b7d98968.png]: https://img-blog.csdnimg.cn/img_convert/426c2f68140fc081d690e6e7b7d98968.png
[SenseAR_1_--]: http://mp.weixin.qq.com/s?__biz=MzIwMDk2OTQ2MQ==&mid=2247485073&idx=1&sn=fa02e4085b8c048abb3185624c592cc6&chksm=96f45b0ba183d21d33fc042fa23d2109ab73c57ffae62c93df43ca754c08e189ccd50995f998&scene=21#wechat_redirect
[SenseAR_2_-- SenseAR]: http://mp.weixin.qq.com/s?__biz=MzIwMDk2OTQ2MQ==&mid=2247485119&idx=1&sn=78c20f3729840beb452613ca60e67a8c&chksm=96f45b25a183d2338545171ea3f5b4bd87f31a5f11d8ec5bbb8da17839c828fd7483ece8eede&scene=21#wechat_redirect
[SenseAR_3_--]: http://mp.weixin.qq.com/s?__biz=MzIwMDk2OTQ2MQ==&mid=2247485121&idx=1&sn=a1598b9d1cd80945e5e530f6ab6c4d67&chksm=96f45b5ba183d24de4d4f9a3ae86368ea080d27acb229c4f048e36f84c7a299546518111b9e7&scene=21#wechat_redirect
[SenseAR_3_-- 1]: http://mp.weixin.qq.com/s?__biz=MzIwMDk2OTQ2MQ==&mid=2247485262&idx=1&sn=d24209b78d5642f06701361b8c5378ec&chksm=96f45ad4a183d3c20de2879913840edd20a56c7c7c371a565a07913db92dede369f2412af5da&scene=21#wechat_redirect
[SenseAR_5_-- _2]: http://mp.weixin.qq.com/s?__biz=MzIwMDk2OTQ2MQ==&mid=2247485381&idx=1&sn=5a121e739a9c4af40a1c1153fbcbc004&chksm=96f45a5fa183d34934b33d7c906ccc0553384f993ffdc6bc96bc8e196798d8ee078e8444539e&scene=21#wechat_redirect
[20201215132538502.jpg]: https://img-blog.csdnimg.cn/20201215132538502.jpg