SAP Leonardo图片处理相关的机器学习服务在SAP智能服务场景中的应用

你的名字 2023-06-02 12:57 69阅读 0赞

本文作为Jerry最近正在做的一个项目的工作思路的梳理。

我们假设这样一个服务场景，技师上门维修某设备，发现设备上某零件损坏了，假设这位技师由于种种原因，没能根据自己的经验识别出这个零件的型号。此时技师掏出自己的手机，给零件拍摄一张图片，这张图片通过手机上安装的SAP某智能解决方案，传送到SAP Leonardo平台，通过那里的人工智能服务，自动识别出这张图片上面零件的准确型号，返回给技师。

SAP Leonardo上的人工智能服务，在接收到技师上传的图片后，通过某种算法将该图片的特征向量提取出来，然后再通过平台上基于大量数据集训练好的模型，识别出准确型号。因此，图片特征向量的提取，成为了这个智能解决方案的首要步骤。

![clipboard1,1][clipboard1_1]

什么是图片的特征向量？特征向量的提取，从数学上说，就是通过某种算法，把输入图片的二进制流，转换成一个向量(一维矩阵)的过程。

以下面这张图里的梯形和圆形为例，我们把图形均匀地分成9个区域，在图形中心观察每个区域内图形单元的梯度方向，就可以实现降维，把二维图像以一个一维矩阵来表示。

![clipboard2,2][clipboard2_2]

当然实际的图形轮廓识别和降维处理采用的算法比这个例子复杂得多，Jerry也不懂。幸运的是，对SAP partners来说，不需要了解这里面的数学知识和技术知识，简单地把SAP Leonardo上的人工智能服务当成一个黑盒子，通过Restful API的方式，把要提取特征向量的图片“喂”给人工智能服务，就能得到特征向量输出。

通过这个url进入SAP Leonardo图片特征向量提取服务的测试控制台和帮助文档：

[https://api.sap.com/api/img\_feature\_extraction\_api/resource][https_api.sap.com_api_img_feature_extraction_api_resource]

使用非常简单，直接在测试控制台里从本地选择一张图片，点击执行按钮：

![clipboard3,3][clipboard3_3]

得到了输出的特征向量：

![clipboard4,4][clipboard4_4]

有了特征向量后，我们再回到文章开头提到的场景。

假设我们想根据技师上传的图片分辨出图片里的零件型号，一种做法当然是采取Jerry之前一篇文章 如何对SAP Leonardo上的机器学习模型进行重新训练 介绍的方法，提前准备大量该型号零件的图片，然后使用这些图片对Product Image Classification模型进行重新训练。训练结束之后，该API即可识别出对于给定一张图片，代表的究竟是不是之前训练过的某型号的零件。这是第一种实现思路。

![clipboard5,5][clipboard5_5]

既然我们如今已经拿到了待识别图片的特征向量，那么可以尝试第二种思路，即利用Leonardo上的另一个和图片处理相关的人工智能服务：图片相似度评分https://api.sap.com/api/similarity\_scoring\_api/overview

![clipboard6,6][clipboard6_6]

这个Restful API的输入需要两个压缩包。第一个压缩包存放的是一个存放了事先提取好的技师上传的待匹配文件的特征向量，第二个压缩包里存放的是型号为A，B，C...等零件图片的特征向量。

![clipboard7,7][clipboard7_7]

如上图所示，为简单起见，第二个压缩包我只存放了两个文件，分别存放的是型号A和型号B的特征向量。

调用API，传入这两个压缩包：

![clipboard8,8][clipboard8_8]

得到的结果表明，技师上传的图片和型号A的相似系数几乎接近1，那么显然，该图片代表型号A。

![clipboard9,9][clipboard9_9]

当然，除了直接上传包含了图片特征向量的压缩文件之外，将这些文件包含的特征向量内容以JSON字符串的方式作为输入调用API也是可行的，JSON字符串的格式在SAP官网里有详细说明，这里不再赘述。

![clipboard10,10][clipboard10_10]

希望本文介绍的这些API对于大家实际工作中如何利用SAP Leonardo上的机器学习服务有所启发，感谢阅读。

# 更多阅读 #

*  [使用Java+SAP云平台+SAP Cloud Connector调用ABAP On-Premise系统里的函数][Java_SAP_SAP Cloud Connector_ABAP On-Premise]
 *  [使用JDBC操作SAP云平台上的HANA数据库][JDBC_SAP_HANA]
 *  [用JavaScript访问SAP云平台上的服务遇到跨域问题该怎么办][JavaScript_SAP]
 *  [在SAP云平台的CloudFoundry环境下消费ABAP On-Premise OData服务][SAP_CloudFoundry_ABAP On-Premise OData]
 *  [如何在Web应用里消费SAP Leonardo的机器学习API][Web_SAP Leonardo_API]
 *  [使用Java程序消费SAP Leonardo的机器学习API][Java_SAP Leonardo_API]
 *  [如何对SAP Leonardo上的机器学习模型进行重新训练][SAP Leonardo]

要获取更多Jerry的原创文章，请关注公众号"汪子熙":  
![公众号截图][60097669-68224900-9786-11e9-9f1e-e8bee08db4fa.png]

转载于:https://www.cnblogs.com/sap-jerry/p/11604039.html

[clipboard1_1]: https://user-images.githubusercontent.com/5669954/63748767-90403c80-c8dc-11e9-8fca-8bc8e80aa44a.png
[clipboard2_2]: https://user-images.githubusercontent.com/5669954/63748751-8ddde280-c8dc-11e9-87d0-765c2d6523d2.png
[https_api.sap.com_api_img_feature_extraction_api_resource]: https://api.sap.com/api/img_feature_extraction_api/resource
[clipboard3_3]: https://user-images.githubusercontent.com/5669954/63748753-8e767900-c8dc-11e9-954f-4598827e8008.png
[clipboard4_4]: https://user-images.githubusercontent.com/5669954/63748755-8e767900-c8dc-11e9-8296-00fd5f87d430.png
[clipboard5_5]: https://user-images.githubusercontent.com/5669954/63748756-8f0f0f80-c8dc-11e9-9397-9e7a20b8365c.png
[clipboard6_6]: https://user-images.githubusercontent.com/5669954/63748758-8f0f0f80-c8dc-11e9-90be-2966aada6a56.png
[clipboard7_7]: https://user-images.githubusercontent.com/5669954/63748760-8fa7a600-c8dc-11e9-8516-ad253ae3c62f.png
[clipboard8_8]: https://user-images.githubusercontent.com/5669954/63748762-8fa7a600-c8dc-11e9-8f2c-16864def648b.png
[clipboard9_9]: https://user-images.githubusercontent.com/5669954/63748764-90403c80-c8dc-11e9-8d28-9c9db46402f4.png
[clipboard10_10]: https://user-images.githubusercontent.com/5669954/63748766-90403c80-c8dc-11e9-8ac6-a9208c695cd3.png
[Java_SAP_SAP Cloud Connector_ABAP On-Premise]: http://mp.weixin.qq.com/s?__biz=MzI3MDE4MjM5Mg==&mid=2247484533&idx=1&sn=57587494ffa36fda4cd97afc3cb08716&chksm=ead5b6e2dda23ff4f9b3c6623aa381c3620e7e349c210bda0516291463de487846d89cc97e22&scene=21#wechat_redirect
[JDBC_SAP_HANA]: http://mp.weixin.qq.com/s?__biz=MzI3MDE4MjM5Mg==&mid=2247484555&idx=1&sn=eee20d343a861d583c37ada884a4e1d3&chksm=ead5b61cdda23f0a77035a92270f55e3b30daed04a7ed7fc6d61eee835c218503a7a9ec141ca&scene=21#wechat_redirect
[JavaScript_SAP]: http://mp.weixin.qq.com/s?__biz=MzI3MDE4MjM5Mg==&mid=2247484588&idx=1&sn=59f4ea3c55f9ca20ccac2fbae2a54a2d&chksm=ead5b63bdda23f2dad64acfc8ddc025181eea5a2301afd649c979b6fdc2e8552e04b4e089db3&scene=21#wechat_redirect
[SAP_CloudFoundry_ABAP On-Premise OData]: http://mp.weixin.qq.com/s?__biz=MzI3MDE4MjM5Mg==&mid=2247484794&idx=1&sn=c7bfd5adbd729cb7817238b3a822938b&chksm=ead5b7eddda23efbaf5b6cfc3acb13756dc0e17d2f7e73220b07ab68935aad07ecf8e39294de&scene=21#wechat_redirect
[Web_SAP Leonardo_API]: http://mp.weixin.qq.com/s?__biz=MzI3MDE4MjM5Mg==&mid=2247486372&idx=1&sn=13a85b0ac279a37c1cc6caf95150adf6&chksm=ead5b933dda230256b20831cab696bd21aaea2a4483e19f5794ec7c30df00211289672ca6df0&scene=21#wechat_redirect
[Java_SAP Leonardo_API]: http://mp.weixin.qq.com/s?__biz=MzI3MDE4MjM5Mg==&mid=2247484513&idx=1&sn=a986b8a344ee943f6eead141d630c16c&chksm=ead5b6f6dda23fe093350284a8d1f2cc15ba52553de127c5b1d5f01e3a325f45da2030656427&scene=21#wechat_redirect
[SAP Leonardo]: http://mp.weixin.qq.com/s?__biz=MzI3MDE4MjM5Mg==&mid=2247486421&idx=1&sn=3c586ed4dca3cdbcb7dd6da899f62876&chksm=ead5b942dda230541192d40411d78e8500336c8e4c40023f6e58543bb88737f5ce89afac7e29&scene=21#wechat_redirect
[60097669-68224900-9786-11e9-9f1e-e8bee08db4fa.png]: https://user-images.githubusercontent.com/5669954/60097669-68224900-9786-11e9-9f1e-e8bee08db4fa.png