云边端一体化的异构AI计算

小鱼儿 2022-10-08 05:38 332阅读 0赞

![图片][6f17b17cc38a57365913df7b345fa145.png]

![图片][7febf7e122189fc0f44196feaf4dfdfd.gif]

中国人工智能市场快速增长，其中边缘计算占比越来越高，业务场景的碎片化以及底层硬件的多样性的问题给边缘计算的开发部署带来较大的挑战。

本次分享主要介绍阿里云AI异构计算编译框架HALO以及面向深度学习的异构硬件统一接口规范ODLA，通过具体的实例说明如何利用异构编译和硬件架构抽象实现上层应用在异构计算资源上的平滑迁移。后半部分介绍ODLA.CV (多媒体Pipeline自动生成)技术，以及多媒体+AI的相关探索和应用。

通过HALO总体框架介绍，以及异构硬件统一接口规范ODLA，通过静态全编译的方式可以让业务模型跟框架解耦合，通过ODLA实现和具体硬件解耦合，实现平滑迁移；通过具体的例子来说明Halo和ODLA的工作流程。

介绍多媒体Pipeline自动生成技术，解决上层业务场景的碎片化定制化的问题。

首先，通过HALO静态全编译的方式可以让业务模型跟框架解耦合，同时提升性能，避免框架开销；通过ODLA统一抽象的方式实现和具体硬件解耦合，实现平滑迁移，产生一次，随处执行；通过HALO/ODLA实现AI的平滑迁移。

其次，通过多媒体Pipeline自动生成技术解决上层业务场景的碎片化（需要高度定制）带来的开发效率问题。

最后，介绍多媒体+AI相关的一些探索和优化工作，以及相关的应用落地，和未来的思考。

**来源：**智能计算芯世界

**下载链接：[云边端一体化的异构AI计算][AI]**

![图片][a34597e5b81906f04d1897cf612e9315.png]

![图片][e2953cf4a5bc4718c4f4ac3a214e5669.png]

![图片][4eb31f52f65817bfe00ef5274bb329fc.png]

![图片][67ee49166e425bd1779b775d6f325b63.png]

![图片][7aaffc416fc2c8f2ccd1be37603292ca.png]

![图片][ef408293bb49fac810032f8255dfc685.png]

![图片][4a1cf554de9e76a1b899472b82e69597.png]

![图片][5c021e0f60c608fa8e1d313c5916e847.png]

![图片][0597660f2ee809b449ddc1b4f1a76382.png]

![图片][75ded91fd2d69b3904f357ea78fb2e45.png]

![图片][494a99a2bd946fa7ea3a0faec3373af7.png]

![图片][af105984aa243daebd23e890c33d0a6e.png]

![图片][d77944a201b6c62bdce732559ae35270.png]

![图片][b666a52c83f2470bc14ac4f0080bf617.png]

![图片][efed2eb7a1888bb63589df10d932fdac.png]

![图片][9055d610cf07208ef698973c96e2c038.png]

![图片][d8a361586871b8a60a087090195df60c.png]

![图片][741248643920f993cb38025a42c9f85f.png]

![图片][6253b276b376e04ec452e9357d3d22d6.png]

![图片][34b6579f1949707e7c70940ae7edb00a.png]

![图片][a76c81fcd7724977e524648ecd2ac73d.png]

![图片][28933da93fc5a87b06bed17370638571.png]

![图片][a01671d6685cf5834f7cc427b4d61fda.png]

**来源：智能计算芯世界**

**下载链接：[云边端一体化的异构AI计算][AI]**

**[智能异构计算服务器][AI]**

[**智能平台白皮书**][AI]

**[2021年AI在工业领域的研究报告][AI]**

[**异构芯片研究框架合集**][AI]

![图片][d78a46aa8b25841aa728637fc632548f.png]

**转载申明：转载**本号文章请**注明作者**和**来源**，本号发布文章若存在版权等问题，请留言联系处理，谢谢。

**推荐阅读**

更多**架构相关技术**知识总结请参考“**架构师全店铺技术资料打包**”相关电子书(**37本****技术资料打包汇总详情**可通过“**阅读原文**”获取)。

全店内容持续更新，现下单“**全店铺技术资料打包(全)**”，后续可享**全店**内容更新“**免费**”赠阅，价格仅收**198**元(原总价**350**元)。

**温馨提示：**

扫描**二维码**关注公众号，点击**阅读原文**链接获取**“****架构师技术全店资料打包汇总(全)**”电子书资料详情。

![图片][25e0145ca70c780e7781c57672014833.png]

![图片][9c09251a07042f4d7903e76700fe62ab.gif]

[6f17b17cc38a57365913df7b345fa145.png]: /images/20221005/16dd006d5ff5498396b27b9ace008100.png
[7febf7e122189fc0f44196feaf4dfdfd.gif]: /images/20221005/122a102d53ab4cc2aa672e8c90038f71.png
[AI]: https://mp.weixin.qq.com/s?__biz=MzAxNzU3NjcxOA==&mid=2650729268&idx=1&sn=1c173b29b5a0f43076bf88ac646fa13f&chksm=83e92d55b49ea443a03712bfa4f46c742f08dcaf6e4c00eb391eea8181c85355a5213f84b7ff&token=1678283687&lang=zh_CN
[a34597e5b81906f04d1897cf612e9315.png]: /images/20221005/50c9a78b783c4f9b926a0ebf62c6c06d.png
[e2953cf4a5bc4718c4f4ac3a214e5669.png]: /images/20221005/a3aba453430046df8c5a46da8d3d7306.png
[4eb31f52f65817bfe00ef5274bb329fc.png]: /images/20221005/59d232bf296e4eaeb1ec43140b5c459d.png
[67ee49166e425bd1779b775d6f325b63.png]: /images/20221005/a458426ce9c34fefb21b17b550b8c272.png
[7aaffc416fc2c8f2ccd1be37603292ca.png]: /images/20221005/9b6c8f13aab04f059eae90eb338a2dcb.png
[ef408293bb49fac810032f8255dfc685.png]: /images/20221005/f5b50eba630d4b87aec5b30b864e362f.png
[4a1cf554de9e76a1b899472b82e69597.png]: /images/20221005/ac8f1d4e1d17403e84ed566bd39b57bb.png
[5c021e0f60c608fa8e1d313c5916e847.png]: /images/20221005/85a330ca08e641a6a453270bab804b09.png
[0597660f2ee809b449ddc1b4f1a76382.png]: /images/20221005/3dbf40658f734f849687e29c10b63aa7.png
[75ded91fd2d69b3904f357ea78fb2e45.png]: /images/20221005/85f6e6aac503498fb4c1966406436976.png
[494a99a2bd946fa7ea3a0faec3373af7.png]: /images/20221005/3d230ecae80e4bfd9454fb5c6d5670fc.png
[af105984aa243daebd23e890c33d0a6e.png]: /images/20221005/351a21a6e2a84c9381a488be04fcf0f8.png
[d77944a201b6c62bdce732559ae35270.png]: /images/20221005/292141c4e938422f96479409bb4d1a6c.png
[b666a52c83f2470bc14ac4f0080bf617.png]: /images/20221005/21496cbeb4d14952a6b2691343657351.png
[efed2eb7a1888bb63589df10d932fdac.png]: /images/20221005/f53d56dea6ed4e8ea6a1670d95453651.png
[9055d610cf07208ef698973c96e2c038.png]: /images/20221005/f619199062394d31aef5ab6322885dcf.png
[d8a361586871b8a60a087090195df60c.png]: /images/20221005/2db7cf80a6dd4a5d8b4a348bb4b11d1e.png
[741248643920f993cb38025a42c9f85f.png]: /images/20221005/9f48a48e59df40b7b6ceaa3793b67fc4.png
[6253b276b376e04ec452e9357d3d22d6.png]: /images/20221005/5b86c5a908904c518d3cd03d4c380baa.png
[34b6579f1949707e7c70940ae7edb00a.png]: /images/20221005/ff34a80711b740b9b721c7d2d3c59441.png
[a76c81fcd7724977e524648ecd2ac73d.png]: /images/20221005/f865038e0c5646b488eea412e74d4007.png
[28933da93fc5a87b06bed17370638571.png]: /images/20221005/a4dd1fe044174997b78476073ed404a7.png
[a01671d6685cf5834f7cc427b4d61fda.png]: /images/20221005/ca4b28de7a84496099cdd945ba24a027.png
[d78a46aa8b25841aa728637fc632548f.png]: /images/20221005/7abe48746a184a98b9e3a46af96551fe.png
[25e0145ca70c780e7781c57672014833.png]: /images/20221005/d9923c6a15b54413ab98536f5e3e4a9c.png
[9c09251a07042f4d7903e76700fe62ab.gif]: /images/20221005/19be67aa4721481591471a85c6c4d241.png