Amazon SageMaker: 拓展机器学习边界，塑造未来创新趋势

港控/mmm° 2024-02-05 15:26 102阅读 0赞

> 授权说明：本篇文章授权活动官方亚马逊云科技文章转发、改写权，包括不限于在 亚马逊云科技开发者社区, 知乎，自媒体平台，第三方开发者媒体等亚马逊云科技官方渠道。

近期在 re:Invent 2023 大会上，亚马逊云科技发布了一组引人注目的新功能，重点强调了生成式人工智能在塑造人工智能未来方向上的引领地位。其中，**Amazon SageMaker作为一款全面托管的机器学习服务，在其新功能的引领下，能够为用户提供更高效、更强大的机器学习工具。**我将在后文对Amazon SageMaker的产品进行使用体验，以及对其进行全面的总结。

![ed165034b9b13d9d1ad9a102900d80f2.png][]

**目录**

一、 Amazon SageMaker: 高效、便捷的机器学习全方位解决方案

二、SageMaker新功能：突破创新之路

1. SageMaker HyperPod和Inference：强大的训练与部署基础设施

2. SageMaker Clarify和Canvas：负责任AI的评估与直观工作流

三、功能测评体验

四、体验感悟和总结

--------------------

## 一、 **Amazon SageMaker: 高效、便捷的机器学习全方位解决方案** ##

Amazon SageMaker以其全面而先进的功能和解决方案，为用户提供了更多可能性，使机器学习的构建、训练和部署过程更加便捷高效。SageMaker持续推动着机器学习技术的进步，也为用户提供了更为出色的工具和平台。这一系列优势共同构成了SageMaker在机器学习领域的引领地位。

![2e0b92542a087f92dcfc51aabf4dd44c.png][]

通过专注于创新，提供面向数据科学家的IDE和无代码界面，Amazon SageMaker能够让开发者轻松利用机器学习处理结构化和非结构化数据。其优化基础设施将培训时间从几小时缩短到几分钟，专用工具提高团队生产力多达10倍。此外，自动执行和标准化MLOps实践和治理，支持组织中的透明度和可审核性。

## **二****、SageMaker新功能：突破创新之路** ##

Amazon SageMaker作为全面托管的机器学习服务，为我们提供了无需关注底层复杂性的机会，将重心集中在模型的构建和优化上。**通过SageMaker，****我们****可以轻松构建和训练机器学习模型，并将其直接部署到生产就绪的托管环境中。**这一服务不仅提供了集成的Jupyter编写Notebook实例，方便访问数据源进行探索和分析，还支持常见机器学习算法，为分布式环境中的高效数据处理提供了优化的解决方案。

![9bf90c30bb259b2feeea7642b95118c3.png][]

### **1. SageMaker HyperPod和Inference：强大的训练与部署基础设施** ###

亚马逊云科技最新发布的SageMaker HyperPod和Inference功能展现了其对机器学习领域的持续创新。**SageMaker HyperPod是为大规模分布式训练而设计的创新基础设施，旨在解决训练模型所面临的复杂性和高成本挑战。**SageMaker HyperPod通过预配置SageMaker的分布式训练库，自动将训练工作负载分发到数千个加速器中，实现并行处理以提高模型性能。

![1b3be353b78224aabacffc2d917e423f.png][]

**而****SageMaker Inference则致力于降低模型部署的成本和延迟，满足组织对性能优化的需求。用户可以单独控制每个模型的扩展策略，以适应不同的模型使用模式，同时优化基础架构成本。**通过智能路由推理请求，SageMaker主动监控处理请求的实例，并将请求平均路由到可用的实例。

### **2. SageMaker Clarify和Canvas：负责任AI的评估与直观工作流** ###

SageMaker Clarify和Canvas功能的引入进一步推动了机器学习应用的发展。**SageMaker Clarify为用户提供了一种负责任使用AI的便捷方式，快速评估和选择基础模型。**通过支持用户有效评估模型，确保其符合负责任的AI标准。用户可以轻松提交模型进行评估，也可以通过SageMaker JumpStart选择适用于其用例的模型，同时获取详细的报告，为用户提供基于性能标准的快速比较、评估和选择最佳模型的便利。

![5b1af86b9ff8ad4ddcaedd1197122a88.png][]

**新的Amazon SageMaker Canvas增强功能使用户更轻松、更快速地将生成式AI集成到其工作流程中。**Canvas支持用户在无代码环境中构建ML模型并生成预测，无需编写任何代码。此次更新扩展了Canvas的即用型功能，使用户能够更直观地准备数据，通过自然语言指令解决常见的数据问题。

## **三****、****功能****测评****体验** ##

首先用户在亚马逊云科技官网完成账号登录，没有账号的需要先进行注册，登录之后来到个人控制台，在搜索栏搜索Amazon SageMaker服务：

![784a9250b3b4c63e1e3526bed10c779f.png][]

进入到Amazon SageMaker服务界面之后，在左侧导航栏找到笔记本模块，点击笔记本实例，并进行创建：

![ff5b3a24e53ec3dfc205e4d37a079b3f.png][]

。进入创建界面后，可以根据开发需要进行配置信息选择，同时也可以新的IAM角色，也可以使用已经存在的角色。

![e60f6b4f1c0b6d223caf4c78fa821e34.png][]

稍等片刻，等待笔记本实例状态变为InService，即表示实例可用。

![b2820b458c467c196ed1933cfe9c0515.png][]

为了测试使用，我们在顶部搜索栏搜素S3存储桶服务，然后创建通用存储桶，配置完信息之后，等待存储桶的创建完毕，之后我们可以进入桶内部进行相关操作。

![78f594d9706544fe7a7f3dae78b3a75b.png][]

进入存储桶中之后，我们可以通过上传功能将本地的资源进行上传到S3存储桶中，如图，我将本地的一些图片资源传输到我创建的存储桶中。

![9244966be3d8109884b0fecb5fb79976.png][]

回到Amazon SageMaker界面，进入Jupyter界面：

![de7d1abdc02e50266e16ca35d203356d.png][]

进入界面之后，选择图中所示功能进行相关操作：

![3927244b7a777f14646307c1043b3be9.png][]

然后输入如下python代码：注意，需要将其中的S3存储桶对应的信息切换为刚才咱们创建的S3通用存储桶信息才可以生效，在这一块，我贴出代码：

import sagemaker
    
    sess = sagemaker.Session()
    bucket = sess.default_bucket()
    
    !xxx s3 sync s3://sagemaker-sample-files/datasets/image/caltech-101/inference/ s3://{bucket}/ground-truth-demo/images/
    
    print('Copy and paste the below link into a web browser to confirm the ten images were successfully uploaded to your bucket:')
    print(f'https://s3.console.xxx.amazon.com/s3/buckets/{bucket}/ground-truth-demo/images/')
    
    print('\nWhen prompted by Sagemaker to enter the S3 location for input datasets, you can paste in the below S3 URL')
    
    print(f's3://{bucket}/ground-truth-demo/images/')
    
    print('\nWhen prompted by Sagemaker to Specify a new location, you can paste in the below S3 URL')
    
    print(f's3://{bucket}/ground-truth-demo/labeled-data/')

标红的一处需要将对应信息切换成我们刚才创建的S3存储桶对应信息。

![76ba1d6d9b1aaa29b7c5257214d8a365.png][]

回到Amazon SageMaker界面，我们选择Ground Truth模块中的贴标作业，然后创建标准作业。

![4d64d290ac9afab9f95292830e223458.png][]

在创建的时候，选择我们刚才创建的S3存储桶，然后根据开发需求进行相关信息配置，配置完毕之后，开始创建。

![32784a7a0b9619e5aa89ebe8910147d1.png][]

在数据设置中，将S3存储桶可以设置成我们刚才创建好的，同时数据类型选择图像，IAM角色选择创建新角色或使用早前Jupyter笔记本的对应数值：

![f20eeda1378dcc35b859ef9320183886.png][]

在任务设置中，选择图像作为任务类型，选择图像分类（单个标签）作为任务类别，然后点击下一步。

![f4fda5e7de16d18f7b9d27c6fb4ed383.png][]

标注作业创建完毕之后，可以查看相关的信息。

![4fb81aa9cac604889e921bc389422a7b.png][]

核查标注作业结果也至关重要，可评估标记质量和确定是否需要优化说明和数据。回到我们的SageMaker控制台，选择Labeling jobs标注作业，然后选择我们刚才创建好的作业，然后就可以进行对所选作业结果进行评估。

![3b285d8b885fc3eb7f06db334fc1e719.png][]

标注作业创建成功之后，我们选择左侧功能栏中的训练模块，开始根据需求进行作业训练，以便达到想要的结果。

![7285a25ef0b1508c827a9761e4cfa033.png][]

然后训练作业，点击创建训练作业并且去配置相关训练参数，这一块信息配置可以根据开发需要进行相关设置。

![3bf4b969abe1cdbebd2b2fb3816b6b6e.png][]

完成训练作业，当我们看到作业状态变更为success，即表示作业训练完成。

![030e8b3303b466f2726757e1ef3cb199.png][]

## **四****、体验感悟和总结** ##

作为一个机器学习爱好者，我对SageMaker HyperPod和Inference功能的引入感到非常激动。HyperPod作为一项创新性基础设施，解决了我在大规模分布式训练中所面临的挑战。以前，使用GPU和Trainium计算实例进行训练时，我常常碰到数据量增加、模型大小膨胀以及训练时间延长的问题。

![394dd0518b3baed35a785ac3a6232496.png][]

HyperPod的出现改变了这一切，通过自动分发训练工作负载到数千个加速器中，显著提高了我的模型性能。同时，它的定期保存检查点功能确保了在硬件故障发生时的平稳继续训练，省去了我繁琐的手动管理过程。现在，我能够更加高效地进行数周甚至数月的训练，为我的模型构建和优化提供了更多的便利。

![6ccbf1fb4a972e333e9d82fb5eca2a62.png][]

而SageMaker Inference则是解决模型部署过程中成本和延迟问题的救星。通过支持将多个模型部署到同一实例，Inference平均降低了部署成本约50%。这让我可以更灵活地控制每个模型的扩展策略，更好地适应不同的模型使用模式，同时有效地优化基础架构成本。通过智能路由推理请求，SageMaker还能够主动监控实例处理请求的情况，将请求平均路由到可用的实例，降低了推理延迟约20%。

![68c47e271cfdcc5d027a487d0f4c8fcf.png][]

这一系列创新性功能的整合不仅在硬件基础设施的优化上取得了显著进展，同时也为我提供了更加便捷、高效的机器学习工作流。整体来说，Amazon SageMaker新推出的功能为用户在AI领域的探索之路提供了更为强大的支持，让用户更加期待未来在机器学习领域的深入应用。

[ed165034b9b13d9d1ad9a102900d80f2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/5926a77f6e6544d9bdee53d4bcb509ce.png
[2e0b92542a087f92dcfc51aabf4dd44c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/c1cff8b02d0e49aa99731d8be3d038e5.png
[9bf90c30bb259b2feeea7642b95118c3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/a57e4540ef344c6e92c0b3061eb31f1f.png
[1b3be353b78224aabacffc2d917e423f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/21686bcbc5c14a3d907e744431324008.png
[5b1af86b9ff8ad4ddcaedd1197122a88.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/12b355d4228944efb93334d93482b79b.png
[784a9250b3b4c63e1e3526bed10c779f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/edc4b620c2b64be9a832b3d3febb1ee6.png
[ff5b3a24e53ec3dfc205e4d37a079b3f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/e39caafac8e64cf39ead390efc196bd1.png
[e60f6b4f1c0b6d223caf4c78fa821e34.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/3a4ccd507bfc4940aebf41e562c74c47.png
[b2820b458c467c196ed1933cfe9c0515.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/158a2d75c056499c8d325cf2d828c3af.png
[78f594d9706544fe7a7f3dae78b3a75b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/0da5051be5bf44199301d49a400b60c7.png
[9244966be3d8109884b0fecb5fb79976.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/24daefcec08a469b979d05ce78c9467e.png
[de7d1abdc02e50266e16ca35d203356d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/bd6a094f05e5416789bf2aa1fdf719bf.png
[3927244b7a777f14646307c1043b3be9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/8d7eabaa1a1e4f0fb8fb7d18bbca9371.png
[76ba1d6d9b1aaa29b7c5257214d8a365.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/d11f0395322949a68c699e896559d4ed.png
[4d64d290ac9afab9f95292830e223458.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/1c2291af66594e8181b956153acf3062.png
[32784a7a0b9619e5aa89ebe8910147d1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/1a9f4a737d4d4129981f3e67fc049773.png
[f20eeda1378dcc35b859ef9320183886.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/d74fdc025d0b4f6ab038eb2dd8ee8cfa.png
[f4fda5e7de16d18f7b9d27c6fb4ed383.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/e5c95308a9b6463184f9a438cbe4d13e.png
[4fb81aa9cac604889e921bc389422a7b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/86ca0e0e4b2247699b051b8bbb212adf.png
[3b285d8b885fc3eb7f06db334fc1e719.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/3497e2c896504584939d408b79afe273.png
[7285a25ef0b1508c827a9761e4cfa033.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/6237149ffa994fd28d3e211ae69b851d.png
[3bf4b969abe1cdbebd2b2fb3816b6b6e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/8a17c12311034fb08592df06d8082eaf.png
[030e8b3303b466f2726757e1ef3cb199.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/85c5745ca5fe4fd8ba5ef4f0854a241f.png
[394dd0518b3baed35a785ac3a6232496.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/9122fbbc56244cdc84bacb163796e2e2.png
[6ccbf1fb4a972e333e9d82fb5eca2a62.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/e84f4763fe7e4aa8be17dc981abbfdf2.png
[68c47e271cfdcc5d027a487d0f4c8fcf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/93e26958d7694ad48cb892da1e1b2658.png