AI模型大杀器----Amazon SageMaker 实现高精度猫狗分类

置顶是Dream呀

已于 2023-05-25 15:44:03 修改

阅读量10w+ 机器学习、计算机视觉、神经网络实战文章标签：人工智能分类数据挖掘 Amazon

于 2023-04-06 13:03:11 首次发布

是Dream呀独家版权

本文链接：https://blog.csdn.net/weixin_51390582/article/details/129624166

机器学习、计算机视觉、神经网络实战专栏收录该内容

19 篇文章 2 订阅 ¥19.90 ¥99.00

在这里插入图片描述

前言： Hello大家好，我是Dream。 最近受邀参与了 亚马逊云科技【云上探索实验室】 活动，基于他们的sagemaker实现了机器学习中一个非常经典的案例：猫狗分类。最让我惊喜的是的模型训速度比想象中 效果要好得多，而且速度十分迅速，而且总体感觉下来整个过程十分便利，使用起来也是得心应手。 那接下来跟随我的视角，来一起复盘一下整体做的过程，来感受一下其强大便利之处。

在我们的日常生活和学习中，尤其是针对人工智能专业的学生以及工作者而言，机器学习、神经网络是我们每天都要接触的工作，复杂多样的环境配置以及高要求的运行配置总让我们十分头疼，正因此我推荐大家去使用AmazonSageMaker，轻松解决你的烦恼。Amazon SageMaker是亚马逊云计算（Amazon Web Service）的一项完全托管的机器学习平台服务，算法工程师和数据科学家可以基于此平台快速构建、训练和部署机器学习 (ML) 模型，而无需关注底层资源的管理和运维工作。它作为一个工具集，提供了用于机器学习的端到端的所有组件，包括数据标记、数据处理、算法设计、模型训练、训练调试、超参调优、模型部署、模型监控等，使得机器学习变得更为简单和轻松；同时，它依托于 Amazon 强大的底层资源，提供了高性能 CPU、GPU、弹性推理加速卡等丰富的计算资源和充足的算力，使得模型研发和部署更为轻松和高效。

Amazon SageMaker由以下三大主要部分组成:
创作： 无需进行任何设置，使用Jupyter Notebook IDE就能进行数据探索、清洁与预处理。我们可以在常规实例类型或GPU驱动型实例当中运行此类工作负载。
模型训练： 一项分布式模型构建、训练与验证服务。我们可以利用其中的内置常规监督与无监督学习算法及框架，或者利用Docker容器创建属于自己的训练机制。其模型训练规模可囊括数十个实例，以支持模型构建加速。训练数据读取自S3，训练后的模型成果亦可存放在S3存储桶内。最终得出的模型结果为数据相关模型参数，而非模型当中进行推理的代码。
模型托管： 模型托管服务可配合HTTP端点以调用模型进行实时推理。这些端点可进行规模扩展，从而支持实际流量；我们也可以同时对多套模型进行A/B测试。此外，我们也可以使用内置的SDK构建这些端点，或者选择Docker镜像提供自己的配置选项。

上述组成部分皆可独立使用，这意味着Amazon SageMaker将能够轻松填补现有流程中的空白环节。换句话来说，当开发人员以端到端方式使用该服务时，将能够享受到由其提供的强大功能。那本文我们就来使用Amazon SageMaker快速实现高精度猫狗分类问题。

http://aimaksen.bslience.cn/cats_and_dogs_filtered.zip，实验中为了训练方便，我们取了一个较小的数据集。

path_to_zip = tf.keras.utils.get_file(
    'data.zip',
    origin='http://aimaksen.bslience.cn/cats_and_dogs_filtered.zip',
    extract=True,
)
PATH = os.path.join(os.path.dirname(path_to_zip), 'cats_and_dogs_filtered')

train_dir = os.path.join(PATH, 'train')
validation_dir = os.path.join(PATH, 'validation')

BATCH_SIZE = 32
IMG_SIZE = (160, 160)